[PowerApps] Der maßgeschneiderte Chatbot für deine App

[PowerApps] Der maßgeschneiderte Chatbot für deine App
Ich habe für meine Kollegen die letzten 2 Abende einen kleinen Showcase erstellt auf den ich ziemlich stolz bin, daher möchte ich den hier mit euch teilen.
Der ganze Bot ist komplett selbst in einer Canvas App programmiert und nutzt folgende Azure Ressourcen:
- Azure Open AI GPT3.5 als Large Language Model
- Azure Open AI Whisper zur Transkription
- Azure Open AI Embeddings zur Verktorisierung für die semantische Suche
- Azure AI Search als Vektordatenbank und zur semantischen Suche
Interessante verwandte Videos:
• ChatGPT - but with YOU... So funktioniert das mit der Vektordatenbank
• [PowerApps] MULTIMODAL... Meine ersten Schritte mit Whisper
• [PowerApps] Finally co... ChatGPT in deine App
Die Intromusik kommt von musicfox.com

[@easy_mind2589]

Dein Kanal ist unglaublich fesselnd!
Mich interessiert besonders, wie du individuelle Use Cases wie Wissensdatenbanken, Projektberichte und Protokollzusammenfassungen angehst. Könntest du die Herangehensweise von Anfang an erklären? Das wäre echt spannend!

[@R2Power]

Vielen lieben Dank!
Erstmal zu Projektberichten und Protokollen etc:
Da muss man zwischen der technischen Seite und dem Propmpt-Engineering unterscheiden. Für das Zweite bin ich sicher kein Experte und versuche einfach so lange an den Prompts rumzuspielen, bis das Ergebnis passt. Technisch rücken alle Formeln in den Mittelpunkt, wo wir Texte manipulieren. z.B. die Concat() Funktion ist superwichtig um z.B. alle Tagesordnungspunkte des Protokolls in den Prompt zu packen (wenn sie tabellarisch vorliegen). Übung macht den Meister und Kreativität kennt da keine Grenzen.
Dann zum Thema Wissensdatenbank:
Hier verhält sich das alles ein bisschen anders, da wir meist tausende Elemente effizient durchsuchen möchten. Das können Datenbankeinträge, aber auch oft Dokumente sein. Hier brauchen wir RAG (Retrieval Augmented Generation). Wir holen mit Hilfe von semantischer Suche die passenden Elemente und bauen dann aus den paar relevanten wieder einen Prompt zusammen. Dafür brauchen wir dann noch eine Vektordatenbank wie Azure AI search.
Das in der Kurzzusammenfassung. Ich bin gerade dabei das für meine Kollegen aufzubereiten und intern zu schulen. Zusammen mit Luise Freese werden wir aber auch im Juni auf deutsch einen zweitägigen Kurs genau zu dem ganzen Thema anbieten. Nach und nach kommt aber sicher auch hier auf dem Kanal was dazu (bzw. kam ja auch schon ein bisschen)

[@easy_mind2589]

@@R2Power
Lieben Dank für deine ausführliche Erklärung!
Es ist beeindruckend zu sehen, wie du sowohl die technische Seite als auch das kreative Prompt-Engineering in deiner Arbeit integrierst. Deine Herangehensweise, Formeln wie die `Concat()` Funktion geschickt zu nutzen, um Protokolle in ansprechende Prompts zu verwandeln, zeigt nicht nur Fachkompetenz, sondern auch eine Prise Kreativität.
Dein Fokus auf Wissensdatenbanken und die Implementierung von RAG (Retrieval Augmented Generation) in Verbindung mit Azure AI Search scheint eine vielversprechende Methode für die effiziente Durchsuchung und Zusammenstellung relevanter Elemente zu sein.
Ich bin gespannt auf weitere Einblicke in deine Arbeit und freue mich auf die kommenden Beiträge auf deinem Kanal.
Viel Erfolg bei der internen Schulung und dem bevorstehenden Kurs im Juni, sowohl für dich als auch für Luise Freese! 👏🌟

[@DanielWeikert]

Hi Robin,
hättest du es mit Copilot Studio umsetzen können? Dateien als PDF Input hochladen und die Notizfunktion über Plugins(PAutomate)?
BG und schönes WE

[@R2Power]

Durchaus berechtigte Frage, meine Meinung: Teils teils, bei Copilot Studio kann man weite Teile davon sehr einfach und schnell umsetzen.
Bei meiner Lösung hat man dafür die volle Kontrolle, gerade wenn man es in einer kompletten Canvas App umsetzt kann man noch super mit dem Rest der App interagieren aus dem Chat raus, bzw. ist man auch nicht an dieses Chat-Format gebunden.
Zusätzlicher Vorteil: meine Lösung ist im Vergleich zu Copilot Studio (min 200$/Monat) sehr günstig. Azure Open AI ist consumption based und GPT3.5 kostet quasi nix. Azure AI search kann man (wenn man sich selber ums indexieren und RAG kümmert) bis zu einer gewissen Datenmenge im free Tier nehmen.
Ich bleibe aber auf jeden Fall auch an Copilot Studio dran!