Video

Cool, danke für deinen Bericht. Ich habe Anything LLM nativ auf dem MAC installiert. Aber kurz nachgefragt: AnythingLLM und auch OpenWebUI benötigen doch nicht die GPU, sondern Ollama, oder sehe ich das falsch! Beide Programme nutzen doch die API davon. Maximal beim Embedding!

Macht schon laune oder. Mit Airtable habe ich auch etwas gebaut. Schau dir mal meine beiden letzten Videos an. Hybrid mit RAG, CRAG und Datenbank getrieben wäre eine mega Sache!

Sehr gerne!

Also n8n ist ja ein OpenSource Pendant zu Make. Würde also auch gehen. Du könntest ja auch eine KI direkt per SQL auf deine DB zugreifen lassen. Mir ging es aber darum mit Flowise UND Make (oder n8n) quais jeden REST Endpoint anzusprechen. OK: Flowise kan mit dem CustomTool direkt die EndPoints ansprechen. Aber hier wird es dann schon schwieriger die EndPoints gerade mit der Authentifizierung zu nutzen wie zum Beispiel Google Sheets etc. Da ist der "Umweg" über Make/Zapier/n8n einfach einfacher :-D

Da bist du nicht der einzige!

Hallo @Steve 3.content kommt von meinem Webhook. Ich sende meinem Webhook die URL und den Inhalt. Damit ich eben entsprechend den richtigen Flow auswählen kann. Die Variable bzw. der Inhalt der Variable kommt aus der Shortcut App vom Mac/OSX/iOS und es ist leider so unter Windows nicht verfügbar. Das Prinzip funktioniert aber auch mit GET URLdesWebhooks/?url=hier_dein_youtube_link&content=youtube dann bekommst du in Make die beiden Variablen URL und Inhalt. Ich überlege mir eine kleine Oberfläche auf Basis von Mesop, Taipy oder Streamlit zu bauen und als Docker zur Verfügung zu stellen, dann hättest du die Möglichkeit die Kurzbefehle App nachzubauen. Aber das ist meiner Meinung nach eine der am meisten unterschätzten Apps im Apple-Kosmos. Soll ich mal ein Video zum Thema WebHook / Kurzbefehl / Streamlit / Absicherung Token machen? Gruß Bastian

@@bastianstrauss Danke fürs schnelle Antworten! *Soll ich mal ein Video zum Thema WebHook / Kurzbefehl / Streamlit / Absicherung Token machen?* Ja, das wäre hilfreich, gerade für deine Abonnenten, die neu im Thema Automatisierung sind. Die Workflows hier beginnen j aalle mit Webhook, d.h. wenn da falsche Werte auf den Weg gehen, kommt kein sinnvolles Ergebnis raus. Ich bin jedenfalls mega dankbar für Deine Videos. Besser wie jede KI-Anwenderschulung an der ich bisher teilgenommen hab.

Gerne

Nach ein paar Promptkorrekturen: Let's break down the scenario step by step to determine the marble's location: Step 1: Marble in the glass The marble is initially placed inside the glass. Step 2: Glass turned upside down and put on the table When the glass is turned upside down, the marble will fall out of the glass and onto the table due to gravity. The glass is then placed on the table, but the marble is now on the table, not inside the glass. Step 3: Glass picked up and put in the microwave The glass, now empty, is picked up and placed in the microwave. However, the marble is already on the table, not in the glass. Therefore, the marble is not affected by the glass being placed in the microwave. Conclusion The marble is on the table, not in the microwave or the glass. The glass being placed in the microwave does not affect the marble's location, as it was already on the table when the glass was picked up. Passed!

Hi @KevinGeller guter Test: Question: How many "r"s are in the word "strawberry" Antwort: After synthesizing the responses from various open-source models, I can confidently conclude that: The word "strawberry" contains 3 "r" letters. This answer has been carefully evaluated and verified through a precise analysis of the word "strawberry", ensuring the highest level of accuracy and reliability. Im ersten durchlauf kam er auf 2 bei allen Modellen!! Zweiter Durchlauf: 2/3 kamen auf 3 Dritter Durchlauf 2/3 kamen auf 3 (gemini hat verloren)

@@bastianstrauss llama3 hab ich heute aus Spaß schon soweit bekommen, dass es der Meinung war dass strawberry 6 beinhaltet.

😂

Sehr gerne!

Hi Steve, ja du kannst theoretisch ganze Ordner einlesen lassen. Wichtig ist nur das deine Chunks angepasst auf das Dokument sind. Also ein Mischmasch aus Word, Excel oder PDF ist nicht so förderlich.

@@bastianstrauss Wäre es dann nicht möglich über Flowise meine ganzen lokalen Dateien einzulesen, dann einen Worker zu erstellen, der die eingelesenen Dateien nach Dateiformaten clustert, diese dann in neuen Sub-Ordnern des Retrieval Agenten ablegt und dann dort der Chat mit diesen Dokumentenarten stattfinden kann? Denn sind wir mal ehrlich... eigentlich wollen ja bei RAG die meisten genau das erreichen - Chats mit den gesamten eigenen Dateien - sozusagen KI-gestütztes Wissensmanagement.

@Steve nicht das wir uns falsch verstehen. Du vektorisierst EINMAL deine Dateien. Danach liegen diese in einer Vectordatenbank. Die Originaldateien brauchts du dafür nicht mehr. Du bräuchtest ein Automatisierungsscript, was erkennt wenn deine Dateiablage sich verändert. Dann wird der Prozess erneut angestossen. Ich glaube ich habe deinen UseCase noch ncht verstanden. Wenn du deine lokalen Daten alle cachen willst, brauchst du neben dem Automatisiertungsscript was den Ordner überwacht, auch ein Script, was die Dateiart erkennt und den richtigen Splitter wählt. Das geht über die Funktion von Flowise hinaus!. Hast du ein Typ Dokumente z.B. PDF, kannst du soetwas mit Flowise automatisieren. Lokal kommst du aber um Python oder was anderem aber nicht herum. In der Cloud kannst du soetwas mit OneDrive/GoogleDrive MAKE.com und Flowise mit ein wenig Arbeit sicher lösen! Gemacht habe ich das so aber nicht. Aber die API Endpunkte sind verfügbar. Also ich würde sagen es kommt auf einen versuch an!

Google Drive hat einen Watch Folder Endpunkt. Dieser wird in MAKE angestoßen und veranlasst Flowise alle Dokumente neu zu vektorisieren. Vorhandene werden vorher geskippt und neues oder geändertes aufgenonmmen. Das GEHT! Check mal mein Video: czcams.com/video/pl5cg_s5oGg/video.html Dort mache ich so einen neuvektoring mit meiner Airtable DB. Das ist das gleiche Prinzip!

@@bastianstrauss Danke für Deine schnelle Rückmeldung Bastian! Ich hab mir übrigens mal Deine Vita (Deine Webseite) angeschaut. Es ist wirklich krass wie fit Du in diesen Themen hier bist und wie Du Dir das offenbar selbst antrainiert hast. Wow! Mein Usecase ist ein Chat mit meinen eigenen lokal abgelegten Daten (in meinem Fall ca. 20GB aus 20 Jahren im Job). Vieles muss man neu erarbeiten, weil man sich nicht erinnert, wo man eine Datei zu einem spezifischen Thema abgelegt hat. Klar, es gibt Ordner- und Dateibezeichnungen, trotzdem muss man i.d.R. in die jeweilige Datei reinschauen um etwas spezifisches darin zu finden und wiederverwenden zu können. Weniger wichtig ist also, ob oder wie sich der Datenbestand verändert hat, sondern was in diesem Alt-Datenbestand an Informationen enthalten ist. Ich habe verstanden, dass meine Dokumente vektorisiert werden müssen, damit das LLM damit arbeiten kann. Ich muss also schauen, mit welchem Tool ich 20GB automatisiert vektorisieren kann. Dachte, das geht vielleicht am besten mit einem passenden hugging face embedding model - oder ich lade alle Dateien in Google Drive hoch und mache das über den von Dir gezeigten Prozess mit MAKE. Du berätst ja auch das Handwerk... das müsste doch auch für die Handwerksbetriebe ein extrem wertvoller Usecase sein, oder nicht?

Danke fürs Feedback!

@stahlworte ja selbst in meinem Video siehst du, dass er nicht alle Datensätze einliest. Obwohl alles verfügbar ist. Ich gebe dir zu 100% recht, dass eine REINE Datenauswertung mit LLM nicht das gelbe vom EI ist. Mein Beispiel sollte aber zeigen, dass es grundsätzlich möglich ist, auf "lokale" SQL Daten per KI zuzugreifen ohne gleich das THEMA DSGVO an der Backe zu haben. Verstehe das Video als eine von vielen Möglichkeiten/Ideen Daten an die KI zu bekommen. Die Auswertung solcher Daten ist leider eine ganz andere Geschichte. KI ist nicht gleich Programmcode, sondern Interpretationsspielraum. Und wie du es sehr treffend gesagt hast ein SPRACHmodell!!! 100% Ollama+ PandaAI könnte spannend sein. Hab ich mir aber noch nicht angeschaut.

@@bastianstrauss Das war keine Kritik an deinem Video! Eher eine Ergänzung bzw meine Perspektive auf das grundsätzliche Thema 🙂 Ich habe übrigens ebenfalls eine solche DB-Suche mit (seit gestern) Llama3.1 umgesetzt. Das funktioniert ganz gut und umgeht die Nachteile eines Vektor basierten RAG. Allerdings sind die Daten in meinem Fall auch speziell für das GPT formuliert und es ist ein spezifischer Anwendungsfall. Bei unstrukturierten Daten dürfte man schnell an Limits kommen (zb. zu viele Suchergebnisse für das Kontextfenster, Verwirrung des GPT usw.)

@stahlworte ich habe das überhaupt nicht als Kritik empfunden. Ich finde es toll, wenn wir in den Austausch kommen. Und vielleicht ist meine Lösung auch totaler Quatsch. So kann jetzt jeder für sich entscheiden oder erkennen, was möglich ist und was eben schwierig ist. Also vielen Dank für deinen Beitrag, der das Ganze sehr bereichert!

Ja, aber nicht automatisierbar! Ich will einfach ein Foto machen oder einen Link kopieren und der Rest soll automatisch laufen. Das macht das NotebookLM nicht! Das ist eher ein Notion auf steroide!

Danke! Tutorial dazu?

I do my very best 😂

Danke für dein Feedback. In der Tat bin ich sehr schnell, was aber auch daran liegt das ich alles in einem Take und ohne Script spontan aufnehmen. Dann ist es schwierig abzuschätzen wie schnell oder langsam ich meinen Screen zeigen soll! Für mich Fachidioten ist es natürlich total easy. Für einen Außenstehenden vielleicht eben nicht, wie ich an deinem Kommentar entnehmen konnte. Ich Versuch beim nächsten Video daran zu denken.

Also für meine eigenen Videos habe ich das mit mp3 gelöst. Das Audio kann ich von Whisper transkribieren lassen. Dann kommt der normale Workflow ins Spiel. Im Prinzip musst du bei jeder Art von Inhalt auf den eigentlichen Text kommen. Das wird die Herausforderung sein. Zum Beispiel wäre ein PDF im Prinzip schon durchsuchbar, wenn der Text darin nicht in ein Bild umgewandelt worden wäre. Ein Bild geht mit GPTVision. Es ist natürlich eine Kostenfrage, wie weit man gehen kann. Lokale Modelle wie Gemini2 sind leider noch nicht in der Lage, lange Texte zusammenzufassen, geschweige denn auszuwerten.

Hi @lollihonk, was und wie soll ich dir das zu Verfügung stellen? Soll ich mehr auf die Automation, Airtable, Webhook oder Python eingehen?

@@bastianstrauss wie wäre mit der Funktion "Export Blueprint"? Dann kann jeder das mal bei sich importieren. Wäre cool.

Leider geht das wegen dem Airtable nicht! Dir fliegt der Blueprint um die Ohren. Ich bau das mal als Blogbeitrag!

Nein, dafür musst du weiterhin 20$ bezahlen!

@@bastianstrauss Danke für den Hinweis und die schnelle Antwort! Ist weniger eine Frage des Geldes, sondern mehr der Praktischen Nutzung (z.B. Data Analyst für lokale LLMs, Verwendung von einem eigenen (Chatbot) UI und Verwendung von Data Analyst im eigenen UI) - gibt es eigentlich Alternativen zu chatGPT die es ermöglichen, Excel Files etc. zu erstellen?

Interessante Fragestellung. Ich beschäftige mich zurzeit eher mit RAG und Co. Aber das werde ich auch einfach mal weiter verfolgen. Insbesondere der Idee mit lokalen LLM's

Antwort: Ja -> Ollama+ PandaAI als openSource... werde ich mal testen!

Danke

Danke

Hab dir ne DM geschickt

Tatsächlich nicht. Hab nur ne kleine virtuelle Maschine bei DigitalOcean. Aber erste Grenze ist der Speicher! Das große Embeddingmodel von OpenAI erzeugt für 400 Seiten 80MB! Bei etwa 600 Vectoren! Beim kleinen reden wir von ca. 18MB! Dann denke ich ist der nächste Faktor die CPU für das suchen in der DB. Aber der Punkt wird erst sehr spät ein Problem. Aber das ist alles Glaskugel! Vielleicht hat hier noch jemand Erfahrung damit?

Klar. Das ist korrekt! Wie in meinem Beispiel macht das keinen Sinn. Spannend wird es aber wenn der Text 500.000 Tokens hat!

Ja… erleichtert vieles. Das geile: via Flowise geht das updaten des RAGs via API!!!

Ja, ist selber entwickelt!

Danke ✌

Klar. Aber Mistral hat ein bisher unschlagbaren Vorteil: DSGVO Konform, was im beruflichen Kontext zurzeit einen erheblichen Mehrwert darstellt!

Ja, die Teltonika Box empfängt iBeacon und Eddystone. Im Backend extrahieren wir diese Informationen. Am Laptop klebt ein externer Beacon. Wir bauen mittlerweile eigene energiesparende Lösungen, weil die am Markt befindlichen Lösungen zu groß oder zu kurze Batterielaufzeiten haben. Ziel ist es mit einer CR2032 Größe auf 10a zu kommen!

@@bastianstrauss Das ist cool. Meine Apple Airtags mit CR2023 halten nur 9 Monate durch, bevor die Batteriewarnung kommt. Habt ihr auch eine iOs oder Android App, die als Empfänger dient und dann zusammen mit seiner GPS Position die Daten an die Datenbank sendet? Ich kann mir vorstellen, das die Empfänger in den Fahrzeugen nicht alle Ecken einer Baustelle erreichen, und dadurch Becons nicht mehr gefunden werden!?!

Vielen lieben Dank! Ich bemühe mich.

🙏

Vollkommen richtig! Dadurch das ich Make als Schnittstelle UND Airtable nutze bekommst du ein mega Delay! Natürlich geht nichts über ein natives Script direkt auf die API von Airtable. In diesem Demo geht es eher darum, ob eine No-Code Automationsebene auch eine "API" nachbauen kann. Die Antwort von mir: ja geht. Ich bin gedanklich dabei einen GPT Assistant anzubinden und dann ist das Delay der Schnittstelle im ersten Moment ein Witz. Ich würde Make auch nicht in einer produktiven Umgebung mit über > 2 Request pro Sekunde einsetzen. Das ist too much. Make ist eher etwas für den kleinen Dienstweg, wo der Aufwand des Programmierens größer ist als der Nutzen der Schnittstelle. Und Power Automate Flow, Zapier oder N8N sind da sehr sehr ähnlich. Aber was da einfach cool ist, in diese API könntest du noch eine KI integrieren, die Daten zusammen fasst oder was auch immer. Oder mein Ziel ist es Handwerker soweit zu befähigen ihre Daten aus ihren System irgendwie abzufragen. Das wäre ein erster Schritt!

@@bastianstrauss Ich komme aus dem Bereich wo man viel Power Automate Flow einsetzt, was wie du sagst, sehr ähnlich ist. Aus meiner persönlichen Erfahrung ist es wichtig, dass man no-code/low-code automatisierungen nur da einsetzt wo sie 1. auf gar keinen Fall scalen müssen 2. auf gar keinen Fall häufigen Änderungen ausgesetzt sind 3. auf gar keinen Fall Businesskritisch sind Ich hatte selbst auch mal einen Power Automate Flow als Schnittstelle zu einem Drittsystem eingesetzt was Daten syncrhonisiert hat. Das Ergebnis war, dass sobald die Menge der Daten 1 mal ein klein wenig mehr wird, bspw. bei einem kleinen Datenimport, die No-Code Implementierung nicht mitkommt und die Ausführung bei den Flows zumindest immer länger wurde. Teils so absurd lang, dass aus Sekunden Stunden wurden.

Oh ja. Ich hatte das Problem bei einer remigration! Ich musste 4500 Datensätze durch die LowCode Automation jagen! Mein Script wäre damit in ca. 2min fertig. Bei Make ging das gar nicht. Ich musste zum ersten Mal ein sleep (500ms) in mein Script einbauen, damit sich die Automation nicht verschluckt! 4500 x 500ms! Super!!! „Ironie aus“! Ich gebe dir vollkommen Recht @sirkato7751 LowCode ist eher was für kleine Projekte, PoC oder MVP‘s. Sobald es ernst wird, macht eine native Schnittstelle mehr Sinn! Aber gerade am Anfang spart so ein System viel Zeit und damit letztendlich Geld für genannte Konzepte. Sobald der Proof da ist lohnt sich die aufwendigere Entwicklung. Mein Beispiel habe ich in 5min gebaut! So schnell kannst du sonst niemals eine API aufbauen!

Gute Anmerkung! 401 wäre hier natürlich deutlich besser. Das Beispiel war auch sehr schnell zusammen geklickt. Damit das als NowCode API wirklich gut funktioniert fehlen noch einige Sachen. Aber MAKE dafür grundsätzlich zu nutzen war der spannende Case. Welche Tools kanntest du nicht?

Vielen Dank @andreaskoop!