Video

Hast du das auch immer, dass die Ausgabe der KI als normale Antwort kommt und nicht als json? Dann bricht natürlich das Script ab.

Sehr interessantes Video um zu verstehen was man alles mi ki machen kann. Danke

Kann man sich den Code irgendwo anschauen damit man damit selber experimentieren kann?

Erst einmal DANKE !!! VSCode mit Ollama und CodeGPT ist der beste Tip hier ! Aber irgend wie hast du alles doppelt gemoppelt, es geht VIEL einfacher: 1. VS Code runterladen, installieren und starten. 2. Ollama runterladen, installieren und starten. 3. CodeGPT in der Extensions Suchleiste von VS Code eingeben. 4. CodeGPT mittels blauem iINSTALL Feld installieren. 5. CodeGPT links in der Startleiste starten. 6. Im Fenster von CodeGPT, oben links, das Menü öffnen und als "PROVIDER" Ollama wählen. 7. Im Feld darunter das gewünschte Modell wählen, z.B. codestral. 8. Das Menü schließt sich und muss neu geöffnet werden um den Download mittels der "DOWNLOAD MODEL" Fläche zu starten. 9. Warten bis der Download abgeschlossen ist. Das wars, viel Spaß ! 🖥

Hi erstmals vielen Dank für das Video! Ich frage mich, ob man die Modelle kombinieren und trainieren kann. Bei mir wär das perfekt wegen den ganzen Normen für die Baustelle. Lg danke

Das mit Paperless-NGX :)

Bezüglich Geschwindigkeit... Auf was für einem Rechner mit welcher Grafikkarte läuft das? Ansonsten macht die Aussage das es ziemlich schnell ist, wenig Sinn und auch ohne einen Vergleich zu anderen Modellen ist die Aussage so relativ nochtssagend.

Ziemlich cool!

Video ist etwas chaotisch und bringt leider nicht viel. Sorry solche Videos nerven wenn man nicht gut vorbrietet ist. Ich weiß ist viel Arbeit aber warum macht man nicht was richtig cooles. ;)

Wie wichtig ist der Einsatz von guter HArdware bei den Offine KIs? Mit langsamen Office Rechnern im Job scheint mir #chatgpt noch alternativlos? Oder gibt es da auch Alternativen?

Als Gamer wäre für mich ja auch wichtig wie ich weiß wann ollama läuft und wann nicht (wegen dem Speicherverbrauch) und was die Chunk Einstellungen bewirken. Edit : Klar könnte ich das alles nachschlagen. Es ist ja auch eine Anmerkung das sowas in genau solchen Videos als Info gleich nicht schlecht wären.

Danke für die ausführliche Anleitung

Guten Tag, ich interessiere mich für ihr Programm und wieder es gerne ausprobieren. Danke.

Cool, Danke 😊

LM Studio laufen auch alle Models offline. Das gibt es ja schon ein halbes Jahr. Kannst sogar auf die API lokal auf die LLMs zugreifen.

Wäre schön, wenn du den Ton bei den Videos ein bisschen höher einstellen würdest! Sonst 'Top!

Nicht so ausgereift wie ChatGPT. Kann auch Deutsch nicht so gut. Mit starker Hardware kann man LLama3 und viele andere Chatbots auch offline nutzen, aber zu sagen VERGISST CHATGPT ist völliger Blödsinn.

Network Chuck hat zu dem Thema ein sehr ausführliches Video gemacht 😉

Halte ich trotzdem für eine gewagte Aussage. Im moment ist eine der nennenswerten Grössen, die Anzahl der Parameter. LLAMA3 gibt es in den Geschmacksrichtungen mit 8 Milliarden und 70 Milliarden Parametern. Wie auch in der Liste Ihrer heruntergeladenen Modelle zu sehen war. Chatgpt 4 soll 175 Milliarden Parameter haben. Die grossen Modelle sind so Resourcenhungrig, das man mis seinem Lokalen rechner nicht wirklich zurande kommt Als kleinen Benchmark hab ich mal die übliche Frage "Why is the Sky blue?" gegen beide laufen lassen auf 2 verschiedenen Maschinen laufen lassen. Einmal auf nem LXC mit 8 Cores und 40GB RAM und einmal auf nem M1 MacMini mit 8GB Ram. 8B hat das ganze 80 Sekunden beim LXC und 40 Sekunden beim M1 gedauert beim 70B etwa 10 Minuten beim LXC und 8 Stunden beim M1. Um das grosse Performant laufen zu lassen, so sagt man, sollten das 2-3 Fache an RAM oder GPU/RAM der LLM Grösse zur verfügung haben. Also wäre dafür beim MBP schon mal etwa 5-6 Tausend € fällig… Intel wird da wahrscheinlich auch mindestens die Hälfte kosten. Anyway für viele Aufgaben dürften die kleinen Modelle gut genug sein… allerdings ist es trotzdem nur ein müder Ersatz. Sowohl 8B als auch 70B

Beeindruckend, wie schnell das ist

Die Qualität des Code den llama3 ausspuckt kommt nicht an die Qualität den Code von GPT4 ran. Aber vielleicht wird das noch.

Wie war die Temperatur eingestellt beim API Call, zu hoch sorgt halt für gewisse ausartende Kreativität.

Hi Günther! Man sieht leider bei YT den unteren Teil deines Displays nicht, also was du in den Chat eingibst usw. Trotzdem gelungenes Video! ✌️

Sehr cool

4:55 danke ich habe die gleiche Klingel und bin durchs Haus gelaufen xD

"zu meiner Zeit. Also vor einer Woche" :D Das fasst AI aktuell ganz gut zusammen

Und kleiner Tipp bei den Einstellungen von Chat auf Query ändern. Dann denkt das System nichts aus!

😊 schön das du dich mit AnythingLLM auch beschäftigt hast. Das Chunking ist leider nicht so doll. Schau dir mal LamaParse für die Vorbereitung der Texte an. Ich bastel aktuell an ChromaDB und VectorAdmin

Von KI kann ich nichts erkenne. Habe eine kleine Textdatei erstellt mit einigen meiner persönlichen Informationen (Familie). Viele Fragen zu den Familienmitgliedern wird falsch beantworter und erst, wenn ich 4x die Rückmeldung geben: "Die Antwort ist falsch." kommt häufig die korrekte Antwort. Von KI ist das weit entfernt. Habe schon mit den Einstellungswerten rumgespielt, aber keine Besserung feststellen können. Schade, mit solcher "KI" kann man nicht arbeiten, da man alle Anworten hinterfragen muss. Die Online KI-Assistenten, ich nutze zur Zeit noch "PI" habe ich einmal mit den Daten gefüttert (vor 2 Monate) und der kann jede frage zu den Familienmitgliedern korrekt beantworten. So muss es sein. Keine plötzlichen Fantasienamen, Meine Schwester ist plötzlich meine Tochter oder meine Pflegetochter ist plötzlich die Tochter meiner Schwester usw. Dass hat mit KI nichts zu tun. Augenwischerrei. Da fehlt wohl noch mindestens 1 Jahre Entwicklungsarbeit. Auch das Modell von GPT4All macht die gleichen Fehler mit lokalen Dokumenten. Wenn ich den Text in LLama3 Chat direkt einkippe, macht diese KI auch keine Fehler bei der Beantwortung von Fragen zu den Familenangehörigen, aber ich möcht gerne gespeicherte Bücher, Notizen etc. per KI abrufen/auswerten können. Schade dass es so offline noch nicht klappt.

Danke für das Video, weil es doch mehr Schritte braucht als bei GPT4all oder PInokio Edit: Ja das mit den PDFs ist ein problem. er soll ja nicht nur nachschlagen. Das LLM sollte wenn dann auch davon lernen. Das wäre besser.

Hast du evtl eine Idee wieso ich damit die LLM verschossen habe ? Ich hab mir auch GPT4all installiert. Das deutsche Mistral geholt. deutsche und englische Pen and Paper PDFs reingeladen und danach hat die LLM nur noch mit chinesischen Zeichen geantwortet. selbst wo ich sagte er soll deutsch mit mir reden hat er mir gesagt das er das gerne tun kann und ob ich etwas über die chinesische Kultur oder den Taoismus lernen will... in chinesischen Zeichen. Ich dann erstmal nach Viren gescannt, die PDFs wieder rausgenommen... nichts hat geholfen bzw er gab nur noch immer assistant als Antwort.. Da danach auch noch der Vireenscanner sein Update verhaun hat und alle exe weg waren von dem Scanner hab ich GPT4all deinstalliert und seitdem nicht mehr angefasst... Im offiziellen Discord gabs leider auch keine antwort darauf...

Bömisches Dorf, aber interessant.

Ha ha… endlich mal ein Video wo nicht alles auf Anhieb klappt. So etwas hatte ich letztens auch. Hab das Video zweimal abgebrochen. Aber deinen Tipp werde ich ausprobieren!

Oh das wollte ich auch schon immer mal ausprobieren. Für mich ist das nicht so interessant!

Nutz für Locale LLMs am besten CodeQwen chat oder Mistral Hermes pro 2 7b Nur so als Tipp :)

Ich kann die "KI" hier nicht erkennen. Habe eine Datei mit meinen persönlichen Daten (Geburtstag- und Ort, Geschwister und deren Kinder) erstellt und gpt4all als PDF zu Verfügung gestellt und einige Fragen, z. B. zu meinen Geburtstag oder Ort werden auch richtig benantworter. Andere Fragen, z. B. wer ist meine Nichte, werden falsch beantwortet (wird meine Schwester als meine Nichte genannt). Sehr enttäuschend. Die Frage ist, wie muss ich die Daten erfassen, so dass die "KI" diese richtig verarbeiten kann? Auch kann das Programm die Systemzeit und das aktuelle Datum nicht ausgeben. Daher kommt bei der Frage wie alt ich bin immer nur mein Geburtsjahr. Enttäuschend. Das Programm sollte doch in der Lage sein, solche Dinge vom aktiven System auslesen zu können.

Musstest du gerade Angela Merkel nehmen? 🤢 Nur schwer Anzuschauen dieses Video.

Muss ich nachher gleich mal testen

Bin gespannt auf die Entwicklung in Sachen lokal laufende und lernfähige KI's :D

warum kann ich das video nicht in youtube speichern?

Das Problem zu Beginn war, es heißt "life", nicht "live", das bedeutet dann etwas ganz anderes und das LLM war verwirrt ...

🎯 Key Takeaways for quick navigation: 00:40 📥 Download the model in the settings, and set the language to "Human Assistant" for the new Facebook model. 01:08 💻 Adjust the CPU settings, and if you have a newer Mac, consider using the graphics card. 01:52 📂 Specify the path where the models are stored, and make sure the necessary model files are in the correct directory. 03:09 🤖 Experiment with settings to use the new Facebook model in different languages, and it can be customized for various tasks. 04:56 🖥️ The new model formats code more effectively, making it useful for coding tasks. 06:19 📄 The machine can process and understand text in various languages, including German, and can be used for PDF analysis. 09:59 🧠 The model can provide insights and information from text data, but some issues may need further exploration or tweaking. 11:29 📤 To download the Meta Llama 2 model, register on faces.co and enjoy using it offline for various tasks. Made with HARPA AI

Bin ich froh, dass ich dieses Video gefunden habe. Habe eben auch versucht Llama2 auf Deutsch zu beschränken, was i.W. unmöglich ist. Weiters erscheinen mir Antworten aus einer lokalen Wissensbasis nur maginal relevant. Eher Llama2-7 (4b) ist eher ernüchternd

Vielen Dank. Nutze GPT4ALL v2.4.14 und llama-2-13b-chat.ggmlv3.q5_K_M.bin. Steht halt noch ganz am Anfang, switcht oft von Deutsch auf Englisch, "Versteht" kaum zusammenhänge und lässt sich leider auch nicht per Dialog "trainieren". Der Zugriff auf eigene Dateien ist auch noch nicht praktikabel. Würde noch nicht sagen, das es funktioniert, da die Tests die Probleme zeigen. Mal sehen, wie es weiter geht.

😊😊Warum sagen immer alle es sei fast wie chatgpt.? Nein das ist es eben nicht. Nicht mal gpt3. Ich freue mich auf die Zeit wo es tatsächlich ein vergleichbares offline Large Language Modell gibt.

Du bist der Beste, jetzt kann ich meine KI mit eigenen Daten füttern.

Kann es sein, dass im System Prompt noch eine englische Anweisung steht, dass von daher noch englische Antworten kommen.

Vielen Dank. Spannend. Wie kann man GPT4ALL beibringen, das z.B. die richtigen Quellen angegeben werden? Oder, wenn auf deutsch geschrieben wird, das z.B. richtig die Einzahl oder Mehrzahl genutzt wird. Auch wenn man die richtige Antwort gibt, wird sie nicht übernommen. Leider habe ich noch keine Videos oder Anleitung darüber gefunden, wie man mit GPT4ALL trainieren und korrigieren kann. Bin gespannt, ob es dazu mal was gibt. Viele Grüße!

Matheo ich bin nizam 😂

Sehr geil. Wienist das denn, wird das immer verbessert ?