Lokaler KI Server von Apple?! Self-Hosted ChatGPT auf dem Mac
Vložit
- čas přidán 9. 07. 2024
- ✌🏻Unterstütze meinen Kanal auf Patreon: / apfelcast
In diesem Video zeige Ich dir, wie du einen Mac mini als lokalen KI Server verwenden kannst, um die volle Kontrolle über die Daten zu haben, die du mithilfe von KI verarbeiten möchtest. Ein Mac Mini stellt sich zudem auch als absoluter Preis-Leistung-Sieger in der Kategorie unter 1000€ heraus. Auch der Stromverbrauch dieses Geräts gemessen an dessen Leistung, bietet einige Vorteile.
Mac Mini kaufen: www.apple.com/de/shop/buy-mac...
🛠️ OpenSource IT-Support 🛠️
Du benötigst Unterstützung bei der Installation oder Konfiguration von OpenSource KI Software? Ich helfe dir gerne weiter! Schreib mir einfach eine Mail an (Daniel): service@apfelcast.com
» Meine Website: apfelcast.com
ℹ️ Links:
Dell GPU KI Server: • Dein persönliches Chat...
OLLAMA Download: ollama.com
Docker für Mac: docs.docker.com/desktop/insta...
Open WebUI Befehle: github.com/open-webui/open-webui
» Abschnitte:
00:00 Begrüßung
01:28 Warum Mac als KI Server?
04:08 Software Installation
05:37 Installation OLLLAMA auf Mac
07:46 Installation Open WebUI auf Mac
10:35 Performance Vergleich
13:34 Stromverbrauch
14:45 Fazit
Mein Equipment:
» Kamera: amzn.to/2M4fQuL
» Objektiv: amzn.to/2M13bsA
» Ton: amzn.to/2M1EBHX
» Recorder: amzn.to/2QhsnJC
» Beleuchtung: amzn.to/2JxF96e
Hinweis:
Alle Links beginnend mit „amzn.to“ sind Affiliate Links. Wenn du über einen dieser Links ein Produkt kaufst, bekomme ich einen kleinen Anteil des Kaufpreises gutgeschrieben. - Věda a technologie
Bitte mehr Videos zum Mac mini als Server klingt zumindest sehr interessant in Sachen Stromverbrauch
Mac Mini M2 und Anything LLM als UI. Da ist sind auch Web-Scraper, Agents und RAG mit drin. Macht das alles so viel nützlicher!
Danke für den Hinweis mit dem Mac!
Sehr interessantes Video. Ich stand Ende letzten Jahres auch vor der Suche für einen lokalen AI Rechner, habe mich dann aber für ein Custom build PC mit ordentlicher Grafikkarte entschieden. Die NVIDIA Unterstützung ist bei den meisten Lösungen hier wirklich ideal.
Habe auch gleich mal den "ApfelCast Benchmark" gemacht ;)
MacBook M1: 58s (10.75 tokens/s)
Windows mit RTX4070: 17s (54.73 tokens/s)
Zeigt mir auf jeden Fall, dass es die richtige Entscheidung war, auch wenn ich lieber einen Mac genommen hätte. Der PC ist schneller als der MacMini und hat den Vorteil das viel viel größere Modelle geladen werden können. Das gleiche kann man scheinbar auch mit einem MacStudio erreichen, aber dann leider für den 3-4 fachen Preis. Das war es mit nicht wert.
Auch wenn es CZcamsr gibt, die immer gern gegen dich schießen, ich finde deine Videos Inhaltlich gut. Danke dafür!
Interessant, wäre mir bisher nicht so aufgefallen. Wer denn zum Beispiel? und mit welcher Begründung haten die?
@@jakobholznerwürde mich auch interessieren 🤔
Danke für deinen guten Content
Ich würde mich sehr über mehr Content über den Mac Mini als Homeserver freuen. Genau so wie dieses Video finde ich es immer wieder schön wie du das zeigst und erklärst ohne jegliche Werbung. Wie immer sehr interessant und sehr gut gemacht!
Da lass mal lieber die Finger von und hol Dir etwas mit einer x86-64 Architektur. Beim Mac Mini funktioniert leider nicht mal mehr die Dateifreigabe zuverlässig.
Super! Interessant wäre aber auch, da preisgünstiger, eine Lösung von AMD, denn deren "U" CPUs bieten auch KI-Beschleunigung der 2. Generation, die laut Benchmarks die von Apple übertreffen soll (Die Ryzen 88xx Modelle)
spannend sind die LLM dazu kompatible? meisens scheitert es daran das die KI Modelle die Neural Engine garnicht nutzen können
Laut Specs sind die beiden NPU´s gleich stark, je 16 TOPS
Der MacMini als M4 Pro wird meine Offline Lösung für die KI Geschichten 😍😍
oha muss ich gleich testen
also ich hab das video noch nicht ganz fertig geschaut aber schon der titel sagt meinem gehirn das ich das brauche
Mir haben hier noch Informationen zum Arbeitsspeicher gefehlt. Wie viel RAM sollte mein Mac Mini dafür haben? Ab wann bekomme ich Limitierungsprobleme bei meiner lokalen KI bei zu wenig RAM?
also 3B Modelle schafft ein 8gb Ram gut.
ich denke nach oben ist viel Luft und mindestens 16 GB sollten es schon sein damit schaffst du gut 7B Modelle
Kann ich den Mac noch normal verwenden oder ist er dann nur noch KI-Server?
Wäre mal interessant den MacMini mit M2Pro mit in den Vergleich zu nehmen.
Hat irgendwer einen Mac Studio mit M2 Ultra? Mich würden da mal die Werte interessieren.
Und wie ist die Qualität der Anwworten, die hängt ja auch sehr von der Leistung ab
Danke für das spannende Video. Kannst du die Leistung von OLLAMA einordnen im Vergleich zu Bildungsversion von Copilot (gratis für Studenten) und im Vergleich zu Copilot als Bezahlversion (privat). Wie siet es mit Copilot versionen aus? PS: Dein Voice-Sound bei Screenrecording ist top!
kannst du mal ein Vergleich zu googles tpu machen?
Wieder ein Interessanter Beitrag . Bedeutet lokal das dieser ki Server nach der Installation nicht mehr auf das Internet „zugreifen“ muss? Warum muss man zur Anmeldung auf seinem privaten Server seine Mail angeben? Das wäre schon interessant wenn man zb. Anschreiben erzeugt wo personenbezogene Daten angegeben werden. Danke und Grüße
Richtig, nach der Installation kannst du den Mac vom Internet trennen und die KI Funktionen funktionieren weiterhin. Die E-Mail Adresse dient hier einfach als Unique identifier.
Das ist Super. Habe mir letztes Jahr für einen Test einen gekauft und seitdem hat er ein trauriges Dasein. Das wäre seine Rettung.
Es ist super schade dass es von Apple selbst kein ServerOS mehr gibt. Ich frage mich wie die dass selbst in Ihren Rechencenter genau machen.
Erst mal danke für das Video. :) Hab es mal auf meinem MacBook Air getestet, leider ist da die Performance so schlecht, dass man damit nicht arbeiten kann. Teilweise hängt dann auch der gesamte Rechner, so dass man nicht mal mehr parallel arbeiten kann um auf die Antwort zu warten. Aber das video geht ja auch darum, dass ein extra Rechner der nur das Machen soll bereit steht. :)
Was meinst Du, wird das auch so gut mit einem Mac Mini mit M1 Chip funktionieren?
Wieviel Ram hat er?
@@Silberschweifer auch 8 GB
@@lutzakemann 3B modelle 4Q sollten gut gehen.
7B 4Q Modelle mhm mit Wartezeit und nur wenn nichts anderes viel Ram benötigt
@@Silberschweifer weder 3B noch 4Q sagen mir irgendetwas ...
@@lutzakemann 3 Billion Parameter> sozusagen neuronale Verbindungen
4Q > 4 bit quantisierung, ist wie runden von Nachkommatellen.
Je kleiner die Zahl desto kleiner und schneller wird das llm, allerdings produzieren schlechtere Antworten
Hm, mich würde interessieren was du über folgendes Szenario denkst und ob ein MacMini dafür ausreicht. Ich arbeite gerade an einem Projekt für meine Behörde, wo es darum geht sichergestellte E-Mails, Nachrichten usw., mit Hilfe von KI nach verdächtigen Inhalten zu durchsuchen/analysieren. Bei mehreren 100.000en ist das manuell nicht mehr zu bewerkstelligen. Ich weiß, in der Cloud würde das kein Problem sein, allerdings ist es so das die Daten unser Haus nicht verlassen dürfen. Für einen performante Serverlandschaft fehlt hier leider auch das Budget.
Was denkst du? Umsetzbar mit nem kleinen Mac?
Da fehlt so ein bisschen das drum herum. 100.000 Mails pro Stunde? Tag? Woche? Monat? Jahr? Was für ne Server Landschaft existiert bereits, hast du schon ne KI am laufen bei dir zuhause oder so? Fehlt dir da nur die Hardware weil du keine bekommst? Um was für verdächtige Inhalte geht es denn. Spam, Hack und Phishing? Da gibts aufem Markt schon ein paar Lösungen, die bestimmt auch on Prem laufen. Da fallen mir TrendMicro, Hornetsecurity oder Baracuda ein, ich weiß aber jetzt nicht ob die eine on Prem lösung bieten. Aber egal was in die Richtung geht, günstig wird nichts davon, egal ob Cloud oder on Prem die Unternehmen lassen sich das gut bezahlen, jedoch macht bei uns TrendMicro gute Arbeit. Wenns um andere dinge geht wofür es nichts gibt, bleibt nur eins, der Schuss ins blaue, mit nem Mac mini würdest du geldtechnisch jetzt groß nichts kaputt machen. Aber behalte halt im Hinterkopf, dass en Server mehr ausmacht als nur Performance. Schnelle Garantieabwicklung, ausgelegt für 24/4 Betrieb, Renudanz, usw.
Ich habe den alten Macbook air M1 Laptop meiner Frau, bei dem das Display kaputt gegangen ist, für den gleichen Zweck im Wohnzimmer gestellt headless. Wenn ich doch Display brauche, wird er mit dem Fernseher verbunden durch eine Dockingstation. Ollama läuft und ist erreichbar im Heimnetzwerk. Allerdings sind die 8GB Arbeitsspeicher für KI Modelle gerade das unterste Limit. Hier laufen nur die kleinsten Modelle. Energieverbrauch ist sensationell bei den M Modellen. Ich bin jedoch kein Fan vom MacOS
RAM ist doch aufrüstbar, oder ??
@@lutzakemannj nein leider, bei Air Modelle sind die RAM gelötet und es gibt keine RAM Riegel mehr, die man austauschen könnte. Dadurch wird das Laptop zwar sehr dünn, jedoch geht es auf Kosten upgradablity
Die Frage ist auch, was erst mit einem M4 geht. Bzw. den kommenden M5 usw., die noch deutlich performantere Neural Engines haben werden.
Was natürlich ein echtes Killerargument ist, sind die max. 50W.
Vermutlich wird es nicht mehr lange dauern, bis es Komplettsysteme auf ARM-Basis geben wird, die man sich zu Hause out of the box hinstellen wird können.
Von Apple, HP, Amazon etc. etc. Bad News for Intel.
M5 wird deutlich performantere Neural Engines haben? Weißt du mehr als wir? Arbeitest du in Cupertino?
Wie dem auch, ch pers. warte auch sehnsüchtig auf eine performante ARM-Kiste, die ich mir als Linux-Server hinstellen kann. Bei Windows wird es meiner Einschätzung nach noch dauern, bis x86 verdrängt wird. Stichwort Treiber…
@@Robert65536 Wo soll denn die Entwicklung hingehen? Der M4 hat schon einen größeren Sprung in die Richtung gemacht. Der M5 wird da sicherlich nicht zurückfallen. Wenn du jetzt einen performanten ARM-Linux-Server willst, hol die einen M4 Studio Pro und installier dann ein Linux. Aber warum? Ich finde, der Mac ist die perfekte Symbiose. Ein ausgewachsenes Unix und ein Desktop, der nicht umsonst als Kopiervorlage für alle andere diente und dient.
Irgendwie verstehe ich nicht, warum Tesla zehntausende Graphikkarten zu je 40000€ für KI benötigt, obwohl so eine Neural Engine im 700€ Mac mini ja auch schon brauchbar sein soll. Wenn mir das mal jemand erklären könnte...
Weil Tesla vermutlich eine Vielzahl an komplexen KI Anfragen gleichzeitig verarbeiten muss. Der Mac Mini ist ja nur für den Single User Case gedacht.
Ich würd dafür keine 8GB Mac Mini nehmen. die LLM´s sind sehr RAM abhängig/Lastig. Standard LLM´s brauchen mal so rund 4-6GB im RAM, größere auch mal bis über 20GB. Deswegen sind auch manche kleinere Iphone/ipad Modelle nichtfür die lokale KI vorgesehen. die CPU/NPU würde reichen, aber sie haben zu wenig ram.
Ich würd zumindest 16GB nehmen.