The AI Revolution on Your Desktop: Mastering Llama 2 with Ollama
Vložit
- čas přidán 19. 02. 2024
- Learn how to run Meta's Linguam Llama 2 Model on your PC at home and not spend more on online services and finally have data privacy
Video Code: github.com/inteligenciamilgra...
Ollama Official Website: ollama.com/
Ollama Code: github.com/ollama/ollama
Learn Artificial Intelligence! Become a channel member
www.youtube.com/@Inteligencia...
Website: www.inteligenciamilgrau.com
Instagram: @inteligenciamilgrau
Facebook: / inteligenciamilgrau
GitHub: github.com/inteligenciamilgrau - Věda a technologie
Me inscrevi pq vc ensina na prática e é dedicado e para mim é bom em ensinar.
Valeuuuuuuuuu Uriel! Fico feliz em saber que gostou!! É muito gratificante!!
Muito bom o vídeo! Quando der, faz um vídeo de Fine Tunning para criar sistema especialista,
pois vi que com um sistema especialista é possível ter uma precisão muito boa com modelos mais fracos como o 7b.
Eu tenho um de fine tunning usando ChatGPT, dá uma conferida!! No geral o processo é o mesmo:
czcams.com/video/CF5FvlxSU8A/video.html
Como assim eu não conhecia esse canal incrível? Eu só precisei ver dois vídeos para virar inscrito, esse conteúdo é de ouro!
Aeeee Vinícius!! Fico feliz em saber!! Bóra que daqui pra frente é só sucesso!! Valeuuuuuuuu
Pô, minha honesta reação foi essa também: "Como diabos eu nunca tinha visto esse cara?" KKKKKKKKKKKKKKKKKK
@@martinianogomes5011 Valeuuuuuuuuuuu
Vou expor ideias, sua didatica é muito boa, e o conteúdo é bem, bem, valoroso, e um valor bem alto, apenas fico triste por não ter o devido reconhecimento, sei que não pediu minha opnião mas pelo o que eu acho sobre o valor do canal, falarei mesmo assim, acredito que o canal poderia alcançar um publico maior, tendo a essencia do canal intacta, sem ter que mudar, e continuar com o conteudo que tem do jeito que é, seria o marketing, isso é um ramo diferente mas é uma opnião minha, não sei qual é o seu foco para o canal, e se estiver satisfeito assim, que bom continuarei apoiando.
Valeuuuuuuuuu Rwcap!! Você é o cara!! Posso fazer uns conteúdos de Marketing sim, acredito que é onde mais tem sido usada IA na prática em grande escala!! Mas vou te dizer que meu marketing que precisa melhorar!! Estou aprendendo isso agora!! Vamos ver se dou um boost nos próximos meses!! Os comentários sempre fazem a diferença!! Vou te dizer que estou aqui dando passinhos de formiga, mas pode ter certeza que o canal está crescendo devagarinho, mas está crescendo!! Segue apoiando que uma hora vai!! Uhuuuuuuuuuuuuuuuu
@@inteligenciamilgrau As vezes escrevo tudo esquisito, mas, o que eu queria falar seria isso mesmo, melhorar o marketing do canal, e não necessariamente fazer conteúdo de marketing ( o que não seria má ideia) mas é com você, espero que o canal cresça muito ainda.
rsrs Boaaaaaaaaaa!! Na verdade você está acompanhando em tempo real que fazer um canal dar certo é um investimento de médio/longo prazo! rsrs Depois que o canal fica grande e a pessoa diz nas entrevista que apanhou bastante antes de crescer e é disso que estamos falando! rsrs cada ano que passa é muito aprendizado!! Obrigadão por apoiar!! Valeuuuuuuuuuu
Muito bom! Sabe dizer se é possível treinar ele com textos em português para melhorar as conversas ?
É possível sim, mas é não sei se dá pra treinar em um PC caseiro! Eu testei o mistral, ele é muito melhor que o llama 2! Testa aí também! Uhuuuuu
muito bom , ele tambem escreve codigos ? , cria historias ? faltou mostrar um pouco do potencial do modelo
Boaaaaaa, vou fazer um vídeo só falando dos modelos!! Sâo muitos, ia confundir a cabeça! rsrs
🙄Brother Bob blz! É possível fazer um test de benchmark das nossas próprias LLM localmente? igual vc fez nos testes do GPT vs Gemini, porém de forma local?
Se sim como podemos fazer isso? Vi que no LLMstudio tem um modo de servidor local que apenas me fornece uma API Base_URL local, como usar essa API local naquele seu código de benchmark? Tipo seria muito bom saber qual LLM é a melhor para nossas máquinas humildes rodarem! Fazendo nossos próprios testes com nossas próprias perguntas!
Boaaaaa!! É possível sim!! No LM Studio, pelo que entendi, ele gera o código para rodar local! Mas aparentemente precisa dar "run" manualmente na interface e ele vai interagir com o modelo que estiver rodando!! No caso do Ollama, eu só mudo o nome do modelo no código, e ele já vai chamar o outro modelo!! Dá uma olhada nesse link aqui:
medium.com/@ingridwickstevens/running-a-local-openai-compatible-mixtral-server-with-lm-studio-cd602efbf808
@@inteligenciamilgrau Rapaz, tentei de tudo, baixei a biblioteca que o LMstudio pede troquei a Api pela URL local, é não funcionou não, troquei ate a parte do (openai.chat.completations) por (cliente.chat.completations) do codigo pra ver se apontava pro cliente da API URL local e nem assim, algo no seu código não ta batendo com essa URL local, mais como so leigo ainda em usar esses local host, devo não tá sabendo alterar mais algumas coisas que precisam ser alteradas pra fazer funcionar localmente 🤔
Eu recomendo testar com o Ollama! rsrs Sobre o Lm Studio eu não sei responder porque não cheguei a instalar! Eu vi que ele existe, mas achei o Ollama mais simples e leve! Qualquer coisa testa com o Ollama!! Valeuuuuuuuuu
Caramba um docker hub de ia, muito massa, tava usando o oobabooga para rodar os modelos mas tava bugando muito as conversas, testei aqui o codellama de 34b e rodou bem mais fluido na P40, vlw ai bob vou ficar de olho nesse projeto, sabe se tem como integrar ele com o coqui tts sem usar a api?
Aeeeeee Rodrigo!! Boaaaaaaa!! Eu achei esse ollama o melhor até agora!! Se quiser compartilhar mais detalhes dos seus testes na P40, mandaver!! Eu só rodei o 7B até agora que foi para o vídeo! Mas de cara a performance foi muito melhor que os outros testes que fiz!!
@@inteligenciamilgraupode deixar conforme vou testando novos modelos e vou relatando por aqui, estou testando o Qwen 1.5 de 14b também melhor modelo que responde em pt-br que achei até agora kkkk, uma pena que a versão de 72b precise de pelo menos 40gb na versão de 4bits.
Boaaaaa! Eu testei o mistral e ele é muito melhor no português!
@@inteligenciamilgrautestei aqui e curti bastante pena que só tem 7B de parâmetros 😢
@@inteligenciamilgrauFala Bob blz, sabe dizer se tem como reetreinar estes modelos pré-treinados com um dataset próprio por exemplo?
Professor, ensina-nos a fazer um fine-tuning nos LLM's do zero, desde como preparar o arquivo até faze-lo funcionar no pc local.... Obrigado
Estou ainda procurando um simples de usar e gratuito! Mas ainda não achei!! Assim que encontrar um já gravo!! Valeuuuuuuuuuuu
Fala cara. Queria treinar uma IA com situações que faço no meu trabalho para que os desenvolvedores juniores possam enviar prompts para ela quando precisarem de alguma informação acerca de nossos projetos. Qual a melhor maneira?
Abraços!
Faaaala Luís, vc pode fazer um Assistant pela OpenAI em que vc fornece um arquivo como base para o ChatGPT utilizar como base para dar respostas! Ou fazer um sistema de RAG que consulta dados de um documento e usa como base para fazer as pesquisas!! Tem vários caminhos possíveis!! Valeuuuuuuuu
que massa, tem como criar um chat em javascript e utilizar esse modelo tipo llama3 como respostas mais local sem internet ?
Tem algumas opções!! Você pode pedir pro chatgpt fazer uma para você! Outra possibilidade é fazer um usando stramlit!! E outra possibilidade eu mostro neste outro vídeo:
czcams.com/video/bmfR9YNksRo/video.html
Valeuuuuuuuuuuuu
muito obrigado
😌
Uhuuuuuuuuuu!
Como eu faço para usar um modelo customizado meu, ou seja com dados extraídos de uma base de dados e usar o modelo do llama para responder e a partir disso ele se evoluir.
O modelo custom meu, a princípio eu pensei em ter um arquivo json contendo informações extraídas via comandos SQL no formato json.
Então com base nisso eu pensei. Poxa vou usar esse meu modelo (contendo dados de colunas e valores de uma determinada tabela, exemplo viagem) e usar o modelo do llama que contém o vocabulário básico para mesclar os dois modelos e gerar uma resposta.
Faaaala Douglas!! Achei aqui um artigo em inglês que fala sobre fazer um Fine tuning, que seria retreinar o modelo com seus dados. Ele explica aqui e no final ele tem um colab com o código para rodar:
www.datacamp.com/tutorial/fine-tuning-llama-2
Ou se preferir pode carregar seus dados (caso não sejjam muitos) e enviar junto com o prompt usando um dataframe de pandas convertido para texto! Você que decide!! Depois conta o que testou e se deu certo!! Valeuuuuuuuuuuu
amigo estou fazendo um projeto de IA que joga roblox, uso pycharm e a biblioteca TensorFlow, tem algum programa melhor que o gpt 3.5 (versão grátis) pra me auxiliar no processo?
Certeza!! O Gemini Pro 1.0 é melhor que o Gpt3.5!! Eu recomendo!! A api dele é gratuita ainda!! Talvez um dia cobrem!! Assiste aqui oh: czcams.com/video/bXymjacrklk/video.html
A comparação das performances tem aqui oh: czcams.com/users/postUgkxrLVN0DWUQUw1D6Wo6t2qmc3_ThCInHHz
Cara, boa parte do que você me disse eu entendi muito pouco. E toda vez que vejo um terminal aberto me sinto como aquele cara daquele filme antigo cuja vida é um reality show e ele está descobrindo isso... Eu achei a ideia de uma IA Generativa que roda na minha máquina algo que favorece a privacidade, mas devido ao meu limitadíssimo conhecimento fiquei com algumas dúvidas de como isso funciona e talvez eu esteja muito equivocado. Se eu fizer todo esse procedimento pelo Ubuntu (meu desktop é Windows) o que será instalado na minha máquina? Tipo, quantos GB? (seriam aqueles 3.8 GB do Llama 2 7B ou os 7.3 GB do Llama 2 13B? 3:50) Meus dados seriam enviados à Meta ou algo do tipo? (se eu finalizar até esse ponto 2:15) E afinal de contas, se eu instalar alguns desses vou ter mais privacidade? (OBS: As coisas que faço na IA Generativa não exigem muito e não tenho problema em escrever em inglês.) E também, se eu considerasse usar essa IA Generativa, qual eu instalo? Eu fui ao site e há um Llama 3 disponível! Enfim, eu tô muito confuso, agradeceria se me ajudasse a entender isso. Certamente não deve ser muito difícil pra você.
Faaaaala Brenno!! O tamanho que será instalado é a coluna SIZE da tabela!! O tamanho final do seu UBUNTU será os arquivos de instalação, o Ubuntu e mais o tamanho do modelo!! Quando a gente roda com este procedimento nenhum dado é enviado para ninguém, fica tudo no seu computador!! Quando você acessa pelo site da Meta, lá eles informam que vão usar os dados para treino nas versões gratuitas!! Não vi se tem opção de desabilitar!! Em geral quando desabilita, eles não salvam as conversas!! Valeuuuuuuuuu
O lançamento do LLaMA 3 foi curioso, pois foi pré-anunciado com uma GPU h100 mais potente do que a principal da Nvidia. Estamos nos preparando para a AGI, a inteligência artificial geral. Não vou mencionar que não sabemos ainda, pois é difícil prever os próximos anos devido à aproximação da singularidade tecnológica. A revolução tecnológica está acontecendo rapidamente.
O palpite que temos é para 2028/29 a IA alcançar os humanos! rsrs
Salve bob! Tranquilo? Sei que não é mais o enfoque do seu canal, mas se souber o que pode estar acontecendo e dar uma luz, eu corro atrás, pq não encontro nada.
Oled 0,91" + Hc ultrasonico + wemos, as informações não estão aparecendo na tela oled, mas no terminal do pc aparece normalmente
Faala Shawlin!! Vamos ver!! Já verificou se não inverteu o SCL com o SDA? Trocou todos os cabinhos para ter certeza que não tem mal contato em nenhum deles? Fez um teste só com o Oled para ver se funciona isolado? Tente essas 3 coisas e diga se deu certo!! Valeuuuuuuuuuuuuuuuu
Como faz pra desinstalar kkkkj tipo testei a versão windows e desinstalei com bcu uninstaller, más sei lá tenho receio de baixar essas.iso e elas não ser removidos depois aí ficar ocupando espaço no SSD eu baixei instalei em momento algum é falado em que local fica os arquivos .iso?
Faaaaaala Vinicio!! É sempre bom conferir se desinstalou mesmo!! Veja se não esta em (troque o SEU_USUARIO pelo seu):
C:\Users\SEU_USUARIO\AppData\Local\Programs
E veja também se não ficou nenhum modelo:
C:\Users\SEU_USUARIO\.ollama\models
Boa vlw limpou tudo então @@inteligenciamilgrau
Não é possível executar o 70b ou fica muito lento?
Faaaala Hains!! Pode acontecer os dois!! Se o PC tiver memória suficiente para alocar todo o modelo vai ficar lento, se não conseguir, vai dar erro! rsrs Em um PC comum com uma placa de vídeo mesmo que seja a melhor, os modelos 70B vão dar erro! Vai faltar memória!! Tem algumas implementações que resolvem esse problema de alocar a memória fazendo todo o processo em pequenos passos, e aí fica uma eternidade!! Uma workstation com duas RTX6000 teoricamente já roda bem! Aqui tem um gráfico de performances de placas de vídeo: www.reddit.com/r/LocalLLaMA/comments/1bvd2cy/rtx_a6000_vs_rtx_6000_ada_for_llm_inference_is/
Muito legal o gráfico! Bah mas não está fácil ainda, RTX6000 50 conto no Brasil...
@hainshj kkkkk eu vi que o Lula isentou o imposto de importação, mas não sei como seria nesse caso, talvez precise comprar como empresa! O mais barato atualmente é rodar na nuvem mesmo!
como eu tenho certeza que ele esta usando a minha GPU?
estou usando proxmox e baixei ele em uma VM com pci passthrough, aparentemtee os drives estão instalados e esta tudo funcionando mas senti muita lentidão na resposta.
Faaaaala Alessandro!! Se estiver no windows, você abre o Gerenciador de Tarefas, vai na aba Performance, encontra a sua GPU no menu lateral, e vai ter alguns gráficos, clica na opção "cuda" ali onde aparece "3D" ou algo assim!! Faz a pergunta e vê se ele está usando o cuda!! Se não for windows, usa o "nvidia-smi" enquanto roda uma pergunta e veja se ele mostra que a memória da GPU está sendo usada!! Vamos supor que vc tenha 6giga, ele deve usar 5 e poucos giga do total! É quase tudo!! valeuuuuuuuuuuuuuuu
estou usando o proxmox e realmente ele não esta usando a GPU e sim a CPU, usando o htop consegui identificar isso. agora preciso entender como eu "forço" ela rodar pela GPU, estou com uma 3060 dando sopa aqui tem 12gb a danada.
Demorou!!! Com isso de memória os modelos 8B tem que ser ultra-rapidos!! Usar ambiente virtual com placa de vídeo é sempre um problema!! Dá uma lida aqui:
pve.proxmox.com/wiki/NVIDIA_vGPU_on_Proxmox_VE
Bom dia.
Como faço para parar o serviço ollama2?
Não consigo fazer para de rodar o servidor.
Pode me ajudar por favor?
Desde já agradeço!
Minha máq. parece vai queimar! Está muito quente depois que instalei e iniciei o servidor do ollama.
No linux você digita
sudo systemctl stop ollama.service
No Windows, acredito que deve ter um icone na barra de tarefas, veja se deu certo!
@@inteligenciamilgrau
Obrigado!
(base) prsantos@LAPTOP-940KNJ7R:~$ sudo systemctl stop ollama.service
[sudo] password for prsantos:
(base) prsantos@LAPTOP-940KNJ7R:~$ systemctl status ollama.service
○ ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled)
Active: inactive (dead) since Tue 2024-03-05 11:00:04 -03; 4s ago
Process: 175 ExecStart=/usr/local/bin/ollama serve (code=exited, status=0/SUCCESS)
Main PID: 175 (code=exited, status=0/SUCCESS)
Mar 05 10:58:54 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:58:54.342-03:00 level=INFO source=payload_common.go:146 msg="Dynamic LLM libraries [cpu_avx>
Mar 05 10:58:54 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:58:54.352-03:00 level=INFO source=gpu.go:94 msg="Detecting GPU type"
Mar 05 10:58:54 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:58:54.354-03:00 level=INFO source=gpu.go:265 msg="Searching for GPU management library libn>
Mar 05 10:58:56 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:58:56.115-03:00 level=INFO source=gpu.go:311 msg="Discovered GPU libraries: [/usr/lib/wsl/l>
Mar 05 10:59:01 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:59:01.227-03:00 level=INFO source=gpu.go:99 msg="Nvidia GPU detected"
Mar 05 10:59:01 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:59:01.227-03:00 level=INFO source=cpu_common.go:11 msg="CPU has AVX2"
Mar 05 10:59:01 LAPTOP-940KNJ7R ollama[175]: time=2024-03-05T10:59:01.700-03:00 level=INFO source=gpu.go:146 msg="CUDA Compute Capability detected: 7.5"
Mar 05 11:00:03 LAPTOP-940KNJ7R systemd[1]: Stopping Ollama Service...
Mar 05 11:00:04 LAPTOP-940KNJ7R systemd[1]: ollama.service: Deactivated successfully.
Mar 05 11:00:04 LAPTOP-940KNJ7R systemd[1]: Stopped Ollama Service.
l
Mas ainda continua rodando no browser.
127.0.0.1:11434/
Ollama is running
Mar 05 11:00:03 LAPTOP-940KNJ7R systemd[1]: Stopping Ollama Service...
Mar 05 11:00:04 LAPTOP-940KNJ7R systemd[1]: ollama.service: Deactivated successfully.
Mar 05 11:00:04 LAPTOP-940KNJ7R systemd[1]: Stopped Ollama Service.
Quando executo o "ollama_basico.py" estou recebendo este erro abaixo descrito.
C:\Users\prsan\Desenvolvimentos\AmbientesVirtuais\venvGoUp\Scripts\python.exe C:\Users\prsan\Desenvolvimentos\ProjetosPython\ProjetosITTech\pjtGoUp\src\ollama_basico.py
Iniciando Assistente
Pergunta: why is the sky blue?
Se der 200 a resposta deu boa: 404
Traceback (most recent call last):
File "C:\Users\prsan\Desenvolvimentos\ProjetosPython\ProjetosITTech\pjtGoUp\src\ollama_basico.py", line 21, in
print("Resposta:", response.json()['message']['content'])
~~~~~~~~~~~~~~~^^^^^^^^^^^
KeyError: 'message'
Process finished with exit code 1
Pode me ajudar por favor?
Uhuuuuuuuuuuuu!!
Bom dia! Esses modelos são genéricos, ou seja, falam sobre qualquer assunto. Como eu poderia criar o meu próprio modelo, sobre um assunto específico, por exemplo, história do Brasil?
Fala José!! É possível você fazer um ajuste fino do modelo (Fine Tunning) que é quando você prepara, por exemplo, um arquivo de perguntas e respostas de um assunto específico e especializa um modelo pre-existente!! A OpenAI oferece esse serviço de forma paga, mas também é possível fazer de forma gratuita!! Eu acredito que em breve devo abordar isso no canal!! Obrigadãoooooooo!!
faltou o codigo
Já coloquei na descrição, mas está aqui também! Uhuuuuuuu Valeuuuuu
Tá na mão: github.com/inteligenciamilgrau/ollama_tutoriais
Daleeeeeeeeeeeee!!