Personalizando o Llama 3.1 Grátis com Seus Próprios Dados Fazendo um Fine Tunning
Vložit
- čas přidán 12. 09. 2024
- Aprenda Inteligência Artificial! Seja Membro do canal:
/ @inteligenciamilgrau
Arquivos do vídeo:
github.com/int...
Precisa de uma Inteligência Artificial de Atendimento para Sua Empresa? A NeuralChat é parceira do canal: www.inteligenc...
Site: www.inteligenciamilgrau.com
Instagram: @inteligenciamilgrau
facebook: / inteligenciamilgrau
GitHub: github.com/int...
Massa prof!!!! Assisti e vou reassistir várias vezes!
Uhuuuuu, valeuu Raul! Assiste os de RAG também!
Seria massa um tutorial com o modelo mais pequeno só pra gente se habituar, com certeza modelos menores o treinamento é mais rápido mesmo que n tenha a mesma qualidade de inferência.
Em 6:39, quando eu mostro os parâmetros, tem um que chama 4bitmodels e tem o nome de vários modelos!! Copia o texto do phi3 que é um modelo de 3B!! Ele é menor!! Coloca o texto dele ali na variável um pouco mais para baixo escrita "model_name"!!! Isso vai reduzir o tempo e ajudar a testar mais!! Valeuuuuuuuuuuuuu
boa bob.. videos cada x mais profissas.. esse e o ultimo tive q assistir + de 2 vez com outras tabs abertas pra acompanhar.
Tenho estudado muito RAG pra aplicar em production.
O problema da abordagem em fine tuning, é que ele nao referencia as fontes (no caso, o seu json) com precisão. Algo que acontece com RAG. Porém no RAG, o modelo tambem nao tem conhecimento da informação antes do retrieve do Vector DB. Esses problemas começam a escalar com centaneas de milhoes e bilhoes de registros.
Entao pensei, e se fizer os 2 sera q fica bom?
Eu acho interessante, e é nítido, a grau de agudeza nos vídeo dele mais recentes.
Aeee Sugaith!! Estou fazendo video todo dia, uma hora tinha que aprender! rsrsrs Esse aí foi bem denso!! Se for reparar depois, vai ver que o processo é bem simples, só que entender as etapas e conectar o simples gasta neurônio! rsrs
O fine tuning e o RAG são diferentes e com certeza se complementam!! Um exemplo de fine tuning são os datasets de "instructions" que ensinam o modelo cru a responder igual conversa!! No modelo cru, ele é só um completador de texto!! Mesmo os modelos quem dizem ser "sem censura", eles já tem um tune de instructions ou chat! O sem censura só não tem treino de evitar assuntos sensíveis! rsrs
Na maior parte dos casos que as pessoas perguntam pra mim de RAG e Fine Tuning, eu resolvo com RAG+Engenharia de prompt! Dificilmente trazem um caso mais pesado que essa dupla não resolva!! Alias, um dos campos mais importantes do prompt é dar exemplos de como você quer a resposta! Às vezes a pessoa fica sofrendo explicando o que quer quando na verdade é só dar exemplos! rsrs
Essa questão do RAG que vc falou, ela faz sentido!! As vezes precisa de ReRank depois do Rag para ordenar os assuntos mais relevantes! Mas tem vezes, quando a resposta precisa vir de uma conexão de pontos mais inteligente, o RAG não guenta! rsrss
Olá meu caro, caí aqui no seu canal e estou gostando muito dos seus vídeos! Parabéns, seu trabalho e didática são sensacionais!! O que ainda não ficou claro para mim é o seguinte, após finalizado o treinamento do fine-tuning (seja gpt ou llama), eu devo usar esse modelo gerado para fazer um assistant e usar os dados do banco vetorial em conjunto?? É que estou querendo fazer um para treinar em algumas leis, são mais de 3600 páginas, quero fazer o fine-tuning com 1000 perguntas e respostas (vai ser o suficiente?). Quando pronto, eu tenho que criar um assistant e adicionar o documento de 3600 páginas em banco vetorial para o assistant consultar? Se tiver umas dicas para o tratamento de dados das leis, e agradeço também! 😅😅😅
Se for fazer perguntas e respostas eu recomendo fazer RAG!! Vai custar menos e terá o mesmo impacto!! Dá uma olhada neste vídeo! czcams.com/video/qTpy8Rx02-A/video.html
Aula sensacional, Bob! Muito bom!
Valeuuuuuuuuuuuuuuuuuu!!
@@inteligenciamilgrau tmj!
Entendo, interessante, os modelos divergem de complexidade, eu usando o llama3 para roleplay é de uma categoria, de roleplays, com uma lógica de conversação fina e coerente, aqui Lewdiculous/L3-8B-Stheno-v3.2-GGUF-IQ-Imatrix, se puder utilize o modelo de 8Q (quantização) junto ao silly tavern, compreendo agora o motivo de você dizer que os Modelos de 8b São fracos, porque nunca utilizastes um de conversação, utilize esse que recomendei e verá o que é um esplendor de conversação.
E lembrando você pode criar um bot do inteligência mil grau dentro do próprio silly tavern, acredito que terá um resultado melhor que o do video.
Mas é que na sequencia vc vai dizer que tem que conversar em inglês! Em inglês eles são nativos, foram treinados em inglês, essa que é a questão! Se fosse em inglês eu usava 8B! Mas em pt-BR fica complicado, eles são sempre prolixos e imprecisos, vivem alucinando e completando palavras estranhas! Mas a questão de ser treinado para chat tem a ver com o fine tunning, não com o modelo! Que se os dados da pessoa que vai tunar forem de conversação, ela precisa explorar sequencias de conversas ao invés de input/output
0:30 0:34 0:44
8
@@inteligenciamilgrau Me expressei errado então? deixei possível aberto demais para interpretação? No caso dá sim pra melhorar a conversação, em português, sem recorrer a um fine tuning assim, como disse o modelo que eu recomendei, é justamente o ideal junto ao silly tavern, ele teria uma contextualização melhor, e somente lá no silly tavern, você poderá dar instruções para que ele compreenda o português de maneira mais coerente, ou outras soluções como tradução em tempo real, onde traduz o imput e o output, para diversas línguas, por isso que eu recomendei o silly tavern, porque dá pra criar bots especificos para funções especificas, como o fine-tuning, ou melhor como os Bots do chat gpt personalizados.....
Boa noite!
Eu vi que vc respondeu o pessoal, então vou perguntar também.
Eu tô querendo treinar um modelo pra criar uma carteira de investimentos com base no perfil do cliente. Tu acha que usar rag ou AF no gpt ou na llhama é uma boa opção? No caso, fazer algo como tu ensina no vídeo.
Faala Ygila!! Eu diria que vale a pena ir criando uma memória para cada cliente que tem as informações mais importantes dele! Mesmo sem RAG ou AF!! E depois você pode ir adicionando investimentos que a pessoa fez e coisas que podem ser consultadas como um banco de dados normal e que também pode ser usado para pesquisa semântica!! E depois vc pensa se vale fazer ajuste fino!! Porque no AF, se você fizer um por cliente, você vai ter um modelo de 8B ou 32B por cliente e isso vai usar 8 a 16 giga de HD por modelo!! Aí fica muito grande!! E misturar todos os clientes em uma AF só iria misturar tudo em uma salada!! Então avalia o que faz mais sentido!! Valeuuuuuuu
Conhece algum servidor gratuito que sirva para testar um flask ou fastapi com endpoint com um modelo llm que fizemos ajuste fino?
Faaala Hcel!! Nesse tutorial de nodered, no meio dele explica como subir um server na oracle gratuito sem limites!! Já rodei muito flask infinito ali dentro!! Testa aí:
blogs.oracle.com/developers/post/installing-node-red-in-an-always-free-vm-on-oracle-cloud
otimo video !
Uhuuuuuuuu, valeuuuuuuuu Jose!!
Top, man! Fazendo aqui
Uhuuuuuuuuuu, valeuuuuuuuuuuuuuuuu!!
Professor, como eu faria pra treinar um modelo pequeno (como Phi3, por exemplo) sobre algum assunto em específico (pneumática, por exemplo) e tenho vários pdfs sobre o assunto e quero que ele seja treinado com base estes arquivos e responda qualquer coisa relativa a pneumática com base nos arquivos treinados?
Faaaaaala!! Você vai precisar transformar os PDF em texto, e pode fazer um rag como eu explico nesse vídeo ( czcams.com/video/qTpy8Rx02-A/video.html ) !! Se os pdf tiverem imagens, aí você vai ter que programar uma forma de transformar as imagens em descrição e enviar como texto! Vai dar um trabalho, mas dá para fazer!! Usa a biblioteca PyPDF para importar!! Valeuuuuuuuuuuuuuu
vi que até o Elonzito reconheceu a qualidade do Llama 3.1
O Elon é fã de liberdade e essas atitudes de liberar os modelos é a cara dele!! Uhuuuuuuuu, valeuuuuuuu
Você conhece algum modelo que dá para colocar localmente em um aplicativo??
Faaaaaala Elliton!! No geral os modelos menores estilo Phi3 que tem 2 ou 3B de parâmetros!! Num celular bom vai rodar bem!! Depois diz se deu certo!! Valeuuuuuuuuuu
muito bom
Valeuuuuuu Brito!!!
Eu consigo de alguma forma consumir a API dela no LM Studio com o endpoint /embeddings? não estou conseguindo
Faaaala Gabriel!! Em 19:28, o ultimo exemplo que ele mostra é de embeddings! E se vc não for usar o módulo da openai, o endpoint termina em /v1/embeddings !! O endereço inteiro vai aparecer no exemplo do curl!! Aí é só mudar o v1/chat/completions !! Valeuuuuuuu
Slk esta a todo vapor, buguei cm esses negócios de pontos do youtube, vim comentar e du nada pediu pontos para eu hypar o vídeo dei 910
Uhuuuuuuuuuuuuu! Valeuuuu! Esse vídeo deu um trabalho! Valeuuuu o esforço!
É uma nova funcionalidade que faz você fazer o canal que você gosta ser visto por outras pessoas.
@@MersyleS7 Uhuuuuu
Ser muito interessante ter atualizar de LLaMA 4 ser 8B pode ser 9B pelo fato os motivos mais antigo ser 7B
É excelente!! Também gostei!!
Depôs de fazer o fine tuning , salvo o arquivo .gguf , tem como eu pegar esse modelo treinado e treinar novamente com novos dados?
Faaala Arthur, eu não cheguei a fazer isso! Mas aparentemente ele precisa encontrar o diretório com os arquivos que ele salva na pasta do guff!! Estilo essa pasta aqui: huggingface.co/unsloth/Meta-Llama-3.1-8B/tree/main
E altera essa linha do código com o direitório e o nome do modelo
model_name = "unsloth/Meta-Llama-3.1-8B",
Eu acredito que no pior cenário, caso ele não aceite o diretório no código, se vc criar um modelo seu no huggingface e subir a pasta e deve dar certo
Outra solução mais simples é ativar os "checkpoints"!! Ele em intervalos de "passos" (steps) o treino, e você consegue recomeçar destes steps!! Testa para ver se ele recomeça do ponto que vc parou!
Tem que alterar o trainer
trainer = SFTTrainer(
....
args = TrainingArguments(
....
output_dir = "outputs",
save_strategy = "steps",
save_steps = 50,
),
)
E também ativar o treino a partir dos checkpoints
trainer_stats = trainer.train(resume_from_checkpoint = True)
Valeuuuuuuuuu
@@inteligenciamilgrau Bom dia
Vou fazer um teste muito obrigado e parabens ecxelente canal.
Então os gpts são feitos através de rag?
Faala Matheus!! Perfeita conclusão, isso mesmo!! Rag tem um custo menor e é bem eficiente para consultar arquivos!! Valeuuuuuuuuuuu
13:37 É triste, com nunca vou poder ter meus 3,14159265358979323846 centavos.
kkkkkkkkkk
Marrapais que show 😅
Valeuuuuuuuuuuuuuu
Finetuning do tipo dolphin 😈
Esse modelo da meta consegue interpretar imagens?
Faaala Jaelson!! A princípio ele não é multimodal!! Eu tentei enviar imagens pelo PoE e ele disse que não processa!! Oficialmente, pelo site da meta, eu procurei essa info e não encontrei!! Em sites não oficiais cada um diz uma coisa!! Aparentemente não interpreta! Valeuuuuuuuuuuu
@@inteligenciamilgrau provavelmente espero que em futuro próximo venha libera o multimodal será muito revolucionário e com certeza espero ver conteúdo seu falando desse assunto quando liberar
Por favor uma curiosidade qual a configuração da sua maquina, sei que vc edita o tempo de carregamento par ao video não ficar longo mas queria ter uma ideia de maquina para rodar essas LLMs com mais qualidade
Sei que a pergunta não foi para mim, mas eu uso para roleplays, e utilizo modelos 8B como a do vídeo, então aqui vai.
um notebook com:
Intel I5 de 10 (décima geração)
16 gigas de RAM ddr4
placa de vídeo RTX 3060
1tb de memoria interna SSD Nvme.
e é isso. Roda até que rápido os modelos de 8B.
@@ElaraArale valeu eu perguntei pra ele mas queira um norte pra saber onde investir, vou comprar essa 3060
Aqui eu uso uma Nvidia 1060, num i7 com 16GB de ram!! E é um notebook, que em geral a performance das placas de vídeo são piores!! Os modelos RTX da Nvidia, que são os mais novos, eles fazem uma multiplicação de matrizes mais top! E as gerações das placas vc vê pelo primeiro número (1)060, (2)060, (3)060, (4)060 ... são as versões 60 da geração 1, 2, 3 e 4!! Sendo a 4 a mais nova (ou pelo menos era)!! Eu acredito que ano que vem já tem placas para IA pro publico em geral que não são mais placas gamers!! Por exemplo, as RTX tem um ray tracing e umas coisas que não se usa para IA! Valeuuuuuu
@@Riderzbeta Se der compre uma RTX 4060, mas se não pelo menos uma RTX3070.
@@inteligenciamilgrau O raytracing se destaca por sua memoria VRAM, que é ideal pra rodar modelos I.A e gráficos de jogos, de fato placas focadas em I.A são ideais, mas caras, mas a RTX dá conta do recado.
Como usar o llama3 no Brasil? Mesmo com vpn não vai
Faala Marcio! Para mim também não consigo acessar pela meta!! Tente acessar via PoE ou pelo Groq!! Lá tem uma cota gratuita não muito grande, mas já dá para testar!! Valeuuuuuuuuuuuuuuuu
Se o maritaca AI usar o llama 3.1 eu pago premium.
Aí é perfeito!