Como usar o GPT com seus próprios dados?
Vložit
- čas přidán 4. 07. 2024
- Conheça a trilha Aplicações IA com Python, da Asimov Academy:
asimov.academy/trilha-aplicac...
Criar um assistente virtual que utiliza o ChatGPT com seus próprios dados é muito mais fácil do que você imagina.
Utilizando Python e a biblioteca LangChain, podemos alimentar LLMs com qualquer tipo de dados que possuímos e criar sistemas verdadeiramente inteligentes.
00:00 - O poder de ter um assistente personalizado
03:06 - Por que unir programação com ChatGPT?
06:28 - O que é Langchain?
12:04 - Construindo seu Assistente Próprio
26:43 - Trilha Aplicativos IA com Python - Věda a technologie
Opa! Antes de ler os comentários, dá uma olhada em mais projetos com Python no nosso site: asimov.academy
rpz, acho q o legal não foi a criação do assistente, mas sim vc ter criado essa base de dados.
Estou Estudando Análise e Desenvolvimento de sistemas
E sigo vcs desde o início da minha jornada
Vcs são muito top
🫡👏👏👏👏👏❤️❤️
O melhor vídeo sobre LLM e GPT que já vi até hoje.
Ficamos felizes por isso. Conte conosco!
Seus videos são ótimos! Faz uma playlist sobre IA, os diferentes tipos, como é arquitetura, modelos de cobrança etc.
Didática e conteúdos sensacionais! Meus parabéns!
Parabéns pelo vídeo, curti demais, estou fazendo um curso de IA, estou vendo sobre esses LLMS
Brutal! Parabéns
Fazer isso usando Python, LangChain e o ChatGPT é legal. Mas fazer o mesmo usando Python, LangChain e o LlamaGPT é muito mais legal. Nada como não depender de nenhuma implementação closed-source.
Vou fazer um video na sequencia ensinando a implementar com LLM locais
@@AsimovAcademy isso é importante!!! os LLM da GPT são grandes "caixas pretas" pois é um serviço proprietário.Muitas
vezes, você pode encontrar um modelo de código aberto que resolve seu problema específico e que é várias ordens de grandeza menor que o ChatGPT,
permitindo que você traga o modelo para seu ambiente e hospede-o você mesmo. Isso significa que você pode manter os dados sob seu controle para
preocupações com privacidade e governança, além de gerenciar seus custos.😀😀
No caso pra usar um modelo de LLM local eu precisaria de uma máquina relativamente potente?
Toda vez que eu for querer rodar o modelo ele vai estar consumindo memória da minha máquina? Não entendo direito com modelo open source que roda local em como ele é treinado.
Aplicações inteligentes assim e me incentiva a aprender programação. Tão inteligente quanto as aplicações e a seleção de materiais que vocês disponibilizam. Parabéns!
Agradecemos pelo seu feedback, ficamos felizes por isso. Conte conosco!
Conteúdo altíssimo nível, vou assinar com ctz, queria mt um curso focado em langchain e usando repo do huggingface. To curioso tb com bancos vetorizados e como podemos gravar o conteúdo aprendido em armazenamento, acho que seria o faiss mesmo.
Da ate vontande de começar a fazer essa linha de trabalho. E muita tecnologia.
Incrível. Raro esse tipo de conteúdo no Brasil. Parabéns Rodrigo, eu como aluno estou muito satisfeito, inclusive, queria ter mais tempo para estudar mais!
Agradecemos, Renan. Continue contando conosco.
Achei incrível o vídeo. Muito obrigado. Até quero virar aluno!
Ficamos felizes por isso, Pablo! Asimov te espera.
Primeiro! hehehe. Esse canal é sensacional, viciado nos vídeos!
Excelente conteudo!!!!
Muito bom!
Objetivo e completo!
Cara!!! Que conteúdo incrível!!! Segundo video teu que vejo, e que didática fantástica que tu tem, ao menos ao ver de um programador como eu. Sucinto, direto ponto, e explicando tudo com muita clareza. Com certeza irei adquirir algum curso de vocês!! Continue com este trabalho incrível!! ❤🙏🏻
Ficamos felizes e gratos com isso, Luan. Desejamos sucesso e que conte conosco!
Quão diferente é fazer com o llama 3 e Groq? O Lamma 3 é melhor que o GPT-3.5
Muito show!
Conseguiria usar uma LLM localmente no meu PC? Algum modelo pequeno como o Phi-3?
Bacana! Como você poderia acrescentar um revisor (outro llm corrigindo) usando o pyautogen?
Fantástico, pena não poder dar um zihão de likes...sem palavras, parabéns.
Agradecemos, Xand. Conte conosco!
Primeiramente parabéns pelo conteúdo Incrível! Agora gostaria de saber qual é a diferença entre treinar o ChatGPT usando Python com LangChain e Fine-tuning, e criar Assistants que utilizam arquivos diretamente ou uma loja de vetores para consulta de documentos?
Olá, agradecemos Guylherme! A primeira forma modifica a IA: você cria um modelo de IA novo, retreinado para uma tarefa ou ação específica. Já a segunda envolve sobretudo engenharia de prompts e RAG, que são técnicas complementares mas que não alteram a IA em si.
Como usar um assistente criado dentro de uma aplicação propria? é possivel fazer um embed?
Tenho 150000 email trocados com os clientes em muitos anos , gostaria de utiliza-los como aprendizado para responder novos email baseados nos históricos de compras e credito de cada um , inclusive o banco de dados de todas as notas emitidas
Por onde devo começar ?
Deve tratar os dados, ou usar uma ia de visão computacional, para identificação de documentos, se escolher tratar os dados pesquisa por dados estruturados e não estruturados, e dados bruto
Top
Muito bacana! Em vez de um arquivo com perguntas e respostas, seria possível ensinar a IA a ler um conjunto de leis e normas técnicas para responder dúvidas de usuários?
Olá, Alex! Sim, é bem possível e temos projeto disso na plataforma.
@@AsimovAcademy legal! Tenho acesso a plataforma. Qual curso?
Ótimo video.
O arquivo CSV, não pode conter virgulas pois dará erro, nos meus testes aqui não consegui contornar a não ser removendo direto.
Você removeu virgula por virgula do arquivo dentro do VS Code?
Qual a melhor IA para interpretar gráficos em imagens?
Difícil bater o martelo e decidir qual é "a melhor", até porque novas IAs estão surgindo a cada semana. Mas o GPT Vision (GPT-4V) funciona muito bem para isso, inclusive temos curso mostrando como usá-lo na Trilha de IA 🙂
Uma coisa que até hoje não entendo: onde ficam instalados os sistemas em Python? Consigo usar no servidor VPS da Hostgator?
Olá, Robson. Python em si pode ser instalado em qualquer computador e em qualquer sistema operacional. Então sim, é possível instalar Python em um servidor como os da Hostgator, desde que você tenha permissão para instalar programas e rodar código nele.
Tenti usar numa base com 7000 linhas mas o processo de vetorizar é muito lento, longos minutos, há forma de ultrapassar?
00:02 Using AI to respond to customer emails
01:58 Using GPT to customize responses based on your own data.
05:55 Using GPT with personalized data is easy with Python and Link Chain library
08:13 Words in language models are translated into vectors for mathematical processing.
12:27 Setting up python.env for GPT with OpenAI access key
14:41 Setting up GPT with custom data
18:25 Using GPT for research with C data
20:06 Creating suitable prompts is crucial for good AI results
23:43 Using GPT to provide personalized course recommendations for beginner students.
25:19 Transform GPT models into interactive agents
Crafted by Merlin AI.
Up!
Preciso de ajuda pra tirar uma dúvida! Eu só tenho um tablet, eu conseguiria aplicar o ensinado nesse vídeo por ele?
Consegue sim. Te sugiro usar o Google Colab ou o app Juno Connect para criar um servidor Jupyter e desenvolver por ele. Abraços.
Legal! Só pra eu entender... pra ter esse langchain "rodando", preciso de um servidor? já que ele vai estar fazendo uma "ponte" entre os notion e api do gpt pelo que entendi...
Outra coisa, por exemplo, você falou que poderia ter 100k de linhas e que aquele negócio de vetor iria achar a porção que melhor se encaixa para responder a pergunta, ja que o gpt nao tem capacidade pra tanto token. Isso não deixaria partes de fora? nem que pequenas, mas importantes partes. não sei se fui claro...
Sim, sempre existe o risco de parte da "melhor resposta" ficar de fora dos resultados, e isso vai depender do algoritmo usado para a busca do conteúdo relevante. Mas isso é inerente a qualquer sistema de busca. Mesmo quando usamos o Google (que provavelmente possui o algoritmo mais avançado nesse sentido), há sempre o risco de algum resultado relevante ficar de fora.
@@AsimovAcademy ahh, entendi. Muito obrigado ☺️
maravilhoso! estou precisando fazer um assistente que me responde a partir de um unico livro (estou estudando pra medicina e me ajudaria pra caramba entender fisiologia por exemplo)
será que é possível com esse método?
É possível sim, Felipe! A diferença seria na etapa de RAG, onde, ao invés de alimentar o modelo com dados CSV, alimentaríamos com um arquivo em pdf.
Abraços!
@@AsimovAcademyvcs tem um curso que ensine isso? Tenho acesso a plataforma
Não encontrei no site do Asimov a trilha que comenta no final.
Olá, Julio! A Trilha Aplicativos IA com Python é nova e a página ainda está sendo elaborada. Logo, logo vai ao ar! Mas todos os alunos, tanto do plano anual quanto do vitalício, tem acesso garantido a ela.
Ótimo vídeo, mas como faço para aplicar isso a um e-mail
Olá, Victor! Dá para baixar o conteúdo de emails automaticamente e mantê-lo em um banco de dados, para aí passar para o assistente. Mostramos como fazer essa automação com emails nesse curso: hub.asimov.academy/curso/consumo-e-segmentacao-de-emails/
Excelente vídeo! a chain é paga? Vi no site e parece que sim :/
Dependendo do uso que for feito, existe um nível gratuito. Dá para ver os detalhes aqui: www.langchain.com/pricing
minha chave de api do chatGPT esta com cota excedida como fazer o mesmo com a gemini ?
É possível sim. Para isto, será necessário trocar a LLM na instanciação da Chain. Aqui está um exemplo de uso com a Gemini: python.langchain.com/docs/integrations/chat/google_generative_ai
Abraços
muito massa seus videos obrigado, desejo aprender criar web apps tipos esses do Bubble e FlutterFlow mais com streamlit, e uma IA pode ajudar
tipo o glide consegue ler um csv e cria um web app, desejo aprender fazer parecido mais em python com streamlit, tu eh fera em pandas pode ensinar como pode fazer isso ?
eu e meus colegas nao conseguimos o mesmo resultado, está dando erro em diferentes pontos...
O meu também
Csv delimitado por vírgula? Mude para ;
Infelizmente aqui não funcionou. Segui todo o tutorial corretinho.
"simples assim" kkk
Não tem uma forma free de fazer não? 😂😢