Alles over RAG (Retrieval Augmented Generation) voor B2B bedrijven, met Willem en Niels

Willem Meints en Niels Naglé van Info Support bespreken Retrieval Augmented Generation (RAG) systemen voor B2B bedrijven. RAG systemen combineren large language models zoals GPT met een zoekmachine en eigen databronnen van een bedrijf. Hierdoor kan een RAG systeem gerichtere en feitelijk juistere antwoorden geven dan een puur taalmodel.
Het voordeel van RAG is dat het hallucinaties van het taalmodel kan voorkomen en de kennis kan personaliseren voor de organisatie. Content zoals interne documenten, standaard antwoorden voor klantenservice, processen etc. kunnen in een RAG worden gestopt. Daarmee kan het systeem medewerkers ondersteunen door als een soort kennisbank en digitale collega te dienen.
Technisch gezien maakt een RAG gebruik van een vector database waarin de content wordt geïndexeerd. Een gebruikersvraag wordt dan vergeleken met de vectoren om de meest relevante content te vinden. Die wordt toegevoegd aan de prompt voor het taalmodel om een antwoord te genereren. Info Support heeft zelf voor intern gebruik een RAG systeem genaamd Ricardo ontwikkeld.
Belangrijke overwegingen bij RAG zijn onder andere security en het up-to-date houden van de content. Voor de toekomst verwachten Willem en Niels een verschuiving naar het combineren van meerdere gespecialiseerde modellen voor specifieke taken. Ook het omgaan met multimodale content zoals afbeeldingen en audio zal belangrijker worden voor RAG systemen.
Al met al biedt RAG interessante mogelijkheden voor B2B bedrijven om eigen content en kennis te ontsluiten via een conversationele interface. Het vereist wel de nodige technische expertise en blijvende aandacht voor zaken als de kwaliteit van de content, privacy en veiligheid.