Hvad er RAG? Sådan giver du AI adgang til din egen viden

En sprogmodel som ChatGPT ved en masse generelt, men den kender ikke din virksomhed: dine priser, dine kontrakter, din interne håndbog eller sidste uges leveringsaftale. Beder du den svare på den slags, gætter den, nogle gange overbevisende forkert. RAG er den mest udbredte måde at løse det på.

RAG i én sætning

RAG står for Retrieval Augmented Generation. Oversat: modellen henter (retrieval) relevant information fra dine egne kilder først, og bruger så den information til at formulere (generation) sit svar. I stedet for at svare ud fra hukommelsen, svarer den ud fra dine dokumenter.

Tænk på forskellen mellem at spørge en medarbejder, der svarer på fri hånd, og en medarbejder, der lige slår op i mappen, før hun svarer. Det er det, RAG gør.

Sådan fungerer det i praksis

Opsætningen har typisk to faser:

1. Indeksering (én gang, opdateres løbende): Dine dokumenter, PDF'er, manualer, hjælpeartikler, e-mails, hvad du nu har, deles op i mindre bidder og gemmes i en søgbar database sammen med en numerisk "betydnings-adresse" for hver bid.
2. Opslag (hver gang nogen spørger): Når et spørgsmål kommer ind, finder systemet de bidder, der ligner spørgsmålet mest, og sender dem med til sprogmodellen som baggrund. Modellen svarer så ud fra netop det materiale.

Resultatet er et svar, der er forankret i dine faktiske dokumenter, ofte med en kildehenvisning, så du kan tjekke det.

Hvad du får ud af det

• Mindre gætteri. Modellen har det rigtige materiale foran sig og behøver ikke opfinde noget. Det reducerer de "hallucinationer", som frit formulerede AI-svar er berygtede for.
• Altid opdateret. Ændrer du en pris eller en politik, opdaterer du dokumentet, ikke modellen. Ingen dyr genoptræning.
• Sporbarhed. Du kan se, hvilke kilder svaret bygger på. Vigtigt, når svaret skal kunne stå distancen over for en kunde eller en revisor.

Gode use cases for en SMV

• En intern assistent, der svarer medarbejdere ud fra personalehåndbog, procedurer og tidligere sager.
• Kundeservice, der svarer præcist ud fra jeres egne produktark og vilkår.
• Salg og tilbud, hvor sælgeren hurtigt finder de rigtige specifikationer og priser.
• Onboarding, hvor nye medarbejdere kan spørge sig frem i stedet for at lede.

RAG bruges sjældent alene, det er ofte motoren bag en AI-agent, der både slår viden op OG handler på den.

Et par faldgruber

RAG er ikke magi. Er dine dokumenter rodede, forældede eller modstridende, bliver svarene det også, skidt ind, skidt ud. Og kvaliteten af opslaget afhænger af, hvor godt materialet er struktureret og delt op. Endelig spiller valget af sprogmodel ind på, hvor godt den udnytter det hentede materiale; det kan du læse mere om i hvilken LLM skal du vælge.

Har du en bunke viden, manualer, mails, dokumenter, som du gerne vil kunne spørge dig frem i på almindeligt dansk? Tag fat i mig, så finder vi ud af, om RAG er den rigtige vej, og hvad der skal til for at komme i gang med et afgrænset forsøg.