Svar forankret i kilder

RAG og egne dokumenter

RAG gir modellen relevant materiale ved svartid. Det kan gjøre svarene mer oppdaterte og etterprøvbare, men bare hvis gjenfinningen finner riktig innhold.

RAG i fire ledd

  1. Brukerens spørsmål tolkes eller omskrives til et søk.
  2. Systemet henter relevante utdrag fra en indeks eller kunnskapsbase.
  3. Utdragene legges i konteksten med metadata og kildemerker.
  4. Modellen svarer fra materialet og viser hvilke kilder som støtter svaret.

Dette er ikke det samme som å «lære opp modellen på dokumentene». Dokumentene hentes inn ved behov. Feil kan komme både fra søket og fra selve svaret.

En god RAG-prompt skiller instruksjon og kilder

Oppgave: Svar på spørsmålet ut fra kildene nedenfor.

Regler:
- Bruk bare opplysninger som støttes av kildene.
- Oppgi [Kilde-ID] etter hver faktapåstand.
- Si «ikke dokumentert i kildene» når grunnlaget mangler.
- Skill sitat, oppsummering og egen slutning.

Kilder:
[S1] Tittel: ... | Seksjon: ... | Dato: ...
<utdrag>...</utdrag>

Spørsmål: ...

Test gjenfinning før formulering

Hvis riktig utdrag aldri blir hentet, kan ikke en bedre svarprompt redde systemet. Lag spørsmål med kjent fasit, mål om riktige kilder kommer med, og test hvordan systemet håndterer motstridende, gamle og manglende dokumenter.

Når bør du ikke bruke RAG?

Enkel dokumentanalyse kan ofte løses ved å legge ved filen direkte. RAG passer best når kunnskapsmengden er større enn kontekstvinduet, endres ofte eller må deles med tilgangskontroll. Les også om kontekstteknikk og verifisering av sitater.

Kilder