RAG (Retrieval-Augmented Generation) er en metode der en språkmodell henter relevant informasjon fra eksterne kilder før den lager et svar. På norsk kan vi kalle det søkeberiket tekstgenerering.
Det fungerer vanligvis slik:
- Du stiller et spørsmål, for eksempel: «Hva er bedriftens reiseregler?»
- Systemet søker etter relevant informasjon, for eksempel i bedriftens personalhåndbok.
- Språkmodellen får de relevante utdragene og bruker dem til å formulere svaret, gjerne med kildehenvisninger.
LLM-en er selve språkmodellen. RAG er en måte å gi den relevant kildemateriale på. Tenk på forskjellen mellom å svare fra hukommelsen og å svare med en håndbok foran seg.
RAG gjør det mulig å bruke oppdatert eller intern informasjon uten å trene modellen på nytt. Det kan redusere feil, men garanterer ikke riktige svar: Systemet kan finne feil utdrag, eller modellen kan feiltolke dem.