Kvalitetssikring og evalueringsrutiner
Det eneste pålitelige målet på en prompt er resultatene den gir på oppgaver som ligner virkeligheten.
Definer suksess
Velg 3–6 kriterier før du finpusser ordlyden. Eksempel: faktadekning, tone, format, sikkerhet og tid.
Lag et lite testsett
Ta med vanlige oppgaver, vanskelige kanttilfeller og input som tidligere ga feil.
Kjør samme test
Sammenlign promptversjoner og modeller på likt grunnlag. Endre én viktig ting av gangen.
Vurder blindt når det betyr noe
Skjul hvilken prompt eller modell som laget svaret, og bruk en tydelig rubrikk.
Behold regresjonstester
Når du retter en feil, legg eksemplet til testsettet slik at feilen ikke sniker seg tilbake.
En enkel vurderingsrubrikk
Blind A/B er bedre enn «denne føles fin»
Skjul modell- og promptnavn, vis svarene i tilfeldig rekkefølge og bruk samme rubrikk. Bytt rekkefølge minst én gang: forskning på modellbaserte dommere har vist blant annet posisjonsbias, og lange svar kan få ufortjent fordel hvis rubrikken ikke straffer støy.
Test fire typer input
- Vanlige saker som representerer volumet.
- Vanskelige saker der flere krav konkurrerer.
- Tidligere feil som skal bli regresjonstester.
- Adversarielle saker med uklare, motstridende eller ubetrodde instrukser.
Kilder
- OpenAI: Evaluation best practices — testdata og eval-design
- Anthropic: Develop tests — målbare og realistiske kriterier
- Zheng mfl.: MT-Bench og LLM-as-a-Judge — originalt eval-arbeid
- Wang mfl.: Position bias in LLM judges — rekkefølgeeffekter