Varför hallucinerar språkmodeller?

OpenAI redogör i sin senaste artikel (https://lnkd.in/dVZpautn) att hallucinationer ofta är en konsekvens av felaktiga incitament. När modeller utvärderas baserat på traditionella benchmarkresultat belönas gissningar mer än ödmjukhet. Det liknar ett prov där den som gissar kan få poäng, medan den som skriver “vet inte” garanterat får noll. Gissaren ser bättre ut i resultatlistorna, även om det innebär fler fel.

Det betyder att hallucinationer inte är någon slumpmässig bugg, utan ett beteende som formats av vad vi premierar. Modellen lär sig att ge välljudande svar istället för att erkänna osäkerhet. Det här påminner om andra system där felaktiga mätetal leder till skev utveckling.

'Viktigare blir då frågan: hur utformar vi incitament som gör att modeller belönas för att vara rätt snarare än bara övertygande, och hur gör vi det utan att förlora deras kreativitet?

En annan viktig aspekt är att förändra själva sättet vi mäter modellernas prestation. Det kan handla om att straffa missledande självförtroende hårdare än vad vi gör i dag eller att införa delpoäng för att erkänna osäkerhet. Det finns redan experiment med tester där man kan få poäng för att avstå från ett svar när man inte vet. Men för att det ska få genomslag krävs att de stora etablerade benchmarkramverken också tar in dessa idéer, annars fortsätter vi reproducera felaktiga incitament.