ChatGPT är en textrobot. Den blir med tiden bättre och bättre.
Textrobotarna är bra på att förutse ord. Det är vad de är tränade till, förklarar professor Marco Kuhlmann på Linköpings universitet.
– Man tränar språkmodellerna på en uppgift som de ska lösa. Uppgiften är att förutsäga nästa ord i en text, säger han.
Man stoppar in stora mängder text och ber roboten att bli bra på att förutse nästa ord. Med tiden blir den bättre och bättre på uppgiften. En del av träningen är att låta människor värdera och återkoppla svaren.
– Vad har det här egentligen med intelligens att göra? Jo, om du gör det här på miljarder ord händer det saker. Man har upptäckt att modellerna helt plötsligt kan lösa uppgifter de explicit inte är tränade för.
Men det kan leda till vissa bekymmer.
– När man i princip tränar modellen att förutsäga nästa ord så blir den även bra på att hallucinera – att föreslå ord som skulle kunna passa i ett visst sammanhang. Men modellen förstår inte i vilket sammanhang frågan är ställd. Den vill bara producera bra text eftersom den är tränad för det.
Är det därför ChatGPT svarar fel på flera enkla frågor? Kanske. Den har troligen inte lagt någon större värdering i att lära sig om Motala och Vadstena och ger därför svar som är språkligt sannolika.
– För mig är det svårt att säga något om ChatGPT. Ett problem är att vi vet väldigt lite om det. Vi vet grundarkitekturen och man kan gissa sig till vissa källor, till exempel Wikipedia och Flashback, säger Marco Kuhlmann.
– Den har svårt att värdera hur pålitliga olika datakällor är.