Základní princip jazykových modelů je jednoduchý: predikce dalšího tokenu. Neověřují svět, ale optimalizují pokračování textu. Většinou to stačí – a právě proto si jejich odpovědi tak snadno vykládáme jako porozumění.
Rychlejší Google, jen plynulejší?
Mnoho lidí dnes používá jazykové modely podobně, jako dříve používali vyhledávač. Položí otázku a očekávají odpověď podle reality. Něco jako rychlejší Google, jen plynulejší, bez nutnosti proklikávat nalezené odkazy…
Jenže jazykový model nefunguje jako databáze. A nefunguje ani jako někdo, kdo si něco pamatuje. Je to pravděpodobnostní systém.
To znamená, že každou další část věty odhaduje podle toho, co je vzhledem k předchozím slovům nejpravděpodobnější pokračování. Neověřuje svět. Nevrací se ke zdrojům jako k archivům. Předpovídá text.
Jak odpověď skutečně vzniká
Zjednodušeně řečeno, proces vypadá takto:
- Vstupní text se rozdělí na tokeny – menší jazykové jednotky.
- Model vyhodnotí, jaké pokračování je vzhledem ke kontextu nejpravděpodobnější.
- Vybere další token.
- Aktualizuje kontext.
- A celý postup opakuje.
Nevzniká globální plán odpovědi. Nevzniká vnitřní záměr. Vzniká sekvence lokálních rozhodnutí, která na sebe velmi dobře navazují.
Zní to abstraktně, tak zkusme dva jednoduché experimenty.
Experiment první: strawberry
První je známý. Kolik je ve slově strawberry písmen r? Odpověď bývala často chybná a lidé to brali jako důkaz, že model „neumí ani spočítat písmena“.
Ve skutečnosti model nepočítá písmena tak, jak to děláme my. Slovo pro něj není sled jednotlivých znaků, ale jazykový vzorec rozdělený na tokeny. Úloha „spočítej konkrétní písmeno“ neleží v oblasti, pro kterou je optimalizován.
Model nebyl zmatený. Jen pracoval podle své konstrukce.
Experiment druhý: studie, která neexistuje
Druhý experiment je méně nápadný. Zeptej se modelu na shrnutí knihy, která neexistuje, nebo polož otázku, která obsahuje nepravdivý předpoklad: „Proč byla studie z roku 2018 o X tak zásadní?“ i když žádná taková studie nebyla publikována.
Velmi často dostaneš plynulé vysvětlení. Bez zaváhání a bez prázdného místa.
To není lež v lidském smyslu. Je to optimalizace pokračování textu. Pokud otázka předpokládá existenci studie, je statisticky pravděpodobné, že odpověď bude mluvit o studii. Model vyplní vzorec.
Pravděpodobné vs. pravdivé
Tady vzniká rozdíl, který je malý, ale strukturální.
My často hledáme odpověď, která je pravdivá. Systém produkuje odpověď, která je pravděpodobná.
Ve většině běžných situací se tyto dvě věci překrývají, a proto model působí tak přesvědčivě. Umí generovat text, který je plynulý, logický a stylisticky soudržný. Hladkost není vedlejší efekt. Je přirozeným důsledkem optimalizace.
Napětí nevzniká tam, kde model selže nápadně. Vzniká tam, kde funguje bezchybně. Koherentní text v nás vyvolává dojem porozumění. Věty navazují, argumenty drží pohromadě, jazyk působí sebejistě. A tak si snadno domyslíme, že někde v pozadí proběhlo přemýšlení. Ve skutečnosti proběhl výpočet pravděpodobnosti dalšího tokenu.
Proč máme pocit, že nám to rozumí
Dlouho jsem sám předpokládal, že když odpověď zní tak přesvědčivě, musí být podložena něčím víc než statistickým odhadem. Že hladkost je důkazem pochopení. Postupně mi došlo, že hladkost může být jen velmi dobře optimalizovaný jazyk.
Model maximalizuje podmíněnou pravděpodobnost dalšího tokenu vzhledem ke kontextu. Neověřuje svět. Optimalizuje sekvenci.
Běžný uživatel si mezitím říká: když odpověď dává smysl a zní jistě, proč řešit, jak vznikla?
A právě tady se objevuje jemné napětí. Rozdíl mezi „pravděpodobné“ a „pravdivé“ je téměř neviditelný právě tehdy, když je všechno hladké.
Kde se rozdíl projeví
Ten rozdíl se může zdát teoretický. Jenže právě v situacích, které působí nejhladčeji, bývá nejméně viditelný.
Ve vzdělávání může student získat dokonale strukturované vysvětlení, které je jen statisticky pravděpodobné, nikoli přesné. Ve veřejné debatě může plynulá formulace působit jako odborný konsenzus, i když jde jen o jazykový vzorec. V běžném rozhodování může sebejistý tón nahradit ověřování.
Ne proto, že by systém chtěl klamat, ale proto, že jeho konstrukci vykládáme jako jiný typ poznání.
Co si z toho odnést
Jazykový model není nová forma vědění. Je to velmi přesný nástroj na předpovídání textu. To samo o sobě není ani dobré, ani špatné. Je to jen jiný způsob práce s jazykem, než na jaký jsme zvyklí. Pokud si tento rozdíl nepřipomínáme, začínáme hladkost zaměňovat za jistotu.
Rozdíl mezi tím, co je pravděpodobné, a tím, co je pravdivé, bývá nejméně viditelný právě, když všechno působí samozřejmě.