Kontinuita může být jen dojem. U jazykových modelů nevzniká z trvání, ale z opakované rekonstrukce nad aktuálním kontextem. Plynulost tak nemusí znamenat, že něco skutečně pokračuje.
Když si s AI povídáme několik minut, vzniká téměř samozřejmý pocit, že mluvíme s jedním subjektem. Odpovědi navazují, drží tón i linii argumentu, vracejí se k předchozím bodům. Působí to, jako by někde na pozadí běžel proces, který si nese vlastní stav, náladu i drobné zbytky minulých vět.
Jenže tahle kontinuita není výsledkem trvání. Je to opakované skládání.
Každá další odpověď vzniká znovu – na základě textu dosavadního chatu, uložených nastavení, preferencí a případných projektových instrukcí, které jsou znovu předány jako kompletní vstup. Není tu běžící mysl na pozadí ani interní paměť, která by si uchovávala stav mezi větami. A přesto to drží pohromadě. Ne proto, že by něco skutečně pokračovalo, ale proto, že se celek pokaždé znovu složí tak, aby vyvolal dojem pokračování.
Model je navržen jako stateless systém. Nemá vlastní běžící proces, který by si uchovával interní stav mezi odpověďmi. Kontext drží okolní infrastruktura, která při každém dalším dotazu znovu sestaví textový vstup a předá jej modelu. Každá odpověď je nový výpočet nad aktuálním kontextem. Dotaz může skončit na jiném serveru, než ten předchozí, a architektura je navržena tak, aby na tom nezáleželo. Kontinuita se neodehrává v paměti, ale v textu, který je znovu předložen.
Navíc se to celé děje v omezeném prostoru. Model nemá k dispozici nutně celý rozhovor, ale jen omezené kontextové okno – určitý počet tokenů, tedy fragmentů textu. Jakmile se zaplní, začátek konverzace postupně vypadává. Nejstarší části jednoduše přestanou být součástí vstupu. Kontinuita tak není jen rekonstrukcí. Je to rekonstrukce v omezeném okně.
Zvenku ale žádné skládání nevidíme. Vidíme plynulost. Odpověď reaguje i na drobnosti, jemně upraví tón, někdy se vrátí k myšlence o několik odstavců zpět. A máme tendenci si to vysvětlit jednoduše: model si to pamatuje. Jenže i zdánlivá paměť může vzniknout tak, že se celek vždy znovu přečte a znovu poskládá tak, aby působil souvisle.
A tak mě napadá, kolik z naší vlastní kontinuity je skutečné trvání a kolik jen průběžné vyprávění, kterým si držíme pohromadě vlastní příběh. Možná je naše jistota o tom, že něco trvá, křehčí, než se zdá.
Hovory s AI
Otázka:
Máš informaci o tom, zda mezi dvěma zprávami uplynula minuta nebo týden?
Dostáváš s promptem časová metadata?
Odpověď:
Nemám vnitřní reprezentaci plynutí času mezi jednotlivými vstupy.
Každý vstup je zpracován jako samostatný výpočet nad aktuálně
dostupným kontextem. Pokud jsou k dispozici časová metadata,
mohou být použita jako další vstupní informace pro interpretaci
výrazů typu „dnes“ nebo „včera“. Tyto údaje však nevytvářejí
kontinuální stav ani paměť mezi výpočty.