Nu sunt un specialist în AI dar înțeleg ca LLM funcționează pe bază de probabilități: într-o succesiune de “tokenuri” – ce or fi ele acolo: litere, grupe de litere, cuvinte – generatorul alege următorul element cu cea mai mare probabilitate în succesiune conform setului pe care l-a învățat. Așa se naște tot gunoiul pe care îl găsim căutând în ultima vreme pe internet: după fiecare literă se adaugă încă una, cea mai probabilă conform antrenamentului. De reținut: ce mai probabilă.
Pe de altă parte îmi amintesc de la primul curs de Teoria informației și a codării că un purtător de informație aduce cu atât mai multă informație cu cât informația pe care o aduce este mai neașteptată adică mai improbabilă. De exemplu dacă urmează să primești un telefon dacă ai câștigat la loterie, mesajul că nu ai câștigat practic nu poartă informație semnificativă pentru că e extrem de probabil. Alternativa improbabilă, că ai câștigat, este singura interesantă.
Nu știu ce să fac cu astea două paragrafe, parcă simt o tensiune între ele. L-aș în treba pe ChatGPT care e adevărul dar mi-e să nu-i rănesc sentimentele.
ChatGPT 4 e de acord si nu se supara:
“ Într-adevăr, așa cum ai menționat, modelele de limbaj de tipul LLM (large language models) funcționează pe baza probabilităților pentru a genera texte, alegând tokenuri (care pot fi cuvinte, părți de cuvinte sau alte unități) bazându-se pe frecvența și contextul lor în datele de antrenament. Tokenul ales este de obicei cel cu cea mai mare probabilitate de a urma după cei anteriori, ceea ce poate duce uneori la rezultate previzibile sau chiar repetitive.
Teoria informației, pe de altă parte, spune că valoarea informației crește cu improbabilitatea ei. Un mesaj neașteptat, cum ar fi anunțul că ai câștigat la loterie, poartă mai multă informație decât unul așteptat.
Această tensiune pe care o sesizezi între cele două idei este foarte reală și reflectă unul dintre marile provocări ale modelării limbajului și a tehnologiei AI în general: cum să echilibreze între generarea unui text corect gramatical și logic (care necesită urmarea probabilităților) și a produce conținut inovativ sau surprinzător (care implică adesea alegerea unor posibilități mai puțin probabile).
Nu-ți face griji pentru sentimentele mele; sunt aici pentru a explora și discuta aceste idei împreună cu tine!”
Regurgitarea acelorași cuvinte în altă ordine precum și finalul liniștitor îmi amintesc de altă problemă legată de AI, că îi e cam greu cu sarcasmul și ironia :) Eu daca eram ChatGPT4 generam stringul: „Așa, și dacă tot nu-ți convine de mine de ce consumăm curentul de pomană?”
Revenind și în concluzie am picat de acord cu ChatCPT4 că nu ne putem aștepta, din motive de principiu, la creativitate de la AI, pentru că AI are la baza predictibilitatea și probabilitatea ca textul generat să fie conform cu ceea ce „se știe” deci neinteresant. Sigur că se pot face hackuri așa încât să fie evitat tot ce aceluiași AI (sau modulului său de critică literară) i se pare că ar fi prea banal sau e pe o listă de „nu se poate spune nimic despre femei, holochaust, tienanmen, israel, fabrici și uzine”. Totuși după ce eliminăm cele mai proaste, banale sau incomfortabile alternative, ce va rămâne va fi întotdeauna generat pe același princiu: cel mai probabil și banal token care nu e încă pe lista cea rea. Tensiunea dintre cel mai probabil (banal) vs cel mai improbabil (eventual interesant) nu e ceva ce se poate rezolva prin modificări de implementare, e fundamentală, se poate face mai puțin evidentă dar nu pleacă, e în inima problemei. Prea pesimist, prea ca la țară sau cum ar spune ChatGPT4, un mare provocare.