Razgovaraš s ChatGPT-om i on ti piše esej, prevodi tekst, smišlja recepte i objašnjava kvantnu fiziku. Impresivno — ali kako to zapravo radi? Šta se dešava unutra dok čekaš odgovor?
Nije magija, nije ni svjesna inteligencija. Iza ChatGPT-a stoji fascinantna ali razumljiva tehnologija. Objašnjavamo je ovdje, bez formule i bez doktorata iz matematike.
Šta je veliki jezični model (LLM)?
ChatGPT je primjer tzv. velikog jezičnog modela (Large Language Model, LLM). To je vrsta AI-a koja je specijalizovana za razumijevanje i generiranje teksta.
Zamislaj ga kao nevjerovatno sofisticiran sistem za dovršavanje rečenica. Kada kucaš "Glavni grad Bosne i Hercegovine je ___", svaki čovjek koji govori bosanski zna da ide "Sarajevo". ChatGPT radi istu stvar — ali na nevjerovatno kompleksnom nivou, s milijardama mogućih nastavaka za svaki fragment teksta.
Korak 1: Treniranje na ogromnoj količini teksta
Sve počinje s podacima. GPT-4 (model iza ChatGPT-a) treniran je na stotinama milijardi riječi teksta — knjigama, člancima, web stranicama, naučnim radovima, forumima, kodovima. Ako bi jedna osoba čitala taj tekst non-stop, trebala bi stotine godina.
Tokom treniranja, model milionima puta ponavlja isti zadatak: dobija djelimičan tekst, pokušava predvidjeti sljedeću riječ, uspoređuje s tačnim odgovorom i popravlja interne parametre (tzv. težine, engl. weights) da bi sljedeći put bio precizniji. Ovaj proces se ponavlja trilionima puta na superračunarima.
Na kraju toga procesa, model ima naučene statističke obrasce koji opisuju kako jezik funkcioniše — gramatiku, logiku, kontekst, stil, pa čak i humor.
Korak 2: Tokenizacija — kako AI "čita" tekst
Čovjek čita slova i riječi. AI čita tokene. Token je fragment teksta — može biti cijela riječ, dio riječi, ili interpunkcija. Riječ "računar" je jedan token, ali "kibernetički" može biti dva tokena.
Kada ti pišeš pitanje ChatGPT-u, on ga pretvori u niz tokena. GPT-4 može istovremeno obraditi do 128.000 tokena (otprilike 100.000 riječi) — to je dugi kontekstualni prozor koji mu omogućava da "pamti" dugačke razgovore.
Korak 3: Pažnja (Attention) — razumijevanje konteksta
Ključna inovacija koja je omogućila moderan AI jezik je tzv. mehanizam pažnje (attention mechanism), uveden u arhitekturi zvanoj Transformer (2017, Google).
Zamislaj rečenicu: "Banka je bila zatvorena jer je rijeka poplavila njene obale." Koje "njene" se odnosi na banku a koje na rijeku? Čovjek to odmah razumije iz konteksta. Mehanizam pažnje omogućava AI-u da radi isto — da za svaki token u rečenici "pazi" na sve ostale tokene i razumije njihov međusobni odnos.
Korak 4: RLHF — kako ChatGPT postaje koristan i siguran
Sam jezični model koji predviđa sljedeću riječ nije nužno koristan. Mogao bi generisati tačan ali beskoristan tekst, ili čak štetan sadržaj. OpenAI je dodao dodatni korak treniranja: RLHF (Reinforcement Learning from Human Feedback — pojačano učenje iz ljudskog feedbacka).
Ljudski evaluatori su ocjenjivali odgovore modela — koji su bolji, koji korisni, koji sigurni. Model je naučio da generuje odgovore koji dobivaju dobre ocjene od ljudi. Ovo je razlog zašto ChatGPT odbija štetne zahtjeve i trudi se biti koristan i jasan.
Zašto ChatGPT ponekad griješi i "halucinira"?
ChatGPT nije baza podataka koja pronalazi tačne činjenice. On generuje tekst koji statistički odgovara očekivanom odgovoru. Ponekad taj tekst izgleda uvjerljivo ali je faktički pogrešan — ovo se naziva halucinacija.
Primjer: pitaš ga za biografiju malo poznate ličnosti. Nema dovoljno podataka u treniranju, ali "zna" kako izgleda biografija. Kreira uvjerljivo zvučeću biografiju — koja može biti djelimično ili potpuno izmišljena.
Uvijek provjeri važne činjenice iz ChatGPT odgovora u pouzdanim izvorima. Posebno za medicinske, pravne i financijske informacije.
Šta ChatGPT zapravo "zna"?
ChatGPT ne "razumije" jezik na način na koji mi razumijemo. Ne zna šta su riječi — zna statističke obrasce koji opisuju kako se one koriste. To je fundamentalno različito od ljudskog razumijevanja.
Ipak, ovi statistički obrasci su toliko bogati i kompleksni da rezultiraju ponašanjem koje je za praktične svrhe izvanredno korisno: odlično pisanje, objašnjavanje, prevođenje, analiza, kodiranje.
GPT-4 vs GPT-3.5 — kakva je razlika?
GPT-4 je znatno veći model s više parametara (težina) i treniran na više podataka. Rezultat su dramatična poboljšanja u: logičkom zaključivanju, matematici, razumijevanju dugačkih tekstova, višejezičnosti i pouzdanosti (manje halucinacija). GPT-4o (omni) dodaje sposobnost razumijevanja slika i govora.
Zaključak
ChatGPT je sofisticiran statistički model koji predviđa nastavak teksta na osnovu ogromnog treniranja. Nije svjestan, ne razumije u ljudskom smislu, ali su njegovi outputi izvanredno korisni za svakodnevne zadatke. Razumijevanje kako radi pomaže nam da ga koristimo efikasnije — i da znamo kada mu ne vjerovati.
