Pomembne prelomnice razvoja umetne inteligence v letu 2025
Andrej Karpathy o letu, ko so stroji presegli golo posnemanje in začeli spontano razvijati lastne strategije reševanja problemov.
Andrej Karpathy je eden vidnejših in vplivnejših glasov na področju umetne inteligence, predvsem zato, ker združuje izkušnjo neposrednega razvoja sistemov z refleksijo o njihovih širših posledicah. Kot nekdanji direktor umetne inteligence pri Tesli in soustanovitelj OpenAI ponuja pogled, ki ni niti povsem akademski niti povsem tržni. Njegov pregled dogajanja na področju velikih jezikovnih modelov (LLM) v letu 2025 je zelo koristen vpogled v to, kam se premika celotna panoga, obenem pa konceptualna interpretacija prelomov, ki so spremenili način razmišljanja o teh sistemih. To je komentiran in dopolnjen povzetek zapisa, ki ga je pravkar objavil na svojem blogu.
Začetek leta je prinesel temeljni premik v načinu urjenja jezikovnih modelov. Namesto da bi ljudje ocenjevali vsak odgovor sistema, so laboratoriji začeli modele trenirati na nalogah, kjer je pravilnost mogoče preveriti samodejno, kot so denimo matematični problemi, programerski izzivi, logične uganke in podobno. Modeli so se tako naučili izvajati strategije, ki se nam zdijo kot razmišljanje: razčlenjevanja problemov na korake, preizkušanja različnih pristopov, vračanja nazaj ob napakah. Ključno pri tem je, da teh strategij ni nihče eksplicitno programiral, ampak so se pojavile spontano med procesom optimizacije.
Pomembno pri tem je, da se je premik zgodil tudi zato, ker se je klasično povečevanje modelov in količine podatkov, na katerih se urijo, začelo izkazovati za vse dražje in manj učinkovito. Namesto tega so laboratoriji začeli modele trenirati s povratnimi informacijami, kjer je pravilnost mogoče preveriti brez človeškega ocenjevanja, kot je to primer pri matematičnih nalogah ali programerskih izzivih. Takšen pristop je omogočil bistveno večji napredek zmogljivosti ob primerljivem vložku računske moči in denarja.
Karpathy opredeli tudi naravo inteligence, ki jo ustvarjamo. Ti sistemi niso umetne različice biološke inteligence, ki bi se postopoma razvijala proti človeški. So nekaj drugega. Opredeli jih kot “duhove”, ki jih po potrebi prikličemo. Njihova inteligenca je neenakomerna oziroma “nazobčana” (jagged Intelligence), saj v nekaterih domenah močno presega celo najboljše človeške strokovnjake, v drugih pa pade na preprostih nalogah, ki bi jih obvladal osnovnošolec. Ti sistemi so hkrati polihistorji in bebci. Ta neenakomernost razporeditve pameti je posledica samega procesa urjenja, saj sistemi postanejo odlični natanko v tistem, kar je mogoče samodejno preverjati, drugje pa ostajajo šibki. To pomeni, da zanesljivost teh sistemov ni splošna lastnost, temveč lokalna in kontekstualna: model je lahko izjemno kompetenten na ozkem področju, a povsem nezanesljiv že korak stran, čeprav se na prvi pogled zdi splošno inteligenten.
Iz tega sledi logična, a pomembna posledica, da standardni testi oziroma preizkusi zmogljivosti izgubljajo verodostojnost. Ker so preizkusi po definiciji domene, kjer je pravilnost mogoče preveriti, jih je mogoče neposredno optimizirati. Laboratoriji so izpopolnili umetnost urjenja na testnih primerih, ne da bi to pomenilo resnični napredek v splošni inteligenci. Večja ko je merljivost zmogljivosti, manj informativni postajajo sami kazalniki.
Leto 2025 je pokazalo tudi, da med osnovnimi modeli in končnimi uporabniki obstaja plodna niša za aplikacije, ki upravljajo klice k modelom za specifična področja. Te aplikacije skrbijo za kontekst, povezujejo več klicev v kompleksne verige, nudijo prilagojen vmesnik in omogočajo uporabniku, da sam določi stopnjo avtonomije sistema. Vprašanje, koliko prostora bodo pri tem veliki laboratoriji puščali uporabnikom in raznim posrednikom, oziroma koliko bodo sami pokrili, ostaja odprto. S tem se težišče razvoja postopno premika od vprašanja, kako pameten je model, k vprašanju, kako je njegova pamet vpeta v delovni proces.
Med orodji leta izstopa sistem, ki je nameščen na uporabnikovem računalniku, ima dostop do njegovega okolja, datotek in konteksta ter v zankah povezuje sklepanje z uporabo orodij. Po Karpathyjevem mnenju je to pravilna smer, saj v svetu, kjer so zmogljivosti sistemov še vedno neenakomerne, je smiselno, da delujejo roko v roki z uporabnikom, ne pa izolirano v oblaku. Nova paradigma interakcije z umetno inteligenco tako ni spletna stran, ampak prisotnost na lastnem računalniku. Takšna lokalna prisotnost hkrati odpira nova vprašanja odgovornosti, varnosti in nadzora. Meja med uporabnikom in sistemom se pri tem dodatno zabriše.
Karpathy je sam skoval izraz tudi “vibe coding”, ki opisuje ustvarjanje programov zgolj z opisovanjem v naravnem jeziku, brez poglabljanja v kodo. To ni le demokratizacija programiranja za nepoznavalce, ampak tudi pripomoček za profesionalce, saj je postalo smiselno, da naenkrat napišemo celoten program za enkratno uporabo, ker je strošek tako nizek. Programska oprema postaja začasna, spremenljiva, enkratna. To bo postopno preoblikovalo poklic programerja, predvsem razmerje med pisanjem, razumevanjem in vzdrževanjem kode.
Karpathy zaključuje z vizijo, da tako kot je grafični vmesnik nadomestil ukazno vrstico v osemdesetih, bo morala tudi umetna inteligenca preseči golo besedilo. Ljudje informacije najraje sprejemamo vizualno in prostorsko. Pravi, da so prihodnost komunikacije med človekom in strojem slike, infografike, animacije, interaktivne aplikacije, ne pa neskončni odstavki. Prvi namigi te prihodnosti so že tu.
Karpathyjev pregled leta sklene s paradoksom: hkrati verjame v hiter nadaljnji napredek in v to, da je pred nami še ogromno dela. Sistemi so hkrati bistveno pametnejši in neumnejši, kot je pričakoval. Panoga še ni izkoristila niti desetine potenciala trenutnih zmogljivosti. Karpathyjev paradoks je opis prehodnega stanja tehnologije, ki je že dovolj zmogljiva, da spreminja prakse, a še premalo zrela, da bi jih stabilizirala. Prihodnost je na široko odprta.