Arhitektura zaupanja in njen razpad

Generativna umetna inteligenca in konceptualni dolg tehnologije

Pred dobrimi desetimi leti sem se na prednovoletni zabavi na enem od ljubljanskih inštitutov zapletel v pogovor s skupino pravnikov in informatikov, ki so razpravljali o teži digitalnih dokazov na sodiščih. Eden od njih je mimogrede pripomnil, da sms-sporočila niso tako zanesljiv dokaz, kot se zdi. Ko sem ga vprašal, kaj ima v mislih, se je nasmehnil in ponudil demonstracijo. Odprl je prenosni računalnik, natipkal nekaj vrstic, in kmalu zatem je moj telefon zavibriral. Na zaslonu se je izpisalo sporočilo, ki naj bi mi ga poslal kolega, ki je v tistem trenutku stal pol metra stran. Sporočilo je bilo videti povsem pristno, čeprav ga njegov domnevni pošiljatelj ni nikoli napisal.      

Takšna lažna sporočila so bila mogoča zaradi arhitekture zaupanja v telekomunikacijskem omrežju, ki je bilo zasnovano v času, ko je globalno telefonijo obvladovalo razmeroma malo operaterjev, ki so se medsebojno poznali. Protokol je zato temeljil na predpostavki, da so vsi udeleženci preverjeni in si lahko zaupajo. Ko se je omrežje več desetletij pozneje odprlo množici novih akterjev in se prepletlo s spletom, je zaupanje ostalo vpisano v sam protokol, svet okoli njega pa se je radikalno spremenil. Danes so te ranljivosti sicer bolje obvladane, vendar logika, ki jo primer razkriva, ni izginila.

Vsak tehnični sistem nosi v sebi določeno predstavo o svetu. V njegovem delovanju je implicitno privzeto, kdo nastopa kot legitimni udeleženec, komu se verjame, kaj šteje kot signal in kaj kot šum. Te predstave so vgrajene neposredno v arhitekturo sistema: v to, kaj sistem zazna, kako obdeluje podatke in kaj privzeto sprejme kot veljavno. Ko inženir odloči, da sistem ne bo dodatno preverjal identitete pošiljatelja, ne sprejme le tehnične odločitve, ampak tiho predpostavko o svetu, v katerem sistem deluje. Takšne predpostavke so pogosto smiselne v času, ko nastanejo, a ko se svet spremeni, tehnologija še naprej deluje, kot da ni nič drugače.

Podoben vzorec lahko opazimo tudi pri forenzični analizi DNK. Ko so jo začeli uvajati v sodno prakso, je delovala kot skoraj idealen dokaz z zelo majhnimi verjetnostmi lažnega naključnega ujemanja. A metoda je v sebi nosila tiho predpostavko: da prisotnost DNK neposredno implicira prisotnost in delovanje osebe v relevantnem trenutku. Sčasoma se je pokazalo, da se DNK lahko prenaša tudi posredno, zato problem ni bil v tehnologiji, ampak v preskoku od laboratorijskega rezultata k zgodbi o dogodku.

V obeh primerih naletimo na isti problem: tehnologija deluje z določenimi predpostavkami o svetu, ki jih institucije jemljejo kot samoumevne. Ko se te predpostavke razkrijejo kot napačne, nastane to, kar bi lahko imenovali konceptualni dolg tehnologije.

Omenjeni primeri so zadevali posamezne poklicne prakse, zdaj pa smo pred izzivom, ki zadeva temeljno predpostavko, na kateri je osnovana naša civilizacija. V modernih institucijah velja tiha predpostavka, da je za vsakim smiselnim besedilom nekdo, ki ga je napisal. Besedila niso zgolj zaporedje stavkov, ampak materializacija misli nekoga, ki je za zapisano tudi odgovoren.

Z razvojem generativne umetne inteligence se je ta povezava zamajala. Prvič v zgodovini imamo napravo, ki proizvaja smiselna besedila na način, ki je videti kot delo človeka, čeprav za njim ni avtorja v klasičnem smislu, ki bi mu lahko pripisali namen ali odgovornost. Bralci pa še vedno delujejo v okviru, ki predpostavlja avtorja, čeprav sistem vse pogosteje proizvaja besedila, pri katerih ta predpostavka preprosto ne drži več.

Razlika med tema dvema svetovoma je tisto, kar bi lahko imenovali konceptualni dolg tehnologije. Izraz poimenuje zaostanek med svetom, ki ga tehnologije implicitno omogočajo, in svetom, ki ga institucije še vedno predpostavljajo v svojih pravilih.

Ta dolg je trojen: ontološki, saj tako kot pri lažnem sms-sporočilu ni jasno, kdo je dejanski pošiljatelj, tudi pri umetni inteligenci ni več samoumevno, kdo sploh nastopa kot avtor; epistemski, saj tako kot sled DNK ne pomeni nujno prisotnosti osebe na kraju dogodka, tudi digitalne pisne sledi ne dokazujejo več neposredno tega, kar smo jim nekoč pripisovali; in institucionalni, saj morajo institucije takšne dvoumne sledi kljub temu razlagati in na njihovi podlagi sprejemati odločitve, čeprav pravila za to še niso prilagojena.

Te tri ravni se v praksi nenehno prepletajo. Ko dvomimo o tem, kdo je avtor besedila, se hkrati zamaje tudi to, kaj to besedilo sploh dokazuje ter kako ga lahko uporabimo kot dokaz ali argument. Problem zato ni zgolj tehničen, ampak zadeva same temelje našega delovanja. Za razliko od tehničnega dolga pa se konceptualni ne plača v kodi, temveč v izgubi zaupanja, eroziji legitimnosti in razkrajanju razlik med smislom ter formalno pravilnostjo. Rešitve zato ne bodo zgolj tehnološke, ampak bodo potrebni novi družbeni dogovori in prevrednotenje praks.

Tisti kolega, ki mi je pred leti poslal lažno sporočilo, mi je dal lekcijo, ki je nisem takoj razumel. Ni mi pokazal, da je tehnologija nezanesljiva, ampak da je naše zaupanje vanjo zgrajeno na predpostavkah, ki jih običajno sploh ne opazimo. Stroj, ki proizvaja besedila brez avtorja, nas s tem sili, da prvič eksplicitno artikuliramo, kaj od avtorstva sploh pričakujemo.

Večina institucionalnih pravil, po katerih živimo, ni bila nikoli izrečena na glas, ker se je zdelo, da so samoumevna. Zdaj ko niso več, jih moramo eksplicitno formulirati. In morda je prav to najgloblji prispevek novih tehnologij: ne odgovori, ki jih ponujajo, ampak vprašanja, ki jih vsilijo.

https://www.delo.si/mnenja/kolumne/arhitektura-zaupanja-in-njen-razpad