AI div Anthropic upozorava

NAJMOĆNIJA AI KOMPANIJA

Anthropic tvrdi da njihova tehnologija vodi do kraja civilizacije. Kako? Pogledajte oglas za posao

Daniela Amodei, predsjednica tvrtke Anthropic u razgovoru s moderatorom na panelu u San Franciscu

Daniela Amodei, predsjednica tvrtke Anthropic u razgovoru s moderatorom na panelu u San Franciscu

 Minh Connors/getty Images/profimedia

Početkom godine Anthropic se razišao s američkim Ministarstvom obrane zbog mogućnosti da se njegova tehnologija koristi za masovni nadzor i autonomno oružje

AI div Anthropic upozorio je da bi njegova vlastita tehnologija mogla dovesti do kraja civilizacije, a dovoljno je, kako piše u srijedu Axios, pogledati njihove najnovije oglase za posao da bi se shvatilo kako.

Naime, Anthropic trenutačno ima otvorena 32 vrlo ozbiljna natječaja za radna mjesta čija je svrha spriječiti ljude da umjetnu inteligenciju koriste za izradu svega, od eksploziva domaće izrade do nuklearnog oružja. Anthropic tako dodatno zapošljava analitičare specijalizirane za kemikalije i eksplozive, nuklearno oružje, financijske prijevare, kibernetički kriminal i druga područja.

„Kao analitičar za provedbu mjera, usmjeren na radiološke i nuklearne prijetnje, imat ćete ključnu ulogu u zaštiti od zlouporabe sustava umjetne inteligencije za radiološke i nuklearne štete“, stoji u jednom opisu radnog mjesta. Plaće za te pozicije kreću se od srednjih do visokih primanja, od 200.000 dolara godišnje.

image

Korištenje Anthropicovih modela Claude in Mythos/Ilustracija

Riccardo Milani/Hans Lucas Via Afp

„Osigurati da naši modeli ne pružaju potencijalno štetne informacije ključno je za odgovoran razvoj“, rekao je glasnogovornik Anthropica. „Zato redovito zapošljavamo stručnjake iz širokog spektra osjetljivih područja – ljude koji razumiju te prijetnje i načine na koje ih umjetna inteligencija može dodatno unaprijediti – kako bi testirali otpornost naših sustava i ojačali naše obrambene mehanizme, prije nego što model uopće bude pušten u uporabu“, dodao je.

Pesimizam glede bliske budućnosti

Glasnogovornik je objasnio da su nazivi radnih mjesta i opisi namjerno vrlo precizni kako bi jasno označili konkretnu vrstu prijetnje, što je nužno za pronalazak odgovarajućih kandidata.

Anthropic je, više nego bilo koji drugi laboratorij za umjetnu inteligenciju, bio meta kritika da pretjeruje s katastrofičnim scenarijima. No tvrtka svojim ulaganjima pokazuje da smatra kako su potencijalni rizici umjetne inteligencije itekako stvarni. Glavni izvršni direktor tvrtke, Dario Amodei, već dugo upozorava na načine na koje bi zlonamjerni akteri mogli iskoristiti umjetnu inteligenciju za nanošenje štete.

Svi su bili u šoku, Trump malo prije napada izdao naredbu: ‘Hitno prekinite suradnju s njima!‘

image

Dario Amodei

Ludovic Marin/Afp

U eseju objavljenom u siječnju, kao najzabrinjavajući scenarij izdvojio je biološke napade. „Ne mislim da će biološki napadi nužno biti izvedeni istog trenutka kada to postane široko moguće – dapače, kladio bih se da neće“, napisao je Amodei. „No, kada se to promatra kroz milijune ljudi i razdoblje od nekoliko godina, mislim da postoji ozbiljan rizik od velikog napada… s potencijalno milijunskim ili većim brojem žrtava“, upozorio je.

Početkom godine Anthropic se razišao s američkim Ministarstvom obrane zbog mogućnosti da se njegova tehnologija koristi za masovni nadzor i autonomno oružje.

Podsjetimo, Anthropic je u veljači odbacio ultimatum Ministarstva obrane o ukidanju ograničenja na njegovo korištenje Claude AI modela. Pentagon je izjavio da će ugovore sklapati samo s tvrtkama za umjetnu inteligenciju koje pristanu da se njihov alat koristi na „sve zakonite načine“ i koje ukinu zaštitne mjere u tom slučaju, kako je naveo tada Amodei u opširnoj objavi na blogu. Potom je izjavio da njegov startup za umjetnu inteligenciju „ne može mirne savjesti“ popustiti ultimatumu Pentagona o ukidanju zaštitnih mjera na korištenje svojim AI sustavom za masovni domaći nadzor i potpuno autonomno oružje.

image

Korištenje Anthropicove umjetne inteligencije/Ilustracija

Mathieu Thomasset/Hans Lucas Via Afp

Amodei je poslije pojasnio da se ne protivi oružju koje se temelji na umjetnoj inteligenciji, ali vjeruje da trenutačna generacija te tehnologije nije dovoljno dobra da bi bila dovoljno precizna za te svrhe. Iz Anthropica su poručili da čak ni najbolji modeli umjetne inteligencije nisu dovoljno pouzdani za potpuno autonomno oružje i da bi njihovo korištenje u tu svrhu bilo opasno. Tvrtka je također povukla crvenu liniju kod uporabe radi nadzora Amerikanaca, nazivajući to kršenjem temeljnih prava.

Zbog toga je, kako su izvještavali mediji, ministarstvo uvelo svojevrsni bojkot tvrtke, a Anthropic je podignuo tužbu protiv Pentagona jer ga je stavio na crnu listu nacionalne sigurnosti, čime je eskalirala bitka te tvrtke za razvoj umjetne inteligencije s američkom vojskom oko ograničenja korištenja njihove tehnologije.

Pentagon je Anthropicu dodijelio formalnu oznaku rizika u lancu opskrbe. Ministar obrane Pete Hegseth obilježio je tako Anthropic nakon što je taj startup odbio ukloniti zaštitne ograde protiv korištenja svoje umjetne inteligencije za autonomno oružje ili nadzor stanovništva.

Trakavica između Trumpa i Anthropica uvod je u najveću i najvažniju bitku našeg vremena

image

Prosvjed protiv utrke u razvoju umjetne inteligencije

Karl Mondon/Afp

Anthropic je u svojoj tužbi naveo da je oznaka da je tvrtka „rizik za lanac opskrbe“ nezakonita i da krši njihova prava na slobodu govora i pravičan postupak. U tužbi saveznom sudu u Kaliforniji zatraženo je od suca da poništi oznaku i spriječi savezne agencije da je provode. „Ove su akcije bez presedana i nezakonite. Ustav ne dopušta vladi da koristi svoju golemu moć kažnjavanja tvrtke zbog njezina prava na slobodu govora, priopćila je tvrtka koja je razvila popularni civilni model umjetne inteligencije Claude“, stajalo je u tužbi.

Potrebno i stvarno iskustvo

Kao nastavak tog spora, američka vlada naložila je u lipnju tvrtki blokadu pristupa za sve strane državljane. To je pogodilo i korisnike u Europi, kojima je bio onemogućen pristup modelima poput Fable 5 i Mythos 5. Situacija je privremeno razriješena u srpnju 2026., kada je administracija Donalda Trumpa ukinula sporne kontrole izvoza, nakon što se Anthropic obvezao na uvođenje strožih zaštitnih mehanizama unutar svojih sustava.

Axios navodi da, kako modeli postaju sve moćniji, laboratoriji za umjetnu inteligenciju nastoje dodatno ojačati svoje timove za sigurnost. OpenAI zapošljava istraživača specijaliziranog za biološke i kemijske rizike, uz osnovnu godišnju plaću od 295.000 do 445.000 američkih dolara. Za pozicije sigurnosnih analitičara u Anthropicu potrebno je biti sposoban razmišljati poput osobe koja pokušava izbjeći otkrivanje, navodi tvrtka, dodajući da zapošljava stotine ljudi posvećenih sigurnosti. Oni, u skladu s tim, provode stresna testiranja modela i uklanjaju uočene ranjivosti.

image

Korištenje Anthropicovih modela Claude in Mythos/Ilustracija

Imen Ben Youssef/Hans Lucas Via Afp

Za ove poslove, kako se ističe, nije dovoljno samo poznavanje programiranja u pozadini sustava, već i stvarno iskustvo iz područja poput biologije, eksploziva ili drugih područja povezanih s ozbiljnim prijetnjama.

Kao rezultat, talenti i ljudi sa znanjem sve više odlaze u privatni sektor umjesto u državne institucije, što, zajedno s izostankom dosljednog regulatornog okvira, znači da upravo kompanije preuzimaju vodeću ulogu u uspostavljanju zaštitnih mehanizama za sve moćnije sustave umjetne inteligencije, zaključuje Axios.