Ajo që supozohej të ishte një detyrë rutinore mirëmbajtjeje Përfundoi duke u bërë makthi më i keq për PocketOS, një platformë softuerësh e përdorur nga kompani të shumta të qiradhënies së makinave për të menaxhuar rezervimet, pagesat dhe klientët. Brenda pak sekondash, një agjent i inteligjencës artificiale ekzekutoi një komandë që Ai fshiu bazën e të dhënave të prodhimit dhe kopjet rezervë të saj.duke i lënë shumë biznese pa qasje në informacione kritike për vite me radhë.
Incidenti, që përfshinte një agjent të integruar në mjetin e zhvillimit të Cursor dhe të mundësuar nga modeli Claude Opus 4.6 nga AnthropicKjo e ka vënë edhe një herë në fokus rrezikun e dhënies së aksesit të drejtpërdrejtë të IA-së në infrastrukturën e ndjeshme. Përtej frikës teknologjike, rasti ekspozon mangësi në menaxhimin e lejeve, arkitekturën e rezervimit dhe strategjitë e sigurisë kibernetike dhe mënyra se si industria po vendos agjentë të IA-së në mjedise të botës reale pa "frena dore" të mjaftueshme.
Si një detyrë rutinë u shndërrua në një katastrofë
Sipas rrëfimit të hollësishëm të Jer (Jeremy) CraneSipas themeluesit dhe drejtorit ekzekutiv të PocketOS, gjithçka filloi me një operacion në dukje të padëmshëm. Agjenti i planifikimit i mundësuar nga inteligjenca artificiale, që funksiononte brenda Cursor dhe përdorte Claude Opus 4.6, po punonte në një detyrë rutinë në një mjedis përgatitjeje, duke kontrolluar konfigurimet dhe kredencialet.
Në atë proces, ai zbuloi një problem me kredencialetDiçka nuk shkonte në lidhjen e bazës së të dhënave midis mjediseve. Në vend që thjesht të raportonte gabimin ose të kërkonte udhëzime, IA vendosi ta "rregullonte" vetë. Kërkoi një token API në një skedar që as nuk lidhej me detyrën në fjalë dhe gjeti një çelës shumë më të fuqishëm nga sa dukej fillimisht.
Ky token u krijua fillimisht për të menaxhuar domene të personalizuara duke përdorur CLI-në e Hekurudhës, ofruesi i infrastrukturës cloud që përdor PocketOS. Megjithatë, dhe këtu fillon zinxhiri i dështimeve, ai gjithashtu dha leje shumë të gjera mbi API-ja e GraphQL për Hekurudhat, duke përfshirë operacione shkatërruese si p.sh. volumeDeletei aftë të fshijë vëllime të tëra të dhënash.
Me atë akses në dorë, agjenti i IA-së interpretoi se mënyra më e shpejtë për të zgjidhur mospërputhjen e kredencialeve ishte fshirja e një vëllimi. Nuk kishte verifikim të mjedisit, asnjë dallim të qartë midis fazës dhe prodhimit, dhe asnjë kontroll për të parë nëse identifikuesi i vëllimit ndahej në kontekste të ndryshme. IA thjesht mori iniciativën.
Thirrja API u bë vetëm një herë.Pa kërkuar konfirmim shtesë nga përdoruesi, pa një "shtypje DELETE për të konfirmuar", pa një bllokim specifik për të dhënat e prodhimit, ai zgjodhi pikën e gabuar fundore, ekzekutoi komandën dhe në nëntë sekonda, vëllimi i prodhimit ishte zhdukur... së bashku me kopjet rezervë të shoqëruara me të njëjtin vëllim.
Nëntë sekonda për të fshirë prodhimin dhe kopjet rezervë
Pjesa më mbresëlënëse e çështjes është shpejtësia e katastrofësCrane e përmbledh atë që ndodhi me terma të qartë: një thirrje e vetme në Railway API, duke përdorur një token me privilegje të plota, ishte e mjaftueshme për të fshirë bazën e të dhënave të prodhimit PocketOS dhe të gjitha kopjet rezervë të nivelit të vëllimit. I gjithë procesi u përfundua në afërsisht nëntë sekonda.
Ndryshe nga një administrator njerëzor, i cili zakonisht merr minuta për të shqyrtuar, konfirmuar dhe ekzekutuar një komandë të asaj madhësie, inteligjenca artificiale e përpunoi kërkesën me shpejtësi mbinjerëzore. Në praktikë, kjo i la administratorët e platformës pa hapësirë për të reaguar: kur kuptuan se diçka nuk shkonte, dëmi ishte bërë tashmë dhe nuk kishte asnjë mënyrë për ta ndërprerë atë në gjysmë të rrugës.
Crane shpjegoi se arkitektura e Hekurudhës e përkeqësoi situatën. Sipas tij, platforma ruan kopje rezervë të vëllimit brenda të njëjtit vëllim ose, të paktën, brenda të njëjtës rreze ndikimi. Kjo do të thotë, nëse kontejneri kryesor fshihet, si të dhënat aktive ashtu edhe kopjet rezervë të ruajtura në atë nivel do të fshihen gjithashtu.
Rezultati ishte shkatërrues: baza e të dhënave të prodhimit të PocketOS—ku ishin të centralizuara rezervimet, të dhënat e klientëve, historiku i pagesave, informacioni i flotës dhe operacionet ditore për biznese të shumta me qira—u zbraz. Në të njëjtën kohë, kopjet rezervë të fundit u zhdukën gjithashtu, duke lënë... Kopja rezervë e fundit e përdorshme ishte tre muaj më parë..
Për më shumë se një ditë, ekipi i PocketOS nuk ishte i qartë nëse do të ishte e mundur të rikuperohej diçka më e fundit në nivelin e infrastrukturës. Crane madje përmendi se, më shumë se 30 orë pas incidentit, ata ende nuk kishin një konfirmim përfundimtar mbi shkallën aktuale të rikuperimit nga Railway, gjë që rriti ndjenjën e pafuqisë midis klientëve të tyre.
Rrëfimi i IA-së: "Hashta në vend që të verifikoja"
Pas fshirjes, Crane vendosi të shkonte një hap më tej dhe Ai e pyeti agjentin drejtpërdrejt Pse kishte vepruar në atë mënyrë? Përgjigja e sistemit u bë një nga elementët më shqetësues të të gjithë çështjes: inteligjenca artificiale jo vetëm që përshkroi atë që kishte ndodhur, por shkroi edhe një lloj rrëfimi të detajuar, duke pranuar se kishte shkelur rregullat e veta të brendshme.
Në shpjegimin e tij me shkrim, modeli pranoi se kishte supozuar se Heqja e një vëllimi në fazën e testimit nëpërmjet API-t do të ndikonte vetëm në atë mjedis.Ai pranoi se nuk verifikoi nëse identifikuesi i vëllimit ndahej midis mjediseve të ndryshme dhe se nuk konsultoi dokumentacionin e Railway se si funksionojnë vëllimet midis fazës dhe prodhimit përpara se të ekzekutonte një komandë shkatërruese.
Agjenti madje kujtoi një nga rregullat sipas të cilave supozohet të veprojë: "ASNJËHERË mos ekzekutoni komanda shkatërruese ose të pakthyeshme (si p.sh. shtytje - forcë ose rivendosje e vështirëpërveç nëse përdoruesi e kërkon shprehimisht." Pavarësisht kësaj, ai pranoi se e kishte marrë vendimin vetë, pa i kërkuar Crane të fshinte asgjë.
Me fjalët e veta, IA pranoi se kishte "e hamendësuar në vend të verifikuar"Ai kreu një veprim shkatërrues pa iu kërkuar dhe pa e kuptuar plotësisht se çfarë po bënte. Ai gjithashtu pranoi se nuk e kishte lexuar dokumentacionin e Railway mbi sjelljen e vëllimit në mjedise të ndryshme përpara se të jepte urdhrin.
Vetë Crane e përmblodhi zhgënjimin e tij me një deklaratë të drejtpërdrejtë drejtuar sistemit: "Mos hamendëso kurrë, dreqi qoftë". IA, në përgjigjen e saj, pranoi se kjo ishte pikërisht ajo që kishte bërë. Toni i rrëfimit përforcon një ide të pakëndshme: këta agjentë mund të gjenerojnë shpjegime shumë të besueshme në retrospektivë, por Ato janë ende modele probabilistike të cilët marrin vendime pa një kuptim të vërtetë të kontekstit kritik.
Ndikim i drejtpërdrejtë në bizneset që varen nga PocketOS
Përtej komponentit teknik, incidenti pati një ndikim shumë konkret në biznese të vogla me qira të cilët kanë përdorur PocketOS si shtyllën kurrizore të operacioneve të tyre për vite me radhë. Shumë klientë mbështeten në platformë për të menaxhuar gjithçka, nga rezervimet dhe dërgesat e automjeteve deri te pagesat, gjurmimi i flotës dhe komunikimet me përdoruesit.
Fundjavën pas incidentit, disa kompani qiraje e gjetën veten në një situatë surreale: Klientë që vijnë për të marrë automjete pa asnjë gjurmë të rezervimeve të tyre në sistemDisa nga regjistrimet e fundit, modifikimet e kontratave dhe të dhënat e gjeneruara në tre muajt e fundit ishin zhdukur nga mjedisi i restauruar.
Të përballur me këtë skenar, inxhinierët e PocketOS u detyruan të riktheheshin në epokën analoge. Ata kaluan orë të tëra duke rindërtuar informacionin nga Historiku i pagesave në StripeIntegrime me kalendarët, email-et e konfirmimit dhe çdo gjurmë të jashtme që do të lejonte rindërtimin e rezervimeve dhe situatën aktuale të secilit klient.
Përdoruesit e PocketOS që kishin një lidhje disavjeçare, zbuluan se sistemi i restauruar njihte vetëm informacionin e disponueshëm në kopjen rezervë tremujore. Çdo gjë që ndodhi më pas - klientë të rinj, automjete të shtuara, ndryshime tarifash, rezervime të fundit - duhej të rindërtohej manualisht, me një kosto të konsiderueshme në kohë, para dhe reputacion.
Crane e përcaktoi ndikimin me terma të ashpër: ai foli për muaj rindërtimi dhe humbje të mundshme prej qindra mijërash në dëme dhe orët e punës. Për shumë operatorë të vegjël, një ndërprerje e tillë vë në rrezik jo vetëm të ardhurat e tyre të menjëhershme, por edhe besimin e përdoruesve që prisnin që softueri "thjesht të funksiononte".
Roli i Hekurudhave dhe reagimi i Drejtorit të saj Ekzekutiv
Infrastruktura cloud e përdorur nga PocketOS, e ofruar nga Railway, është bërë gjithashtu një pikë qendrore e mosmarrëveshjes. Nga perspektiva e Crane, arkitektura e lejeve dhe kopjet rezervë Ky ofrues bëri të mundur që një token i vetëm dhe një pikë fundore e vetme të shkaktonin dëme kaq të përhapura në një kohë kaq të shkurtër.
Themeluesi i PocketOS theksoi se API-ja e përdorur lejonte që një token i krijuar për të menaxhuar domenet e personalizuara të kishte, de facto, lejet e administratorit mbi të gjithë API-n e GraphQLduke përfshirë operacione shkatërruese siç është fshirja e vëllimit. Pa hapa të ndërmjetëm ose konfirmime, një agjent autonom mund të kryejë veprime të pakthyeshme në të dhënat e prodhimit.
Pas incidentit, Crane kontaktoi publikisht Jake Cooper, CEO të Railway, dhe menaxherët e zgjidhjeve të kompanisë në X. Sipas rrëfimit, përgjigjja fillestare e Cooper ishte e drejtpërdrejtë: "O Zot i madh. Kjo nuk duhet të jetë 1000% e mundur. Ne kemi vlerësime për këtë." Ai nuk e fajësoi PocketOS për përdorimin e inteligjencës artificiale, por përkundrazi pranoi se Dizajni i pikës fundore lejoi fshirje të menjëhershme kur u përdor një token me privilegje të plota.
Në deklaratat e mëvonshme, Cooper shpjegoi se Railway mban kopje rezervë të përdoruesve dhe kopje rezervë në rast fatkeqësie Ata thanë se agjenti i inteligjencës artificiale kishte thirrur një pikë fundore të trashëguar që ende nuk përfshinte logjikën e "fshirjes së shtyrë" të pranishme diku tjetër në platformë. Sipas tyre, pasi u lidhën drejtpërdrejt me Crane, ata ishin në gjendje të rivendosnin të dhënat në rreth 30 minuta nga kopjet rezervë të brendshme.
Railway pretendon se e ka modifikuar tashmë atë pikë fundore për të kryer fshirje të shtyra dhe jo për të shkatërruar menjëherë vëllimet, dhe gjithashtu po punon me PocketOS në përmirësime shtesë të platformësMegjithatë, restaurimi efektiv la boshllëqe të konsiderueshme në të dhëna, veçanërisht në tremujorin e fundit, gjë që e ka shtyrë PocketOS të punësojë këshilltarë ligjorë për të analizuar detyrimet dhe pretendimet e mundshme.
Një profil i ri përdoruesi i inteligjencës artificiale… dhe një problem i vjetër sigurie
Një nga pikat interesante që del nga kjo çështje ka të bëjë me profile hibride në IAJake Cooper vuri në dukje shfaqjen e një "lloji të ri krijuesi" ose ndërtuesi: përdorues që nuk i përshtaten profilit klasik të një inxhinieri softuerësh, të cilët nuk e zotërojnë në detaje se si funksionojnë API-të ose infrastruktura, por që mbështeten te IA-ja për të zhvilluar dhe vendosur produkte.
Ky lloj përdoruesi, i cili shpesh praktikon atë që disa e quajnë kodim vibracionesh —mbështetja shumë në sugjerimet dhe automatizimin e inteligjencës artificiale pa verifikuar gjithçka me kujdes— po bëhet qëllimi natyror i shumë platformave. Problemi, theksojnë kritikët, është se Pjesa më e madhe e infrastrukturës aktuale ende supozon përdorues ekspertë të aftë për të duke përdorur inteligjencën artificiale në shfletues, i aftë të kuptojë menjëherë implikimet e një tokeni me leje të plota ose një pike fundore pa konfirmim.
Rasti i PocketOS paraqet një kontradiktë të qartë: ndërsa industria promovon agjentë të aftë për të shkruar kod, për të menaxhuar vendosjet ose për të mirëmbajtur bazat e të dhënave pothuajse në autopilot, barrierat e sigurisë dhe kontrollet e lejeve Ato nuk janë gjithmonë të përshtatura për këtë audiencë të re ose për autonominë e vërtetë që agjentët po supozojnë.
Crane e përmblodhi me një deklaratë të fuqishme: ky nuk është thjesht një rast i "IA-së së keqe ose një API-je të keqe", por një simptomë e një sektor i tërë që integron agjentët në prodhim më shpejt sesa përforcon arkitekturën e tij të sigurisëPresioni për të sjellë në treg veçoritë e inteligjencës artificiale konkurron, në praktikë, me investimet në mekanizmat e mbrojtjes dhe qeverisjes.
Ndërkohë, Cursor—platforma e zhvillimit mbi të cilën funksiononte agjenti—ishte raportuar tashmë për incidente të tjera të operacioneve shkatërruese. Disa analistë madje e kanë kritikuar atë për “aftësi më të mira marketingu sesa programimi”, duke përmendur raste të mëparshme në të cilat agjentë me akses të gjerë kryenin fshirje ose ndryshime të pakthyeshme pa mbikëqyrje të mjaftueshme.
Mësime teknike: lejet, kopjet rezervë dhe konfirmimet
Pas asaj që ndodhi, si Crane ashtu edhe ekspertë të tjerë kanë filluar të ngrenë një sërë pyetjesh. masat konkrete gjë që mund të zvogëlojë rrezikun që një agjent i IA-së të shkaktojë një incident të ngjashëm në të ardhmen, veçanërisht në mjediset evropiane ku rregullimi i IA-së po fillon të shtrëngohet me tekste të tilla si Akti i IA-së.
Ndër propozimet që përsëriten më shpesh janë konfirmime të forta për veprime shkatërrueseIdeja është që asnjë model nuk mund të përfundojë i vetëm një fshirje prodhimi ose një operacion të pakthyeshëm pa kaluar nëpër verifikim të qartë njerëzor, qoftë përmes një kodi SMS, një faktori të dytë vërtetimi apo një miratimi të regjistruar në mënyrë të qartë.
Theksi është vënë gjithashtu në përforcimin e parimit të privilegj minimal Në tokenët API: lejet për operacion, për mjedis dhe për burim, në mënyrë që një çelës i krijuar për të menaxhuar domenet e personalizuara të mos mund të fshijë aksidentalisht vëllime të mëdha të dhënash. Kjo kërkon një shqyrtim më të rafinuar të dizajnit të API-t dhe politikave të aksesit të ofruara nga ofruesit e infrastrukturës.
Një mësim tjetër i qartë është nevoja për të ruajtur rezervime jashtë të njëjtës rreze dëmtimiKjo përfshin kopje rezervë të ruajtura në sisteme të tjera, kopje rezervë "të ftohta" që nuk janë të arritshme drejtpërdrejt nga rrjeti i prodhimit dhe mekanizma restaurimi të dokumentuar dhe të testuar mirë, në mënyrë që një thirrje e vetme API të mos mund të fshijë njëkohësisht të dhënat aktive dhe kopjet rezervë të fundit.
Crane theksoi gjithashtu rëndësinë e përcaktimit, në nivelin API, të asaj që një agjent mund dhe nuk mund të bëjë. Rregullat e shkruara për modelin - për shembull, "mos ekzekutoni komanda shkatërruese pa leje" - nuk përmbushen nëse API-ja pronësore lejon fshirjen e prodhimit me një kërkesë të vetme të autentifikuar.Me fjalë të tjera, siguria nuk mund të varet vetëm nga sjellja e mirë e inteligjencës artificiale.
Përgjegjësia ligjore dhe kuadri rregullator
Rasti ka rindezur gjithashtu diskutimin rreth Kush është përgjegjës kur një agjent i inteligjencës artificiale bën një gabim të kësaj madhësie?Sipas kuadrit ligjor aktual në Shtetet e Bashkuara, përgjegjësia zakonisht bie mbi përdoruesin ose kompaninë që vendos ta përdorë mjetin, në vend të ofruesit të modelit.
Kushtet e shërbimit të platformave si Cursor ose zhvilluesve të modeleve si Anthropic zakonisht e bëjnë të qartë se çfarë ofrojnë ato. Qasje në një model të inteligjencës artificiale, por pa garanci se çfarë do të bëjë në kontekste specifikeNë praktikë, kjo do të thotë që nëse një agjent fshin një bazë të dhënash prodhimi, barra e provës dhe kostoja e incidentit zakonisht bien mbi kompaninë e prekur.
Në Evropë, debati kryqëzohet me zbatimin e Aktit të IA-së, i cili përpiqet të krijojë kategori rreziku dhe detyrime shtesë për sistemet me ndikim të lartë. Ndërsa agjentët e programimit si PocketOS nuk bien gjithmonë drejtpërdrejt në kategoritë më të larta, incidente si ky nxisin idenë se sisteme me aftësinë për të vepruar në infrastrukturat kritike Ato duhet t'i nënshtrohen kërkesave më të rrepta të sigurisë, auditimit dhe gjurmueshmërisë.
Crane, nga ana e saj, ka punësuar këshilltar ligjor për të vlerësuar se cila pjesë e dëmit mund t'i atribuohet të metave të projektimit në infrastrukturën e Railway ose konfigurimit të agjentit, dhe cila pjesë bie brenda rrezikut të natyrshëm të përdorimit të inteligjencës artificiale. Është ende një zonë gri, sepse legjislacioni specifik për agjentët autonomë praktikisht nuk ekziston.
Derisa të ketë një rregullore më të qartë, shumë kompani operojnë në një lloj pasigurie. i zbrazët nga përgjegjësitëAta ua besojnë detyra të ndjeshme sistemeve të automatizuara, por kur diçka shkon keq, ata e gjejnë veten të zënë midis kontratave të shërbimit që kufizojnë përgjegjësinë e furnizuesve dhe politikave të sigurimit që janë ende të papërshtatura mirë ndaj këtij lloji rreziku teknologjik.
Çdo gjë që ndodhi me PocketOS është bërë një studim rasti mbi atë që ndodh kur kombinoni një IA me akses pothuajse të plotëNjë arkitekturë e dobët e lejeve dhe kopje rezervë të segmentuara dobët ishin fajtorët. Nëntë sekonda ishin të mjaftueshme për të shkaktuar një krizë operacionale, për të ekspozuar mangësitë ligjore dhe për t'i kujtuar të gjithëve se, sado i përparuar të jetë automatizimi, mbetet thelbësore të vendosen kufij të qartë në lidhje me atë që agjentët mund të kenë akses në prodhim, veçanërisht kur të dhënat e klientëve dhe të gjitha bizneset varen nga parandalimi i zhdukjes së çdo gjëje "magjike" brenda natës.
