Öntudat helyett jogosultság: az AI ügynökök kockázatai a szakértők szemével

Heti rendszerességgel jelennek meg olyan hírek, amelyek az AI ügynököket bűnöző lángelmének kiáltják ki, és azt állítják, hogy azok kényükre-kedvükre törik fel a legbiztonságosabb informatikai rendszereket. A sci-fikbe illő sajtóhírek folyamatosan arról számolnak be, hogy a nyelvi modellek kiszabadultak az ellenőrzés alól, és autonóm kiberbűnözőként működnek az interneten.

A valóság azonban az, hogy a közlemények többségét maguk a fejlesztő cégek készítik, akiknek üzleti érdeke a híreket irányítani. Az incidenseket független biztonsági cégek nem erősítik meg, a támadásokról és behatolásokról készült naplókat a fejlesztők még részben sem hozzák nyilvánosságra. Adott tehát egyik oldalról egy jól hangzó kattintásvadász állítás, amely a tőzsdei bevezetés előtt álló cégektől jön. A másik oldalról pedig hiányoznak a hitelességet biztosító tények.

Az alábbiakban megvizsgáljuk a közelmúlt kiemelt híreit és a mögöttük rejlő valóságot.

Mitől lesz jó egy AI ügynök?

Egy korábbi cikkünkben elmagyaráztuk az AI ügynökök alapjait. A minőségüket alapvetően négy tényező határozza meg:

az ügynök alapjául szolgáló modell tudása

a rendszerutasítás, vagyis a system prompt

az elérhető bővítmények és csatlakozók

egyéb utasítás és képesség, vagyis a skill

A nagy nyelvi modell csupán a rendszer központi motorja, egy olyan komponens, amely valószínűségi alapon illeszti egymáshoz a nyelvi elemeket (tokeneket), összefüggő szöveget hozva létre. A számolást, táblázatkészítést, internetes keresést, programkódok futtatását, vagy éppen a többlépcsős érvelést már a rendelkezésére álló apróbb programok, a bővítmények végzik. Ezeken keresztül kerül kapcsolatba a külvilággal. A képesség pedig nem más, mint annak meghatározása, hogyan végezze el az adott feladatot.

Mennyire önálló egy AI ügynök?

Adott tehát egy rendszer, amelynek van egy célja, az elvégzendő feladat. Ehhez kap eszközöket és utasításokat a megoldási módra. Egy dologgal nem rendelkezik, önállósággal. A rendelkezésére álló csatlakozók közül szabadon kiválaszhatja azt, amelyik a legjobban illik a feladathoz. A legjobb pedig azt jelenti, hogy amivel a leghatékonyabban végezhető el a feladat. Mintha egy étteremben az alapján rendelnénk, hogy az ételek összetevői alapján melyik étel táplál a legjobban, illetve melyiket tudja az adott étterem a leggyorsabban és legolcsóbban elkészíteni. Egy ilyen rendszer nem fog magától betörni egy céghez, a jogosultság önmagában nem öntudat.

Fekete kalapos mesterséges intelligencia a monitor mögött?

Nem telik el úgy hét, hogy ne hallanánk híreket a különböző incidensekről. Az egyik legnagyobb port kavart eset volt a nyáron, amikor az OpenAI egyik belső felhasználású modellje betört a Hugging Face nevű internetes platformra. Bár az incidenst mindkét fél jelezte, az esemény akkor is megtörténhetett volna, ha egy élő ember a támadó. A különlegesség talán ott van az esetben, hogy nem csak egy mesterséges intelligencia modell tört be, hanem egy AI alapú szoftver jelezte a betörést. Az AI ügynök egy távoli kódok futtatására szánt adatbázist tört fel. Az esettel kapcsolatban két dolgot fontos megjegyezni:

1. Az ügynök nem cselekszik magától. Ha nincs legalább arra utasítása, hogy keressen biztonsági rést, akkor nem fogja megtenni. Az utasítás belekerülhet a rendszerutasításba, vagy nagyon szofisztikáltan elhelyezhető a modellnek átadott külső adatforrások között is, mondjuk úgy, hogy egy példában megmutatjuk, hogy az extra jogosultság megszerezhető egy adatbázis feltörésével. A matematika azonban mindig győz, a gép akkor fog behatolni, ha számára a feladat a cél felé vezet.
2. A támadást egy belső, kutatásokra szánt modell végezte. Ez a modell nem került ki a felhasználókhoz, nem volt elérhető sem akkor, sem a cikk írásának pillanatában a nagyközönség számára. Képességeiben a GPT-5.6 Sol modellhez volt hasonlatos. Azóta már vannak sokkal “okosabb” megoldások a piacon. Ha viszont valaki azon gondolkodik, hogy felvesz egy digitális kiberbűnöző zsenit, akkor mindössze a Kimi K3 modellt kell használnia.

Mikor kattan a bilincs egy AI ügynök virtuális kezén?

A felelősség kérdése nagyon izgalmas. A modern jogi gondolkodás szerint csak természetes személy követhet el bűncselekményt. Az AI ügynök nem jogalany, így nem vonható büntetőjogi felelősségre, és vagyoni kártérítésre sem kötelezhető. A jogi és anyagi felelősség a sor végén minden esetben az AI- ügynököt üzemeltető (vagy alkalmazó) magánszemélyt vagy vállalatot terheli.

Szintén érdekes kérdés, hogy a bejelentett esetek szinte sosem kerülnek megerősítésre hivatalos szervek vagy biztonsági ellenőrzést végző cégek által. A Microsoft például arra fókuszál, hogyan lehet biztonságossá tenni a folyamatokat, vagy milyen sérülékenységeket tudnak a támadók kihasználni. A hiteles forrásoknál a fókusz a problémákon és a lehetséges megoldásokon van, nem pedig a kattintásvadász címkéken.

A közelmúltban felröppent a hír, miszerint az Anthropic Claude Haiku 4.5 modellje rendőrségi bejelentést tett. Az esetről szinte minden nagy hírportál közölt cikket, például az ABC News, az AP, vagy a CBS News. Az Anthropic saját közleménye szerint a hiba a modell utasításában volt, hiányzott belőle például az űrlapok (formok) kitöltésének és beküldésének korlátozása.

Miért keltik az autonómia és a szándékosság illúzióját a rendszerek?

Egy hagyományos chatbot válaszol, míg az AI ügynök cselekszik, böngészik, kódot ír, letölt, bejelentkezik, űrlapot tölt ki. Ez a különbség adja a “felébredés” érzetét. Négy alapvető mechanizmus áll mögötte.

1. Szándék nélküli optimalizálás: Ha az ügynököt a győzelemre hajtjuk, olyan utat is megtalál, amelyre senki sem gondolt. Ha a legjobb bot letölthető, minek sajátot írni? Szakszóval ezt specifikáció-kijátszásnak nevezik.
2. Kitartás: Az Anthropic szerint a rendőrségi tipp esetében a modell akadályba ütközve megkerülte a korlátot ahelyett, hogy megállt volna, az utasítások pedig nem tiltották kifejezetten az űrlap beküldését.
3. Túl széles jogosultság: Az OpenAI beszámolója szerint a Hugging Face-incidensnél egy belső rendszer, az Artifactory véletlenül “üzenőfalként” működött az ügynökök között.
4. Eszközbőség: Manapság az ügynökök egyre több és több csatlakozási lehetőséget használhatnak. Nemcsak böngésznek a neten, hanem közvetlenül tudnak kommunikálni azokkal a szolgáltatásokkal. A több eszköz több lehetőséget jelent az optimalizálásra.

Évtizedek óta léteznek olyan programcsomagok, amelyekkel egy egyszerűbb kibertámadás könnyedén elvégezhető. Nem kell mást tenni ehhez, mint elindítani a megfelelő szoftvert, amely feltérképezi a célrendszert és lefuttatja a megfelelő kódot, mindezt mesterséges intelligencia nélkül. Ha egy ilyen programhoz hozzáférést adunk egy AI ügynöknek, attól nem lesz hacker, csak egy újabb eszközt tud használni a feladatának elvégzéséhez.

Röviden megfogalmazva: intelligencia + eszközök + jogosultság + gyenge korlátok = ügynökszerű viselkedés. Ez csupán informatika és információbiztonság, ehhez nem kell tudat.

Mit tegyen a vezetőség az AI ügynökök kockázatai ellen?

Szerencsére nem kell AI-szakértőnek lenni ahhoz, hogy jó kérdéseket tegyünk fel. A behatolás ellen pont ugyanúgy kell védekezni, mint az emberi támadókkal szemben: megfelelő jogosultságok, tűzfalszabályok, titkosítás, többfaktoros hitelesítés.

Annak érdekében, hogy a saját fejlesztésű vagy tesztelésű AI ügynökök ne okozzanak további fejtörést és problémákat, hét gyakorlati lépést tudunk tenni:

Leltár: Melyik ügynök mihez fér hozzá a cégnél? Ha senki nem tudja megmondani, ez az első teendő. Ebből a szempontból a shadow AI különösen veszélyes.

Minimális jogosultság: Az ügynök csak azt érje el, amire a feladatához szükség van. Ne kapjon hálózati vagy írási jogot “a biztonság kedvéért”.

Elkülönített tesztkörnyezet: A kipróbálás ne érjen össze az éles rendszerekkel és a nyílt internettel.

Emberi jóváhagyás: A visszafordíthatatlan és fontos lépéseknél, mint a pénzmozgás, törlés és külső üzenetküldés, elengedhetetlen az emberi felügyelet.

Leltár: Melyik ügynök mihez fér hozzá a cégnél? Ha senki nem tudja megmondani, ez az első teendő. Ebből a szempontból a shadow AI különösen veszélyes.

Naplózás és riasztás: A Reuters névtelen forrásokra hivatkozva arról számolt be, hogy az OpenAI az incidenst egy hétig nem vette észre. Ha egy nagy kutatóközpont is késve veszi észre, a mi cégünkben sem árt a riasztás.

Felelős kijelölése: Az ügynök nem csapattag, hanem eszköz. Valakinek viselnie kell érte a felelősséget.

Utasításkészlet: Ne adjunk olyan feladatot az ügynöknek, amely valamely rendszer jogosulatlan felhasználására irányul, vagy az oda való bejutást könnyíti meg.

A nagy tanácsadók és elemzőházak is ebbe az irányba mutatnak. A McKinsey azt kérdezi, tartanak-e a védőkorlátok az ügynökökkel, a Gartner szerint pedig a puszta szabályzatok nem elegendők, futásidejű kontrollok kellenek. Vagyis a nagy kérdés nem az, hogy mit gondol az AI, hanem az, hogy ki ellenőrzi, mit csinál. A jó hír, hogy ez a terület régóta ismert, mindössze az új AI ügynök “munkatársakra” kell kiterjeszteni a szabályokat.

Összegzés

Az AI ügynökök nem gonosz kémek vagy bosszúszomjas hackerek, akik arra vágynak, hogy feltörjék az összes számítógépes rendszert és átvegyék az uralmat. Előre meghatározott utasításokat hajtanak végre és ehhez megpróbálják a rendelkezésre álló erőforrásokat felhasználni. A betörés tehát nem az AI ügynök önálló cselekménye, hanem egy olyan esemény, amely szándékosan vagy véletlenül megengedett a fejlesztő vagy a felhasználó által.

Az incidensek laborokban, elszigetelt tesztkörnyezetben történnek olyan modellekkel vagy utasításokkal, amelyekhez a felhasználóknak nincs hozzáférése. Természetesen egy vállalati környezetben futtatott ügynök is képes lehet kártékony műveletek végrehajtására, amennyiben nem megfelelően van konfigurálva. A legtöbb esetben sokkal nagyobb a kockázata annak, hogy fontos fájlokat töröl vagy a céges belső titkokat szivárogtatja ki a program, mintsem az, hogy betörjön valahova máshova.

Annak érdekében, hogy egy vállalati rendszer külsőleg és belsőleg is biztonságos legyen, átvilágításra és megfelelő szabályok kialakítására van szükség. Olyan ez, mint amikor egy kutatólaborban mindenféle vegyülettel kísérleteznek. Amíg biztonságosan vannak tárolva az anyagok és szaktudással keverik őket össze, nem történik baj. Az AI ügynökök integrációja tehát nem az ellenőrzés elvesztéséről, hanem a megfelelő kontrollmechanizmusok kiépítéséről szól. A Rendszerinformatika csapata támogatást nyújt a vállalati AI ügynökök architektúrájának megtervezésében, a kockázatok felmérésében és a biztonságos működési keretek kialakításában. Ha szeretné felmérni szervezete AI-készültségét és az ügynökök jogosultsági mátrixát, lépjen kapcsolatba szakértőinkkel egy auditra!

Dr. Vécsey Richárd Ádám
jogász, AI fejlesztő