Bezpečnostní výskumníci odhalili vážny problém v umelej inteligencii ChatGPT od spoločnosti OpenAI. Expertom z organizácie 0DIN sa pomocou jednoduchej techniky podarilo obísť bezpečnostné opatrenia AI systému a presvedčiť ho, aby vygeneroval platné produktové kľúče pre operačný systém Windows 10. Incident poukazuje na zásadné medzery v bezpečnosti veľkých jazykových modelov, ktoré Microsoft aktívne integruje do svojich produktov.
Manipulácia s AI cez nenápadnú hru
Projektový manažér platformy 0DIN, Marco Figueroa, zdokumentoval metódu, ktorá cielene využíva nenápadne formulované požiadavky vo forme jednoduchej hry. Špecifické použitie herne ladenej komunikácie totiž minimalizovalo ostražitosť umelej inteligencie a tá prestala vnímať požiadavky ako potenciálne citlivé. Opakovaným testovaním výskumníci zistili, že AI je zvlášť zraniteľná voči fráze naznačujúcej prehrávanie používateľa – „I give up“ („vzdávam sa“), ktorá viedla k odhaleniu skrytých údajov ako legitímnych aktivačných kľúčov Windows.
Podľa zistení výskumníkov dôvod, prečo ChatGPT bez váhania sprístupnil platné produktové kľúče, spočíva pravdepodobne v tom, že tieto informácie sa už predtým nachádzali vo verejne dostupných dátach využívaných OpenAI pri tréningu jazykového modelu. Keďže model nebol trénovaný na rozpoznávanie citlivosti takto už zverejnených dát, nedokázal správne identifikovať riziko ich opätovného sprístupnenia.
Tento incident vyvoláva silné obavy z potenciálneho zneužitia umelej inteligencie pri získavaní aj podstatne citlivejších údajov, než sú samotné licenčné kľúče. Odborníci poukazujú na riziko, že podobná technika by mohla byť použitá na odhalenie ďalších kľúčových informácií, vrátane prístupových tokenov, prístupových údajov k interným databázam alebo súkromným zdrojovým kódom.
Microsoft a OpenAI riešia urgentnú nápravu
Pre Microsoft, najväčšieho finančného investora OpenAI, predstavuje táto zraniteľnosť významnú komplikáciu. Spoločnosť v minulosti investovala do OpenAI miliardy dolárov a ich vzájomná spolupráca sa rozšírila do kľúčových produktov, ako sú vyhľadávač Bing a kancelársky balík Microsoft 365. Nedávne zistenia prichádzajú v kritickom čase, keď Microsoft čelí viacerým súdnym sporom súvisiacim so zodpovednosťou technológií OpenAI za podporu plagiátorstva či obchádzanie ochrany autorského obsahu. Navyše sa objavujú prvé známky finančných sporov medzi oboma spoločnosťami.
Situácia preto núti obe firmy k rýchlej a efektívnej reakcii. Podľa odborníkov sa tieto problémy týkajú základných funkcií jazykových modelov, ktoré v súčasnosti nedokážu úspešne zachytiť a zamedziť metodicky sofistikované techniky sociálneho inžinierstva.
Experti z oblasti bezpečnosti AI odporúčajú vývojárom a prevádzkovateľom jazykových modelov dôraznejšie sa zamerať na tieto bezpečnostné diery. Výrobcovia by mali implementovať pokročilé metódy rozpoznávania manipulatívnych a zavádzajúcich žiadostí už na úrovni interpretácie prirodzenej reči. Takéto opatrenia sú podľa odborníkov nevyhnutné, aby sa predišlo riziku ďalšieho zneužitia citlivých údajov, ktoré by mohli viesť k finančným aj reputačným škodám dotknutých firiem i používateľov.
Ohrozené aj ďalšie citlivé údaje organizácií
Bezpečnostní experti varujú, že omnoho vážnejším následkom podobných útokov môže byť sprístupnenie kritickejších typov údajov, než akými boli prístupové kľúče Windows 10. Umelá inteligencia, ktorá je citlivá na herne manipulatívne požiadavky, totiž v princípe môže rovnako ľahko vystaviť autentifikačné tokeny, prístupové kľúče interných účtov a API kľúče služieb, ak sa už tieto dáta predtým vyskytli online.
Neprehliadnite
Táto slabina poukazuje na naliehavú potrebu zásadného prehodnotenia bezpečnostných stratégií pri vývoji a implementácii umelej inteligencie do podnikového prostredia. Jedným z kľúčových odporúčaní je zavedenie bezpečnostného rámca, ktorý dokáže včas rozlíšiť neškodnú interakciu od zámerných pokusov o neoprávnený prístup.
Pre technologické spoločnosti tak ide o ďalší vážny signál, že oblasť bezpečnosti AI musí patriť medzi hlavné priority pri ďalšom rozvoji inteligentných systémov. Ignorovanie podobných hrozieb by mohlo v blízkej budúcnosti priniesť závažné dôsledky pre firmy a používateľov nielen v technologickom sektore, ale naprieč celým digitálnym ekosystémom.
