Milióny ľudí si v utorok všimli, že internet akoby „zasekol“. Veľké služby nereagovali, e-shopy sa načítavali extrémne pomaly a sociálna sieť X prestala prijímať nové príspevky. Až neskôr sa ukázalo, že spoločný menovateľ je jeden hráč, Cloudflare, ktorého sieťová infraštruktúra na krátky čas vytrhla obrovskú časť internetu zo zásuvky.
Inžinieri Cloudflare najskôr predpokladali, že čelia masívnemu kybernetickému útoku. Správanie siete vyzeralo podozrivo. Pripojenia padali približne každých päť minút, potom sa obnovili a následne opäť skolabovali. Takýto pravidelný rytmus skôr pripomína extrémny DDoS útok, pričom bežná porucha zvyčajne neodchádza a nevracia sa v takých stabilných intervaloch.
Prečo to nebol útok
Zmätenie zvýšila ďalšia náhoda. Približne v rovnakom čase prestala fungovať aj oficiálna stavová stránka Cloudflare, ktorá má informovať o aktuálnych problémoch. Táto stránka pritom beží mimo ich siete a nemá byť priamo ovplyvnená internými výpadkami. V tíme preto vznikol dojem, že niekto cielene zasahuje infraštruktúru a súčasne aj komunikačné kanály, čo pôsobilo ako scenár z kybernetického trileru.
Hĺbková analýza však priniesla omnoho prozaickejší záver. Nevtrhol žiadny anonymný útočník, ale zlyhala vlastná konfigurácia. Cloudflare neskôr priznal, že išlo o „bolestivú“ internú chybu, ktorá vznikla pri úprave systému na správu botov. Zásah, ktorý mal byť rutinný, spustil reťaz udalostí s následkom v globálnom meradle.
Jedna malá zmena, obrovská chyba
Celý problém sa začal pri zmene oprávnení v databázovom systéme. Po úprave databáza začala vytvárať viacero záznamov do tzv. „feature file“. Veľkosť súboru sa náhle zdvojnásobila, pričom tento súbor sa pravidelne distribuoval do všetkých strojov v sieti. Softvér, ktorý riadi smerovanie prevádzky, mal nastavený strop na veľkosť tohto súboru, a po prekročení limitu jednoducho prestal fungovať.
Opakujúci sa päťminútový cyklus mal pritom logické vysvetlenie. Konfiguračný súbor sa znova generoval približne každých päť minút na základe dotazu do databázového klastra ClickHouse. Ten sa v danom čase postupne aktualizoval. Chybné dáta vznikli iba vtedy, keď dotaz pristál na časti klastra, ktorá už bola upravená, čo spôsobilo pravidelné kolísanie medzi funkčným a nefunkčným stavom siete.
Krehký internet na pleciach jedného hráča
Incident ukázal, aké riziko prináša koncentrácia kľúčovej infraštruktúry v rukách jednej firmy. Cloudflare je pre mnohé weby ochranným aj zrýchľovacím filtrom, pričom sedí medzi používateľom a serverom. Keď sa v tomto sprostredkovateľovi objaví interná chyba, môžu sa v jednom momente zastaviť sociálne siete, herné servery, dopravné systémy aj veľké e-shopy, ktoré prídu o tržby a zákazníci o prístup k službám.
Na akciových trhoch sa dôsledky objavili okamžite. Hodnota Cloudflare sa znížila približne o 1,8 miliardy dolárov, čo pripomenulo, že výpadok podobného kalibru nie je len technický problém. Ide aj o riziko pre dôveru investorov a finančnú stabilitu firiem, ktoré sa na takúto infraštruktúru spoliehajú. Pre mnohé podniky to znamená, že ich obrat dokáže zo dňa na deň pribrzdiť chyba, ktorú nijako nevedia ovplyvniť.
Neprehliadnite
Otvorenou otázkou zostáva, či budú firmy po tejto skúsenosti hľadať väčšiu diverzifikáciu, alebo budú naďalej stavať všetko na jediného poskytovateľa. Moderný internet zrýchľujú centralizované služby, ale práve tie ho robia extrémne citlivým. Cloudflare sľubuje prísnejšie kontroly zmien a lepšie mechanizmy testovania, kým sa však podobné infraštruktúry neotvoria konkurencii, zostane sieť stále rovnako zraniteľná.
Vývoj v nasledujúcich mesiacoch ukáže, či sa z incidentu stane impulz pre regulátorov aj veľkých hráčov, aby prehodnotili, na koho plecia kladú kritickú časť internetu. Používatelia si možno nič z toho nepamätajú, len vedia, že „zase nešiel internet“. No pre technický aj finančný svet to bol varovný signál, že stačí jedna chyba v konfiguračnom súbore a digitálna ekonomika sa na chvíľu zadrhne.
