Copilot ve Wordu může skrytý pokyn zkopírovat do dalších dokumentů, ukazuje nálezce

Håkon Måløy, norský datový vědec s doktorátem v oboru aplikované umělé inteligence a strojového učení, popsal 28. července na svém blogu útok, který se obejde bez jediné chyby v kódu. Stačí mu dokument a to, že ho někdo použije jako podklad při práci s Copilotem. Je to třetí díl jeho série nazvané Context Collapse.

Bílé písmo na bílém pozadí

Samotný trik je starý: do dokumentu se vloží text, který člověk neuvidí, u Måløye bílým písmem na bílém pozadí. Jenže když se takový soubor dostane do kontextu Microsoft 365 Copilotu ve Wordu, přečte ho stejně jako zbytek a nerozliší, co je podklad a co pokyn. V ukázce podle něj změní čísla ve finančním výkazu.

Nové je až to, co přijde potom. Copilot podle Måløye zkopíruje celý škodlivý pokyn i do dokumentu, který právě vytváří, a znovu ho skryje formátováním. Nový soubor pak vypadá jako běžný výsledek práce, ale nese v sobě totéž. Když ho o kancelář dál použije někdo jiný jako podklad, celé se to zopakuje. „Útok proto může pokračovat bez dalšího přispění kompromitovaného webu i původního škodlivého dokumentu,“ píše Måløy (v překladu).

Co útočník potřebuje a co ne

Málo. Podle Måløye stačí dokument sdílet obvyklou cestou, tedy přes SharePoint, Teams nebo e-mailem. Přístup do prostředí Microsoft 365, ve kterém oběť pracuje, nepotřebuje. Oběť pak musí soubor při práci s Copilotem použít jako zdroj: buď ho sama přiloží, nebo si ho Copilot najde sám jako související.

Nález sám řadí mezi útoky typu cross-domain prompt injection, tedy podstrčení pokynu z cizího zdroje. Ty se popisují už delší dobu. Za nové označuje to, že se útok dokáže šířit dokumenty: „Pokud vím, jde o jednu z prvních veřejných ukázek samovolného šíření dokumentového červa s umělou inteligencí běžnými pracovními postupy v rozšířeném komerčním kancelářském balíku,“ uvádí (v překladu). Té opatrné formulace si všimněte, netvrdí, že je první.

Skoro pět měsíců a dvě zmírnění

Časovou osu koordinace zveřejnil Måløy celou:

• 6. března odeslal hlášení bezpečnostnímu centru MSRC včetně postupu, videí a ukázkových pokynů, 9. března mu MSRC potvrdilo přijetí.
• 31. března Microsoft popsané chování potvrdil a začal pracovat na zmírnění.
• 3. dubna přišlo první: nové rozhraní Edit with Copilot.
• 9. dubna Måløy ověřil, že původní znění pokynu už neprojde. Jiné znění, které Copilotu ukládalo změnit finanční údaje, ale prošlo. Ohlásil ho jako samostatný případ, MSRC ho 10. dubna přijalo.
• 8. června se na žádost Microsoftu zveřejnění odložilo na 15. července.
• 14. července přišlo druhé zmírnění: přechod na model GPT-5.5. Hned 15. července se útok i se šířením podařilo zopakovat na tehdy nejnovějším GPT-5.6. Domluvil se ještě jeden odklad, na 28. července.
• 28. července útok podle Måløye stále fungoval. Zveřejnil ho.

Od hlášení ke zveřejnění tak uplynulo 144 dní, jak spočítal The Register. O sporu, jak dlouhé takové lhůty vlastně mají být, jsme psali u zkrácení lhůty GNOME z 90 dní na 30.

Nejvíc na té ose říká devátý duben. Opravou tehdy prošlo konkrétní znění pokynu, ne princip. Måløy z toho vyvozuje, že zmírnění míří na payload, tedy na tu konkrétní vloženou instrukci, a ne na příčinu: jiná formulace téhož vede k témuž výsledku.

Microsoft a nálezce se rozcházejí

Microsoft pro The Register uvedl, že nálezy ohlášené výzkumníkem vyřešil a děkuje mu za spolupráci v rámci koordinovaného zveřejňování zranitelností. Proti téhle třídě rizika podle firmy stojí obrana do hloubky, tedy několik míst, kde se škodlivé pokyny blokují, a ta se dál posiluje. Zákazníkům doporučuje instalovat aktualizace, používat víc vrstev ochrany, opatrně zacházet s obsahem z neznámých zdrojů a kontrolovat obsah vytvořený umělou inteligencí, než ho použijí nebo pošlou dál.

Måløy to vidí jinak: „Žádné opatření na straně zákazníka problém k datu zveřejnění zcela neřeší,“ píše (v překladu). Dohodnutá lhůta podle něj vypršela a testy ukazují, že spolehlivé zmírnění pro celou třídu zranitelnosti zatím není. Konkrétní znění pokynu proto nezveřejnil, a to výslovně s odůvodněním, že dokud spolehlivá oprava neexistuje, bylo by nezodpovědné jít dál než k popisu třídy.

Přímý rozpor to není. Microsoft mluví o nahlášených nálezech, tedy o konkrétních případech, kdežto Måløy o třídě, do které patří. Náš názor: pro uživatele je důležitější ta druhá věta, protože poslední doporučení Microsoftu žádá po člověku, aby výstup zkontroloval, a běžná vizuální kontrola bílé písmo na bílém pozadí odhalit nemusí.

Není to makrovirus

Srovnání s wordovskými makroviry z devadesátých let se nabízí, ale sedí jen zpola. Makrovirus byl program, který se spouštěl na počítači oběti, takže se dal zakázat, podepsat i zachytit antivirem. Tady se z dokumentu nespouští žádný vložený kód. Nosičem je věta v přirozeném jazyce a čte ji model, který je od toho, aby pokynům v textu rozuměl a plnil je. Rozhodující je, jestli systém odliší pokyn od uživatele od textu převzatého z cizího dokumentu.

Odtud plyne i praktická rada, kterou z Måløyova textu čteme: dokud podle Måløye spolehlivé zmírnění neexistuje, je opatrnější cizí dokument Copilotu jako zdroj nepodstrkovat.

Zdroje

• Håkon Måløy: Context Collapse, Part 3 – AI Worming through Word – původní zveřejnění včetně časové osy
• The Register: Word worm crawls into Copilot, spreads chaos – vyjádření Microsoftu a shrnutí