Dit voorjaar waren Amerikaanse militaire vliegtuigen al in de lucht toen officials ontdekten dat de inlichtingen waarop een gewapende operatie tegen een Chinees schip was gebaseerd, door een AI-chatbot waren verzonnen. De operatie werd op het laatste moment afgebroken, waarmee een mogelijk conflict met China werd voorkomen.

Wat er precies gebeurde

Een analist bij het Special Operations Command vroeg een AI-chatbot om openbaar beschikbare informatie te combineren met geheime inlichtingen. Met "openbaar beschikbare informatie" wordt bedoeld: nieuws, websites en andere bronnen die iedereen kan raadplegen.

De geheime informatie betrof signaalinlichtingen (gegevens uit onderschepte communicatie of elektronische signalen). De chatbot gaf een onjuiste identificatie van de vracht op het schip: het zou onderdelen bevatten voor een kernwapenprogramma. Die foutieve uitkomst werd daarna door de analist opnieuw met dezelfde tool bewerkt tot een officieel ogende samenvatting, die via commandolijnen werd rondgestuurd.

Pas toen er vliegtuigen in de lucht waren, ontdekten officials dat de kern van het rapport niet klopte. De operatie werd gestopt voordat er actie werd ondernomen.

Hoe kon dit gebeuren?

Moderne chatbots gebruiken grote taalmodellen (vaak "LLM" genoemd). Dat zijn systemen die veel teksten hebben gelezen en op basis daarvan plausibele antwoorden kunnen geven. Het probleem is dat zulke modellen soms zeker klinkende maar onjuiste feiten produceren. Dat noemen experts een "hallucinatie": de AI verzint iets dat niet op echte bronnen gebaseerd is.

In dit geval leidde die hallucinerende uitkomst tot een keten van fouten:

• De analist vertrouwt de gecombineerde output van publiek en geheime data.

• De chatbot maakte een fout bij het identificeren van de vracht.

• De analist gebruikte de chatbot om het resultaat netter en officieel te laten lijken.

• Het geformatteerde rapport werd breed verspreid binnen de commandostructuur.

Die snelle stroom van informatie maakte het mogelijk dat een fout van een AI zich omhoog in de hiërarchie kon verspreiden voordat iemand kritisch controleerde of de feiten klopten.

Gevolgen en risico's

De zaak laat een aantal risico's zien wanneer militaire organisaties AI inzetten:

• Onjuiste inlichtingen kunnen leiden tot valse beschuldigingen en escalatie tussen landen.

• Beslissingen over inzet van geweld vragen om stevige controle, omdat fouten levens kunnen kosten.

• Snelle adoptie van AI zonder voldoende waarborgen kan ertoe leiden dat personeel het vertrouwen in systemen verliest.

De Amerikaanse defensie ziet AI juist als een manier om beslissingen te versnellen en een voorsprong te houden. Dat versnellen kan nuttig zijn, maar het maakt het ook mogelijk dat onjuiste AI-uitkomsten te snel worden opgevolgd.

Mogelijke maatregelen

Experts en betrokkenen zeggen dat dit voorval vooral een oproep is om meer veiligheidsmaatregelen te nemen, niet om AI volledig te verbieden. Mogelijke stappen zijn:

• Strikte verificatiestappen voordat AI-uitkomsten als basis voor acties worden gebruikt.

• Menselijke eindverantwoordelijkheid bij beslissingen die tot geweld kunnen leiden.

• Training van personeel in de beperkingen van grote taalmodellen (LLM's), zodat zij onzekerheden herkennen.

• Transparante logboeken en controles om te zien hoe een AI-totstandkoming tot stand is gekomen.

Deze maatregelen moeten helpen voorkomen dat een fout van een AI zich ongehinderd verspreidt en tot gevaarlijke besluiten leidt.

Conclusie

Het incident laat zien dat AI nuttig kan zijn, maar ook foutgevoelig. Wanneer AI wordt ingezet voor beslissingen met mogelijk dodelijke consequenties, is extra waakzaamheid en menselijke controle cruciaal. Zonder die waarborgen kan een foutieve uitspraak van een chatbot ernstige internationale gevolgen krijgen.