Microsoft vorig jaar stelde voor om OpenAI’s megapopulaire tool voor het genereren van afbeeldingen, DALL-E, te gebruiken om het ministerie van Defensie te helpen software te bouwen voor het uitvoeren van militaire operaties, volgens intern presentatiemateriaal beoordeeld door The Intercept. De onthulling komt slechts enkele maanden nadat OpenAI in stilte zijn verbod op militair werk beëindigde.
Het Microsoft-presentatiedeck, getiteld ‘Generative AI with DoD Data’, biedt een algemeen overzicht van hoe het Pentagon gebruik kan maken van de machine learning-tools van OpenAI, waaronder de immens populaire ChatGPT-tekstgenerator en het maken van DALL-E-afbeeldingen, voor taken variërend van analyse tot machineonderhoud. (Microsoft heeft vorig jaar 10 miljard dollar geïnvesteerd in de opkomende machine learning-startup, en de twee bedrijven zijn nauw met elkaar verweven geraakt. In februari hebben The Intercept en andere digitale nieuwsuitzendingen Microsoft en OpenAI aangeklaagd wegens het zonder toestemming of krediet gebruiken van hun journalistiek.)
Het Microsoft-document is ontleend aan een grote hoeveelheid materiaal dat werd gepresenteerd tijdens een trainingsseminarie van het Ministerie van Defensie over AI-geletterdheid in oktober 2023, georganiseerd door de US Space Force in Los Angeles. Het evenement omvatte een verscheidenheid aan presentaties van machine learning-bedrijven, waaronder Microsoft en OpenAI, over wat zij het Pentagon te bieden hebben.
De openbaar toegankelijke bestanden zijn gevonden op de website van Alethia Labs, een non-profit adviesbureau dat de federale overheid helpt bij het verwerven van technologie, en ontdekt door journalist Jack Poulson. Woensdag publiceerde Poulson een breder onderzoek naar het presentatiemateriaal. Alethia Labs heeft nauw samengewerkt met het Pentagon om het te helpen hulpmiddelen voor kunstmatige intelligentie snel in zijn arsenaal te integreren, en heeft sinds vorig jaar een contract gesloten met het belangrijkste AI-kantoor van het Pentagon. Het bedrijf heeft niet gereageerd op een verzoek om commentaar.
Eén pagina van de Microsoft-presentatie belicht een verscheidenheid aan “algemene” federale toepassingen voor OpenAI, inclusief voor defensie. Eén opsommingsteken onder ‘Geavanceerde computervisietraining’ luidt: ‘Gevechtsbeheersystemen: de DALL-E-modellen gebruiken om afbeeldingen te maken om gevechtsbeheersystemen te trainen.’ Zoals het klinkt, is een gevechtsbeheersysteem een command-and-control-softwarepakket dat militaire leiders een situationeel overzicht biedt van een gevechtsscenario, waardoor ze zaken als artillerievuur, identificatie van luchtaanvallen en troepenbewegingen kunnen coördineren. De verwijzing naar computer vision-training suggereert dat kunstmatige beelden opgeroepen door DALL-E Pentagon-computers kunnen helpen de omstandigheden op het slagveld beter te ‘zien’, een bijzondere zegen voor het vinden – en vernietigen van – doelen.
In een verklaring per e-mail vertelde Microsoft aan The Intercept dat hoewel het het Pentagon had aangeraden DALL-E te gebruiken om zijn slagveldsoftware te trainen, het daar nog niet mee was begonnen. “Dit is een voorbeeld van mogelijke gebruiksscenario’s die zijn voortgekomen uit gesprekken met klanten over de kunst van het mogelijke met generatieve AI.” Microsoft, dat weigerde de opmerking aan iemand binnen het bedrijf toe te schrijven, legde in zijn presentatie niet uit waarom een “potentieel” gebruiksscenario als een “algemeen” gebruik werd bestempeld.
OpenAI-woordvoerder Liz Bourgeous zei dat OpenAI niet betrokken was bij het Microsoft-praatje en dat het geen tools aan het ministerie van Defensie had verkocht. “Het beleid van OpenAI verbiedt het gebruik van onze tools om wapens te ontwikkelen of te gebruiken, anderen te verwonden of eigendommen te vernietigen”, schreef ze. “We waren niet betrokken bij deze presentatie en hebben geen gesprekken gehad met Amerikaanse defensieagentschappen over de hypothetische gebruiksscenario’s die erin worden beschreven.”
Bourgeous voegde hieraan toe: “We hebben geen bewijs dat OpenAI-modellen in deze hoedanigheid zijn gebruikt. OpenAI heeft geen partnerschappen met defensieorganisaties om voor dergelijke doeleinden gebruik te maken van onze API of ChatGPT.”
Op het moment van de presentatie zou het beleid van OpenAI een militair gebruik van DALL-E schijnbaar hebben verboden. Microsoft vertelde The Intercept dat als het Pentagon DALL-E of een ander OpenAI-tool zou gebruiken via een contract met Microsoft, dit onderworpen zou zijn aan het gebruiksbeleid van laatstgenoemd bedrijf. Toch zou elk gebruik van OpenAI-technologie om het Pentagon te helpen effectiever te doden en te vernietigen een dramatische ommekeer betekenen voor het bedrijf, dat zijn missie omschrijft als het ontwikkelen van op veiligheid gerichte kunstmatige intelligentie waar de hele mensheid profijt van kan hebben.
“Het is niet mogelijk om een gevechtsbeheersysteem te bouwen op een manier die niet, althans indirect, bijdraagt aan schade onder de burgerbevolking.”
“Het is niet mogelijk om een gevechtsbeheersysteem te bouwen op een manier die niet, althans indirect, bijdraagt aan schade onder de burgerbevolking”, zegt Brianna Rosen, een gastonderzoeker aan de Blavatnik School of Government van Oxford University, die zich richt op technologie-ethiek.
Rosen, die tijdens de regering-Obama voor de Nationale Veiligheidsraad werkte, legde uit dat de technologieën van OpenAI net zo goed kunnen worden gebruikt om mensen te helpen als om hen schade toe te brengen, en dat het gebruik ervan door welke regering dan ook een politieke keuze is. “Tenzij bedrijven als OpenAI garanties van regeringen hebben geschreven dat ze de technologie niet zullen gebruiken om burgers schade toe te brengen – wat waarschijnlijk nog steeds niet juridisch bindend zou zijn – zie ik geen enkele manier waarop bedrijven met vertrouwen kunnen zeggen dat de technologie niet zal worden gebruikt. gebruikt (of misbruikt) op manieren die kinetische effecten hebben.”
Het presentatiedocument geeft geen verdere details over hoe slagveldbeheersystemen DALL-E precies zouden kunnen gebruiken. De verwijzing naar het trainen van deze systemen suggereert echter dat DALL-E misschien te gewend is voorzie het Pentagon van zogenaamde synthetische trainingsgegevens: kunstmatig gecreëerde scènes die sterk lijken op relevante, echte beelden. Militaire software die is ontworpen om vijandelijke doelen op de grond te detecteren, zou bijvoorbeeld een enorme hoeveelheid valse luchtbeelden van landingsbanen of tankcolonnes kunnen laten zien, gegenereerd door DALL-E, om dergelijke doelen in de echte wereld beter te kunnen herkennen.
Zelfs als we ethische bezwaren buiten beschouwing laten, is de effectiviteit van een dergelijke aanpak discutabel. “Het is bekend dat de nauwkeurigheid en het vermogen van een model om gegevens nauwkeurig te verwerken verslechtert elke keer dat het verder wordt getraind op door AI gegenereerde inhoud”, zegt Heidy Khlaaf, een machine learning-veiligheidsingenieur die eerder een contract had gesloten met OpenAI. “Dall-E-beelden zijn verre van accuraat en genereren geen beelden die zelfs maar in de buurt komen van onze fysieke realiteit, zelfs als ze zouden worden verfijnd op basis van de input van het Battlefield-managementsysteem. Deze generatieve beeldmodellen kunnen niet eens nauwkeurig een correct aantal ledematen of vingers genereren. Hoe kunnen we erop vertrouwen dat ze accuraat zijn met betrekking tot een realistische aanwezigheid in het veld?”
In een interview vorige maand met het Center for Strategic and International Studies stelde kapitein M. Xavier Lugo van de Amerikaanse marine een militaire toepassing van synthetische data voor, precies zoals het soort dat DALL-E kan produceren, wat erop wijst dat vervalste beelden kunnen worden gebruikt om train drones om de wereld onder hen beter te zien en te herkennen.
Lugo, missiecommandant van de generatieve AI-taskforce van het Pentagon en lid van het Chief Digital and Artificial Intelligence Office van het ministerie van Defensie, wordt vermeld als contactpersoon aan het einde van het Microsoft-presentatiedocument. De presentatie werd gemaakt door Microsoft-medewerker Nehemiah Kuhns, een ‘technologiespecialist’ die werkt bij de Space Force en Air Force.
De luchtmacht bouwt momenteel aan het Advanced Battle Management System, het onderdeel van een breder Pentagon-project dat meerdere miljarden dollars kost, het Joint All-Domain Command and Control genaamd, dat tot doel heeft het hele Amerikaanse leger in netwerken te brengen voor uitgebreide communicatie tussen vestigingen, op basis van AI. data-analyse en uiteindelijk een verbeterd vermogen om te doden. Via JADC2, zoals het project bekend staat, voorziet het Pentagon een nabije toekomst waarin dronecamera’s van de luchtmacht, oorlogsschipradar van de marine, legertanks en mariniers op de grond allemaal naadloos gegevens over de vijand uitwisselen om deze beter te kunnen vernietigen.
Op 3 april maakte het Amerikaanse Centrale Commando bekend dat het al elementen van JADC2 in het Midden-Oosten was gaan gebruiken.
Het ministerie van Defensie heeft geen specifieke vragen over de Microsoft-presentatie beantwoord, maar woordvoerder Tim Gorman vertelde The Intercept dat “de [Chief Digital and Artificial Intelligence Office’s] missie is om de adoptie van data, analyses en AI binnen het DoD te versnellen. Als onderdeel van die missie leiden we activiteiten om de beroepsbevolking voor te lichten over data- en AI-geletterdheid, en hoe bestaande en opkomende commerciële technologieën kunnen worden toegepast op missiegebieden van het DoD.”
Terwijl Microsoft dat wel heeft Hoewel OpenAI lange tijd miljarden uit defensiecontracten had geoogst, erkende OpenAI pas onlangs dat het zou gaan samenwerken met het ministerie van Defensie. In reactie op het januarirapport van The Intercept over het militair-industriële gezicht van OpenAI, zei de woordvoerder van het bedrijf, Niko Felix, dat zelfs onder de losse taal: “Ons beleid staat niet toe dat onze instrumenten worden gebruikt om mensen kwaad te doen, wapens te ontwikkelen, voor communicatiebewaking, of om anderen te verwonden of eigendommen te vernietigen.”
‘Het punt is dat je bijdraagt aan de voorbereiding op oorlogsgevechten.’
Of het gebruik van OpenAI-software door het Pentagon al dan niet schade met zich meebrengt, kan afhangen van een letterlijke kijk op hoe deze technologieën werken, vergelijkbaar met argumenten dat het bedrijf dat helpt bij het bouwen van het wapen of het trainen van de schutter niet verantwoordelijk is voor waar het op gericht is of voor het overhalen van de trekker. . “Ze kunnen een naald inrijgen tussen het gebruik van [generative AI] om synthetische trainingsgegevens te creëren en het gebruik ervan in daadwerkelijke oorlogsgevechten”, zegt Lucy Suchman, emerita-professor in de antropologie van wetenschap en technologie aan de Lancaster University. ‘Maar dat zou naar mijn mening een vals onderscheid zijn, omdat het punt is dat je bijdraagt aan de voorbereiding op oorlogsgevechten.’
In tegenstelling tot OpenAI heeft Microsoft in zijn ‘responsible AI’-document weinig pretenties om schade te vermijden en promoot het openlijk het gebruik van zijn machine learning-tools in de ‘kill chain’ van het leger.
Na de ommekeer in het beleid benadrukte OpenAI ook snel tegenover het publiek en de zakenpers dat de samenwerking met het leger een defensief, vreedzaam karakter had. In een interview in januari in Davos, in reactie op de berichtgeving van The Intercept, verzekerde OpenAI vice-president van mondiale zaken Anna Makanju de panelleden dat het militaire werk van het bedrijf gericht was op toepassingen zoals cybersecurity-initiatieven en zelfmoordpreventie door veteranen, en dat de baanbrekende machine learning-tools van het bedrijf nog steeds beschikbaar waren. verboden schade of vernietiging te veroorzaken.
Bijdragen aan de ontwikkeling van een gevechtsbeheersysteem zou het militaire werk van OpenAI echter veel dichter bij de oorlogvoering zelf brengen. Hoewel de bewering van OpenAI om directe schade te vermijden technisch gezien waar zou kunnen zijn als de software wapensystemen niet rechtstreeks aanstuurt, zei Khlaaf, de veiligheidsingenieur voor machinaal leren, dat het “gebruik ervan in andere systemen, zoals de planning van militaire operaties of beoordelingen van slagvelden” uiteindelijk gevolgen zou hebben “waar wapens worden ingezet of missies worden uitgevoerd.”
Het is inderdaad moeilijk om je een strijd voor te stellen waarvan het voornaamste doel niet het veroorzaken van lichamelijk letsel en materiële schade is. In een persbericht van de luchtmacht uit maart wordt bijvoorbeeld beschreven dat een recente oefening in het gevechtsmanagementsysteem ‘dodelijkheid met de snelheid van data’ oplevert.
Ander materiaal uit de reeks seminars over AI-geletterdheid maakt duidelijk dat het uiteindelijk om ‘schade’ gaat. Een dia van een welkomstpresentatie gegeven de dag vóór Microsoft stelt de vraag: “Waarom zouden we ons zorgen maken?” Het antwoord: “We moeten slechteriken doden.” Met een knipoog naar het “geletterdheid”-aspect van het seminar voegt de dia eraan toe: “We moeten weten waar we het over hebben… en dat weten we nog niet.”
Bron: theintercept.com
