Das US-Unternehmen Anthropic hat die Verwendung seiner KI-Modelle für verdächtige Anfragen im Bereich Waffenentwicklung und biologische Forschung gestoppt. Zuvor hatte Anthropic vom US-Kongress Sicherheitsbestimmungen gefordert.
Das US-Unternehmen Anthropic hat nach eigenen Angaben die Verwendung seiner KI-Modelle für verdächtige Anfragen im Bereich Waffenentwicklung und biologische Forschung gestoppt. Es habe an den Chatbot Claude unter anderem Anfragen zu dem durch Mücken übertragbaren Chikungunya-Virus, zu einem "hochansteckenden" Vogelgrippe-Virusstamm und zu Giften gegeben, erklärte der Konzern am Donnerstag. Anthropic und sein Rivale OpenAI hatten zuvor angesichts drohender Gefahren durch KI vom US-Kongress verbindliche Sicherheitsbestimmungen gefordert.
Im Bereich der biologischen Forschung hätten Nutzer die von Anthropic eingebauten Zugangsbeschränkungen aus "nicht unterstützen Regionen" umgangen und hätten Anstrengungen unternommen, "den Zweck ihrer Forschung zu verschleiern", erklärte Anthropic in einem Bericht zur missbräuchlichen Verwendung seiner Technologie. Unter anderem sei der Chatbot Claude Opus 5 bei einer Anfrage aufgefordert worden, innerhalb von einer Stunde einen vollständigen Förderantrag im Bereich der Virusforschung zu erstellen.
Die entsprechenden Konten seien gesperrt worden, erklärte Anthropic. Die Ergebnisse der Untersuchung seien dann in Schutzmaßnahmen eingeflossen, "um solchen Aktivitäten künftig besser vorzubeugen, sie aufzuspüren und zu unterbinden".
Die Absicht der Nutzer bei ihren Anfragen sei nicht eindeutig gewesen, erklärte Anthropic. Es habe sich um Wissenschaftler im Bereich der Virusforschung gehandelt. "Wir behaupten nicht, dass sie schaden wollten, und sie oder ihre Labore zu identifizieren, könnte sie in Gefahr bringen", heißt es in dem Bericht.
Im Norden des Jemen identifizierte Anthropic aber nach eigenen Angaben "böswillige Akteure", die mithilfe von Claude versuchten, drei verschiedene Waffenarten zu entwickeln, darunter eine ballistische Rakete mit einer Reichweite von mehr als 2000 Kilometern.
Zudem stoppte Anthropic nach eigenen Angaben die Überwachung von Oppositionellen und Minderheiten in China, im Iran und in Westafrika mithilfe seines Chatbots Claude. Die Fälle seien zwischen Januar und Juli entdeckt und unterbunden worden.
Das Ausspionieren habe "dieselben Diaspora- und Dissidentengruppen zum Ziel gehabt, welche historisch von diesen Regimen ins Visier genommen wurden", erklärte Anthropic. Das umfasse Demokratie-Aktivisten in Hongkong, Gruppen von Tibetern und Falun-Gong-Mitgliedern in Asien sowie Minderheiten im Iran und im Ausland lebende iranische Regierungsgegner.
In einem Fall hätten iranische Akteure ein Werkzeug entwickelt, um Menschen über ihre Social-Media-Profile zu identifizieren, erklärte Anthropic. In einem anderen Fall habe ein Auftragnehmer der malischen Sicherheitsbehörden das KI-Modell Claude benutzt, um eine Überwachungssoftware zu entwickeln.
Anthropic ging nach eigenen Angaben auch gegen Versuche von Nutzern vor, Dating-Apps mit betrügerischen Absichten zu entwickeln. Das Unternehmen warf außerdem chinesischen Entwicklern vor, heimlich Claude zu nutzen, um Nutzeranfragen zu beantworten - und damit zugleich die eigenen Modelle mit Hilfe des Anthropic-Modells zu trainieren. So habe die chinesische KI-Firma Moonshot im Zeitraum von zehn Tagen mit 5380 falschen Nutzerkonten fast 300.000 Nutzerfragen über Anthropic geleitet.
Am Mittwoch hatten Anhropic und OpenAI den US-Kongress aufgefordert, rasch verbindliche Regelungen für KI-Anwendungen zu verabschieden. "Die Aussicht auf eine von KI beschleunigte KI‑Entwicklung erfordert mehr als freiwillige Selbstverpflichtungen", erklärte Chris Lehane von OpenAI, Leiter der Öffentlichkeitsarbeit des Entwicklers von ChatGPT. Beide Unternehmen gaben an, sie könnten die Entwicklung nicht im Alleingang bremsen, ohne von der Konkurrenz überholt zu werden.
Bereits Ende Juli hatten Vertreter von Anthropic, OpenAI und Google DeepMind einen Aufruf unterzeichnet, in dem sie Instrumente zum Bremsen der KI‑Entwicklung forderten.
Für Schlagzeilen sorgte im Zusammenhang mit der Debatte über KI-Sicherheit zuletzt der Rücktritt von Jacob Coxon. Er reichte wegen der Risiken in dieser Woche öffentlich seine Kündigung bei Anthropic ein. Zuvor hatte er auch bei OpenAI gearbeitet. "Keins der beiden Unternehmen handelt verantwortungsbewusst. Sie befinden sich im Wettrennen um eine sich selbst verbessernde Superintelligenz und setzen dabei unser Leben aufs Spiel", erklärte der 27-Jährige im Onlinedienst X. Er fügte hinzu: "Die Leute, die KI aufbauen, glauben ernsthaft, dass diese uns alle bis zum Ende dieses Jahrzehnts töten kann." Als Superintelligenz gilt der Punkt, an dem die Fähigkeiten von KI die des Menschen übersteigt. Der bei Anthropic für Sicherheit zuständige Evan Hubinger unterstützte Coxon und erklärte auf X, er persönlich schätze das Risiko, dass KI im nächsten Jahrzehnt "alle Menschen tötet", auf "über zehn Prozent".