KI-Inspektionssysteme: 3 kostspielige Wege, wie Angreifer das korrumpieren, was Sie ausliefern

Fertigungsunternehmen haben KI-Inspektionssystemen und verwandten Systemen stillschweigend die Entscheidungsgewalt über physische Vorgänge übertragen. Kaum jemand prüft, ob sich diese Systeme manipulieren lassen, und der Angriff, auf den es ankommt, wird überhaupt nicht wie ein Angriff aussehen.

Es gibt eine Frage, die ich mir angewöhnt habe zu stellen, wenn ich durch eine Fertigungshalle gehe, und ich habe aufgehört, eine klare Antwort darauf zu erwarten.

Wer hat das Bildverarbeitungssystem getestet?

Nicht, ob es funktioniert. Das kann jeder beantworten, meist mit einer Zahl. Der Ausschuss ist gesunken, der First-Pass-Yield gestiegen, die Linie läuft schneller als mit menschlichen Prüfern. Ich meine, ob sich jemals jemand hingesetzt und gezielt versucht hat, das System zur falschen Antwort zu bringen.

Die Reaktion ist meist eine Pause, gefolgt von irgendeiner Variante von „das ist das System des Integrators". Was oft zutrifft und trotzdem nichts klärt.

Ich halte das nicht für Nachlässigkeit. Ich halte es für eine Lücke, die sich schneller aufgetan hat, als irgendein Prozess sich anpassen konnte, und es lohnt sich, genau zu benennen, worin diese Lücke eigentlich besteht.

Was sich in der Fertigung verändert hat

Lange Zeit trat KI in der Fertigung als Berater auf. Sie lieferte eine Prognose, eine Empfehlung, ein Dashboard. Irgendwo weiter unten in der Kette sah sich ein Mensch dieses Ergebnis an und entschied, was damit geschieht. Zwischen Modell und Konsequenz stand also ein Mensch. Wenn das Modell falsch lag, gab es eine Chance, das zu bemerken.

Viele Werke sind darüber längst hinaus, und ich würde behaupten, das Sicherheitsdenken hat diesen Sprung nicht mitgemacht. Automatisierte optische Inspektion nimmt heute Teile an oder weist sie zurück, ohne dass ein Mensch die Entscheidung überprüft. Predictive-Maintenance-Modelle bestimmen, welche Anlagen vom Netz gehen und welche weiterlaufen. Die Bahnplanung von Robotern passt sich in Echtzeit an Sensordaten an. Prozessleitsysteme justieren Parameter kontinuierlich nach.

Das sind keine beratenden Systeme. Das sind Entscheidungssysteme, und die Entscheidungen wirken in der physischen Welt.

Aufschlussreich finde ich, wie sie dorthin gekommen sind. Die wenigsten kamen über ein Security-Review ins Haus. Sie kamen über die Produktion oder die Qualitätssicherung, oder gebündelt im Integrationspaket eines Maschinenbauers, und sie wurden bewertet wie jede andere Anschaffung von Anlagen. Erfüllt es die Genauigkeitsspezifikation. Wie ist die Taktzeit. Was sind die Gesamtkosten. Alles vernünftige Fragen, und keine davon ist die Frage, was passiert, wenn jemand gezielt daran arbeitet, das System zu manipulieren.

Das Ergebnis ist eine Klasse von Systemen, die in den meisten modernen Werken steht, folgenreiche Entscheidungen ohne Aufsicht trifft, über das Netzwerk erreichbar ist und noch nie von jemandem untersucht wurde, der sie mit den Augen eines Angreifers betrachtet.

Das Versagensszenario, auf das niemand achtet

Die meisten Diskussionen über Sicherheit in der Fertigung drehen sich um Verfügbarkeit. Ransomware, Stillstand, Kosten pro Stunde stehender Produktion. Ich verstehe das. Es ist quantifizierbar, Führungskräfte erfassen es in einem Satz, und es hat genügend namhafte Unternehmen getroffen, dass es konkret wirkt statt theoretisch.

Das Besondere an einem Angriff auf die Verfügbarkeit ist allerdings, dass er sich selbst meldet. Die Linie steht, Bildschirme sind gesperrt, und binnen weniger Minuten hängt jemand am Telefon. Es ist ein schlechter Tag, aber Sie wissen, dass Sie ihn gerade haben.

Das Szenario, das mich nicht loslässt, ist das, in dem scheinbar nichts kaputtgeht. Angenommen, jemand kann verschieben, was Ihr Inspektionsmodell als akzeptabel einstuft. Die Produktion läuft normal weiter. Die Kennzahlen sehen gesund aus, denn die Zahl auf dem Dashboard ist die Zahl, die das Modell erzeugt, und aus Sicht des Modells ist alles in Ordnung. Fehlerhafte Teile wandern in Baugruppen, Baugruppen werden ausgeliefert, und der Mechanismus, der das Problem irgendwann sichtbar machen würde, läuft auf Gewährleistungszeitskalen statt auf Sicherheitszeitskalen.

Ich habe das als Sicherheitsvorfall in Zeitlupe beschrieben gesehen, und ich finde, das trifft es nicht ganz. Die falschen Entscheidungen sind überhaupt nicht langsam. Sie fallen in Maschinengeschwindigkeit, tausendfach, exakt wie vorgesehen. Langsam ist die Entdeckung. Und wenn die Entdeckung schließlich kommt, managen Sie keinen Sicherheitsvorfall. Sie managen einen Rückruf und rekonstruieren ein Jahr oder mehr an Produktionsaufzeichnungen, um herauszufinden, wie weit sich das Problem ausgebreitet hat.

Diese Asymmetrie ist der Grund, warum Integrität in dieser Branche aus meiner Sicht mehr Aufmerksamkeit verdient, als sie bekommt. Von Stillstand erfahren Sie sofort, und Sie erholen sich davon nach Ihrem eigenen Zeitplan. Von korrumpierten Entscheidungen erfahren Sie dann, wenn Ihre Kunden es Ihnen zufällig mitteilen.

Drei Wege, wie KI-Inspektionssysteme manipuliert werden

Es gibt eine Version dieses Artikels, die zu einer Taxonomie von Angreifern und Techniken wird, und ich glaube nicht, dass diese Version irgendjemandem hilft, am Montag tatsächlich etwas anders zu machen. Hier sind deshalb die drei Bereiche, die ich mir zuerst ansehen würde, in einfachen Worten.

Die Retraining-Schleife ist ein Eingang. Viele produktive Bildverarbeitungsmodelle werden mit Produktionsdaten nachtrainiert, und damit ist die Pipeline, die dieses Nachtraining speist, selbst eine Angriffsfläche. Wer Zugriff auf den Labeling-Prozess hat, auf den Bildspeicher oder auf den Feedback-Mechanismus, der eine Entscheidung als richtig oder falsch markiert, hat einen Weg, die Grenze zu verschieben, die das Modell zieht. Die realistische Variante davon ist keine einzelne dramatische Änderung, denn die würde schnell auffallen. Sie ist inkrementell. Das Modell wirkt nie defekt. Es lernt nur etwas leicht Falsches und setzt das dann konsequent um, in hoher Geschwindigkeit, ohne Widerspruch.

Physische Eingaben lassen sich so gestalten, dass sie das Modell täuschen. Es gibt eine umfangreiche Forschungsliteratur, die zeigt, dass Bildverarbeitungsmodelle durch Veränderungen ausgehebelt werden können, die ein menschlicher Prüfer nicht bewusst wahrnehmen würde, auch in der physischen Welt: Oberflächenmarkierungen, Beschichtungen, Lichtverhältnisse. Als akademisches Ergebnis gelesen ist das interessant. Übertragen auf eine Linie, auf der das Modell die letzte Instanz über Gut und Schlecht ist, wird daraus eine praktikable Methode, nicht konformes Produkt durchzuschleusen, und ich glaube nicht, dass diese Übertragung bisher breit genug stattgefunden hat.

Niemand kann Ihnen sagen, woher das Modell stammt. Das ist der am wenigsten exotische der drei Punkte und nach meiner Erfahrung der mit Abstand häufigste. Die meisten eingesetzten Modelle wurden nicht im eigenen Haus entwickelt. Sie kamen von einem Maschinenbauer oder einem Systemintegrator, häufig aufgebaut auf vortrainierten Komponenten aus öffentlichen Repositories. Wenn ich frage, mit welchen Daten ein Modell trainiert wurde, wer es seit der Inbetriebnahme verändert hat oder ob die aktuell laufende Version die validierte Version ist, ernte ich meist ein ehrliches Schulterzucken. Das ist Lieferkettenrisiko in ziemlich reiner Form. Strukturell ist es dasselbe Problem wie unsignierte Firmware, und unsignierte Firmware würde diese Branche niemals dulden.

Warum das ein Qualitätsproblem ist

Der Rahmen, den ich einem Führungsteam im Werk anbieten würde, lautet: Das gehört mindestens so sehr zur Qualität wie zur IT. Ich gebe zu, dass ich noch daran feile, wie sich dieser Punkt am besten vertreten lässt, aber der Kern ist einfach.

Die Fertigung beherrscht diese Disziplin bereits, und offen gesagt besser als die meisten Branchen, mit denen ich arbeite. Niemand nimmt ein Messmittel ohne Kalibrierung in Betrieb. Niemand akzeptiert das Materialzeugnis eines Lieferanten ohne Wareneingangsprüfung. Niemand ändert einen validierten Prozess ohne Dokumentation und Requalifizierung. Diese Strenge existiert, weil jeder versteht, was aus einem kleinen, unentdeckten Fehler am Anfang der Kette wird, sobald er Zeit hatte, sich fortzupflanzen.

Dann wird ein Modell installiert, das bestimmt, was ausgeliefert wird, und praktisch nichts von diesem Apparat greift dafür. Es wurde nicht gegen adversariale Bedingungen kalibriert. Seine Eingaben werden nicht auf Manipulation geprüft. Sein Verhalten über die Zeit wird nicht auf Drift überwacht, die womöglich kein Zufall ist.

Ich lese das als Einordnungsfehler, nicht als mangelnde Sorgfalt. Diese Systeme wurden gedanklich als Produktionsanlagen abgelegt, nicht als etwas, das einen Gegner hat, und deshalb wurde die Qualitätsmaschinerie, die das aufgefangen hätte, nie auf sie gerichtet.

Es gibt auch einen praktischen Grund für diesen Rahmen. Die Menschen, die für die Fehlerquoten verantwortlich sind, haben bereits die Instinkte, die Budgethoheit und das Standing im Unternehmen, um hier zu handeln. Einem Qualitätsleiter zu sagen, dass etwas, das seinen Kennzahlen vorgelagert ist, ungeprüft ist, bewegt in der Regel mehr, als ihm von Bedrohungsakteuren zu erzählen.

Ein praktischer Einstieg

Wenn irgendetwas davon einen Nerv trifft: Der erste Schritt ist nicht der Kauf eines Tools. Der erste Schritt ist eine Liste.

Schreiben Sie jedes System im Werk auf, das autonom Entscheidungen trifft, die Produkt, Prozess oder Sicherheit betreffen. Die meisten Organisationen können diese Liste nicht aus dem Gedächtnis erstellen, und schon das Zusammentragen wirkt für sich genommen klärend, weil dabei Dinge auftauchen, die niemand mehr als Entscheider auf dem Schirm hatte.

Klären Sie für jeden Eintrag Herkunft und Änderungskontrolle. Woher stammt das System, was steckt darunter, wer kann es verändern, und welcher Nachweis existiert, dass die heutige Version der Version entspricht, die bei der Inbetriebnahme validiert wurde.

Dann testen Sie diese Systeme adversarial, nicht nur auf Genauigkeit. Die Performance gegen ein Holdout-Set sagt Ihnen, wie sich ein Modell unter normalen Bedingungen verhält. Sie sagt sehr wenig darüber, wie es sich verhält, wenn jemand aktiv daran arbeitet, es zu überwinden, und das sind unterschiedliche Fragen mit unterschiedlichen Antworten.

Und schließlich: Instrumentieren Sie die Verteilung der Entscheidungen, nicht nur die Verfügbarkeit. Ein Modell, dessen Annahmequote sich leise verschiebt, teilt etwas mit. In den meisten Werken empfängt dieses Signal niemand, weil der Kanal nie gebaut wurde.

Die Kurzfassung

Der Angriff auf die Fertigung, der mir Sorgen macht, ist nicht der, der Ihre Linie stoppt. Es ist der, bei dem die Linie weiterläuft und dabei etwas produziert, das Sie wissentlich nie ausgeliefert hätten.

Sie werden ihn nicht im SIEM finden. Sie werden ihn achtzehn Monate später in den Gewährleistungsdaten finden, falls Sie ihn überhaupt finden.

Der Indikator, der es Ihnen früher hätte verraten können, ist eine Zahl, die Ihr Qualitätsteam schon heute jede Woche herumreicht. Sie wird nur noch nicht als Sicherheitszahl gelesen, und ich würde sagen: Das sollte sie.

Häufig gestellte Fragen

Können KI-Inspektionssysteme wirklich manipuliert werden?

Ja. Zu den dokumentierten Wegen gehören das Vergiften der Retraining-Daten, sodass das Modell seine Annahmegrenze langsam verschiebt, das Gestalten physischer Eingaben, die das Modell täuschen und einem menschlichen Blick standhalten, sowie das Manipulieren ungeprüfter Modelle von Drittanbietern, bevor sie Ihre Linie erreichen. Die übergeordnete Testdisziplin behandeln wir in unserem Leitfaden zum AI Penetration Testing.

Was ist der Unterschied zwischen Genauigkeitstests und adversarialen Tests?

Genauigkeitstests messen, wie ein Modell unter normalen Bedingungen gegen ein Holdout-Set abschneidet. Adversariale Tests messen, wie es sich verhält, wenn jemand gezielt daran arbeitet, es zu überwinden: manipulierte Eingaben, vergiftete Daten oder ein ausgetauschtes Modell. Ein System kann beim ersten Test gut abschneiden und beim zweiten kläglich versagen, und nur der zweite ähnelt einem Angriff.

Woher weiß ich, ob die KI-Systeme in meinem Werk gefährdet sind?

Beginnen Sie mit einer Bestandsaufnahme jedes Systems, das autonom Entscheidungen trifft, die Produkt, Prozess oder Sicherheit betreffen. Stellen Sie zu jedem drei Fragen: Kann jemand nachweisen, woher das Modell stammt, wer kann es verändern, und würde jemand bemerken, wenn sich sein Entscheidungsmuster verschiebt. Lautet eine Antwort Nein, ist dieses System ungetestete Angriffsfläche.

SubRosa führt adversariale Tests gegen KI- und Machine-Learning-Systeme durch, einschließlich der Bild- und Entscheidungssysteme, die in Produktionsumgebungen laufen. Wenn Sie gerade durchdenken, wie das in Ihrem eigenen Werk aussieht, sprechen wir das gern mit Ihnen durch.