Ein Finanzdienstleister, der Frauen mit demselben Einkommenshintergrund wie Männer schlechtere Konditionen für Kreditkarten anbietet; eine KI-Software, die für Straftäter aus ethnischen Minderheiten pessimistischere Sozialprognosen stellt.

Immer wieder sorgen Fälle für Aufsehen, in denen KI-Algorithmen diskriminierende, unfaire oder ethisch unvertretbare Entscheidungen treffen. Diese Fälle offenbaren eine grundlegende Problematik von Machine-Learning-Algorithmen. Sie werden mit Datensätzen trainiert, die von Menschen geschaffen wurden und transportieren damit auch ihre Vorurteile.

Die Trainingsdatensätze müssen deshalb streng geprüft und gegebenenfalls korrigiert werden. Aber auch die Algorithmen selbst gehören auf den Prüfstand. Technisch gesehen stellen die allermeisten von ihnen nämlich eine Black Box dar. Niemand weiß, wie sie ihre Entscheidungen treffen – selbst der Ersteller nicht. Umso wichtiger ist es daher, dass die Algorithmen unerlässlich durch einen Experten beobachtet und geprüft werden um gegenzusteuern. Zukünftig wird verstärkt so genannte Explainable AI zum Einsatz kommen – also eine KI, deren Algorithmen das Wissen menschlicher Fachexperten modellieren. Dadurch werden sie einstellbar, nachvollziehbar und überprüfbar.

Das alles gilt auch für die IT-Security. Angesichts wachsender Datenmengen, steigender Vernetzung und zunehmender Komplexität kommen auch IT-Sicherheitssysteme nicht mehr ohne Machine Learning aus. Ihre KI-Algorithmen legen etwa fest, als wie riskant ein Mitarbeiter per se eingestuft wird und welche Zugriffsrechte er in der Folge erhält: oder, als wie riskant sein tatsächliches Verhalten zu beurteilen ist.

Kritische Entscheidungen in der IT-Sicherheit sollten der Künstlichen Intelligenz aber komplett entzogen bleiben. So sollte sie etwa niemals automatisch einen Disziplinarbericht anstoßen. Und um das Recht jedes Einzelnen auf Datenschutz zu respektieren, sollte sie auch nie selbstständig die Identität eines Mitarbeiters offenbaren, dessen Verhalten von ihr als riskant eingeschätzt wird. KI darf in der IT-Security keine Entscheidungen über Menschen treffen. Sie sollte es stattdessen den verantwortlichen Personen erleichtern, solche Entscheidungen zu treffen.

Mit dem Problem von voreingenommenen KI-Algorithmen in der IT-Security beschäftigt sich auch ein Blogbeitrag von Raffael Marty, Vice President Research and Intelligence bei Forcepoint.

About the Author