Über Algorithmenethik und gefährliche Getränkeautomaten – Zum Bericht der Datenethikkommission der Bundesregierung

/von

 

Künstliche Intelligenz als Basistechnologie

Die fast universelle Anwendbarkeit von KI-Algorithmen – Erik Brynjolfsson und Andrew McAffee vom MIT sprechen von der wichtigsten „general purpose technology“ unseres Zeitalters – macht die Nutzung von Künstlicher Intelligenz (KI) interessant für Unternehmen aller Größen und unterschiedlicher Branchen. Aber auch bei der Lösung wichtiger gesellschaftlicher Herausforderungen kann die KI-Nutzung helfen. KI kann die Diagnose und Therapie von Krankheiten unterstützen, Sprache erkennen oder Cyberangriffe verhindern. Allerdings weisen Algorithmen auch Grenzen auf. Häufig liefern sie nicht transparente Ergebnisse, das heißt, es ist möglicherweise nicht nachvollziehbar, warum eine KI eine bestimmte Entscheidung trifft oder vorschlägt. Darüber hinaus kann die Nutzung von KI-Algorithmen zu Verzerrungen (engl. Bias) führen. Ein bekanntes Beispiel hierfür ist der von Amazon praktizierte und gescheiterte Versuch, eine Software auf KI-Basis zu entwickeln, die aus allen eingegangenen Bewerbungen für eine offene Stelle automatisiert die geeignetsten fünf Bewerber herausfiltert. Da Amazon trotz mehrjähriger Entwicklungszeit nicht sicherstellen konnte, dass die Software die Bewerber – zum Beispiel aufgrund ihres Geschlechts – nicht diskriminiert, wurde das Projekt eingestellt. Diese Verzerrungen dürfen aber natürlich nicht so interpretiert werden, dass KI-Algorithmen bewusst diskriminieren. Diskriminierungen stecken in aller Regel in den Trainingsdaten: Wenn also beispielsweise ein Algorithmus zum Maschinellen Lernen mit Daten lauter erfolgreicher Männer „gefüttert“ wird, kann dies zu dem Fehler führen, dass der Algorithmus Frauen benachteiligt. In der Regel diskriminieren die Daten, nicht die Algorithmen.

 

Der Bericht der Datenethikkommission

Vor dem Hintergrund dieser und ähnlicher Grenzen der Anwendung von KI-Algorithmen nahm die im Juli 2018 von der Bundesregierung eingesetzte Datenethikkommission ihre Arbeit auf. Die 16 Mitgliederinnen und Mitglieder kommen aus den Bereichen Informatik, Ethik, Theologie, Recht und Verbraucherschutz. Ende Oktober 2019 legten sie ihren etwa 250 Seiten langen Abschlussbericht vor. In diesem skizzieren sie einen umfassenden Regulierungsrahmen für den Umgang mit Daten und algorithmischen Systemen. Der Bericht zielt wie die DSGVO darauf, den „schwachen“ Menschen vor allen möglichen Gefahren zu schützen.

Der Begriff der KI wird in diesem Bericht als eine Teilmenge algorithmischer Systeme verstanden. Die Kommission hat also nicht nur KI-Algorithmen, sondern jeglichen Softwarecode betrachtet.

Die Kommission entwickelt in ihrem Bericht Handlungsempfehlungen für eine personenbezogene Datennutzung. Handlungsbedarf sehen die Experten beispielsweise bei Ansätzen einer Totalüberwachung, bei einer die Privatsphäre der Menschen verletzenden Profilbildung und einer dem Demokratieprinzip zuwiderlaufenden Beeinflussung politischer Wahlen. Auch für den Verbraucherschutz und gegen viele Formen des Handels mit personenbezogenen Daten sollten Maßnahmen ergriffen werden, heißt es in dem Bericht. Die Empfehlungen entsprechen in großen Teilen der DSGVO. Bemängelt werden in diesem Zusammenhang insbesondere Defizite in der Anwendung geltenden Rechts.

Dagegen haben es die Empfehlungen der Kommission in Bezug auf die Nutzung algorithmischer Systeme in sich. Kernpunkt ist eine Bewertung der Risiken von Algorithmen bzw. algorithmischen Systemen. Diese Risiken werden in fünf Kritikalitätsstufen unterschieden (Stufe 1=Anwendungen ohne oder mit geringem Schädigungspotenzial bis Stufe 5=Anwendungen mit unvertretbarem Schädigungspotenzial).  Bereits ab Stufe 2 (Anwendungen mit einem gewissen Schädigungspotenzial) müssen nach Meinung der Mitglieder der Kommission Unternehmen eine „angemessene Risikofolgenabschätzung“ erstellen und veröffentlichen. Zudem werden ebenfalls ab dieser Stufe Offenlegungspflichten gegenüber Aufsichtsinstitutionen, Ex-ante-Kontrollen sowie Auditverfahren vorgeschlagen. Algorithmen mit „unvertretbarem Schädigungspotenzial“ sollen nach Vorstellung der Kommission verboten werden können.

Darüber hinaus schlagen die Experten eine Pflicht für Unternehmen zur Benennung eines Algorithmus-Beauftragten vor – in Analogie zur Position der Datenschutzbeauftragten. Weiterhin empfiehlt die Kommission ein Gütesiegel, um eine Orientierung in Bezug auf die Bewertung vertrauenswürdiger algorithmischer Systeme zu geben. Dieses Siegel könne ein Anreiz für Unternehmen sein, vertrauenswürdige Systeme zu entwickeln und zu verwenden.

Auf dieser Basis beginnt der Wunsch der Experten nach mehr Regulierung. Als oberste Kontrollinstanz soll die Bundesregierung nach Ansicht der Kommission ein bundesweites „Kompetenzzentrum Algorithmische Systeme“ einrichten, das bestehende Aufsichtsbehörden durch „technischen und regulatorischen Sachverstand“ dabei unterstützen soll, algorithmische Systeme im Hinblick auf die Einhaltung von Recht und Gesetz zu kontrollieren. Zur Umsetzung der vorgeschlagenen Maßnahmen empfiehlt das Expertengremium darüber hinaus eine Regulierung auf EU-Ebene. Diese Regulierung soll zentrale Grundprinzipien enthalten, die an den von der Datenethikkommission benannten Anforderungen angelehnt sein könnten. Was auf der Ebene der EU geregelt wird, soll schließlich in den einzelnen Mitgliedsstaaten eine „Konkretisierung“ erfahren.

 

Software eats the World

Bei der Bewertung der Empfehlungen der Kommission muss uns klar sein, dass jede Software ein algorithmisches System ist. Marc Andreessen, Mitgründer von Netscape Communications und heute einer der einflussreichsten Risikokapitalgeber der Welt, formulierte bereits 2011 den berühmten Satz „Software eats the world“ und sprach davon, dass jedes Unternehmen zu einem Softwareanbieter wird. Da es künftig wenige Bereiche geben wird, die nicht Software-unterstützt funktionieren, ist unklar, wie eine Regulierung von Algorithmen und Daten mit vertretbarem Aufwand und angemessener Geschwindigkeit erfolgen kann, ohne dabei Innovationen zu verhindern.

Ein Beispiel dafür, wie die Kommission denkt, ist die im Bericht zu findende Einschätzung von Software, die in Getränkeautomaten zum Einsatz kommt. Wörtlich heißt es: „Die in einem Getränkeautomaten zum Einsatz gelangenden Algorithmen haben zwar auch ein gewisses Schädigungspotenzial, weil ein Nutzer z.B. keine Ware erhalten und sein Geld verlieren könnte. Dieses Schädigungspotenzial überschreitet aber nicht die Schwelle zu einem besonderen Schädigungspotenzial im Algorithmenkontext.“ Das ist keine Satire.

Gegen eine unbürokratische und nicht von systematischer Bedenkenträgerei geprägte Überwachung von KI-Algorithmen ist grundsätzlich nichts einzuwenden. Aber etwas mehr Pragmatismus wäre hier hilfreicher gewesen: Beispielsweise könnte man bei spezifischen Algorithmen bzw. Anwendungsgebieten ansetzen, etwa im Bereich der  Gesichtserkennung. Die Nutzung solcher algorithmischer Systeme enthält in vielen Fällen ein großes Risiko für die Privatsphäre der Menschen, siehe nicht zuletzt das Social Credit System in China. Ein anderes Beispiel sind KI-Algorithmen, die zur Kriegsführung eingesetzt werden können. Vor diesem Hintergrund haben kürzlich etwa 3.000 Google Mitarbeiterinnen und Mitarbeiter zu Recht ihrem Vorstandsvorsitzenden Sundar Pichai eine Mahnung geschickt, in der sie eindringlich vor der Entwicklung autonomer Waffensysteme warnen. Eine der zentralen Aufgaben besteht also darin, dass es gelingt, die Vorteile von KI zu heben, ohne die Risiken zu vernachlässigen. KI soll den Menschen und der Wirtschaft dienen.

Die sehr regulatorischen Vorschläge der Kommission bereiten insbesondere Sorgen, weil sie die ohnehin eher  langsame Entwicklung der Digitalisierung in Deutschland weiter bremsen könnten. Zur Erinnerung: Wir liegen beispielsweise im Digitalisierungsrankings des IMD World Digital Competitiveness Ranking 2019 weltweit nur auf dem 17. Platz. „Die Wettbewerbsfähigkeit großer Industrienationen wie Deutschland wird durch lange Entscheidungsprozesse, veraltete IT-Strukturen, eine verbreitete Skepsis gegenüber Technologie und im internationalen Vergleich unzureichende Investitionen in Zukunftstechnologien beeinträchtigt“, heißt es warnend in einem aktuellen Strategiepapier des Auswärtigen Amtes. Wenn nun fast jedes algorithmische System erst in Bezug auf sein Schadenpotenzial analysiert und auditiert werden soll, wird dies zu einer weiteren Verlangsamung der digitalen Transformation bei uns führen und die Gefahr vergrößern, dass wir im digitalen Innovationswettbewerb mit Ländern wie USA, China oder Israel  weiter zurückfallen. Auch für den weltweiten Standortwettbewerb gilt schließlich die Aussage des kanadischen Premierministers Justin Trudeau beim World Economic Forum 2018 in Davos: „The pace of change has never been this fast, yet it will never be this slow again“.

Künstliche Intelligenz und Maschinelles Lernen – Anwendungen, Grenzen, Science-Fiction

/von

Potenziale der Künstlichen Intelligenz und des maschinellen Lernens

Häufig werde ich von Führungskräften, Politikern, Wissenschaftlern oder Studenten  gefragt, ob mir die Entwicklungen im Bereich der Künstlichen Intelligenz (KI) keine Sorgen bereiten würden. Hintergrund der Fragen ist natürlich in den meisten Fällen die Befürchtung, dass Maschinen zu mächtig werden könnten, wie es ja auch schon seit langer Zeit von Science-Fiction-Autoren vorgedacht wurde. Klassiker sind der Supercomputer HAL9000 aus „2001: Odysee im Weltraum“ sowie Filme wie Terminator oder Blade Runner. Die Debatte über die Macht von Algorithmen wird – nach den vielen Erfolgen der KI – auch unter dem Schlagwort „Singularity“ geführt. In die Öffentlichkeit getragen wurde die Diskussion dieses Jahr auch durch Statements des Physik-Genies Stephen Hawking oder die öffentlichkeitswirksame Kontroverse zwischen Marc Zuckerberg und Elon Musk, den Chefs von Facebook und Tesla. Dabei führte Marc Zuckerberg Beispiele an, in denen er zeigte, wie KI den Menschen bei bestimmten Problemstellungen unterstützen kann, etwa im Bereich der Gesundheit. Elon Musk, der sogar einen eigenen Think Tank zu dem Thema KI gegründet hat, argumentierte demgegenüber eher brachial. So wurde er zitiert mit Statements wie „Artificial Intelligence will kill us all“ oder er verglich die Gefahren der KI mit denen des Atomwaffenarsenals Nordkoreas. Ich stehe in diesem Punkt eher auf der Seite von Marc Zuckerberg. Warum?

Betrachten wir zunächst die Fortschritte der KI-Forschung, insbesondere im Bereich des Maschinellen Lernens. Die Entwicklungen sind in der Tat zum Teil atemberaubend. Noch im Jahr 2015 hatten KI-Experten im Rahmen einer Befragung der Oxford University prognostiziert, dass erst im Jahr 2027 Algorithmen die besten Go-Spieler der Welt besiegen könnten (das asiatische Brettspiel Go ist viel komplexer als etwa Schach). Aber bereits 2016 war es soweit. Ebenfalls große Fortschritte konnten in Anwendungsbereichen wie Spracherkennung, Medizin oder autonomes Fahren gemacht werden.

Trotz dieser zum Teil unerwarteten Erfolge brauchen wir uns m.E. keine Sorgen zu machen, dass Maschinen zukünftig uns Menschen dominieren, gegen unseren Willen Entscheidungen treffen oder gar die Weltherrschaft übernehmen werden. Denn trotz dieser enormen Fortschritte ist die Anwendbarkeit von Algorithmen heute auf abgegrenzte und strukturierte Problemstellungen begrenzt. Es handelt sich also salopp formuliert um Fachidioten. Sie können die Ausfallwahrscheinlichkeit von Maschinen vorhersagen, Schach spielen, Sprache erkennen etc. Aber kein Programm, das beispielsweise Go oder Schach spielen kann, kann auf die Idee kommen, sein  Anwendungsgebiet zu erweitern und nach Macht oder ähnlichem zu streben.

Grenzen der Algorithmen zum maschinellen Lernen

Natürlich hat die Anwendung von KI-Algorithmen aber auch Grenzen und es handelt sich nicht um „Wundertüten“. Insbesondere müssen wir uns über zwei Limitationen im Klaren sein: Zum einen kommen sie in vielen Szenarien zwar rein statistisch gesehen zu sehr guten Ergebnissen bzw. Entscheidungen. Das bedeutet aber nicht, dass sie keine Fehlentscheidungen treffen. Schauen wir uns dazu das folgende Bild an.

Diese Katze wurde von einer Google-KI-Lösung nicht als solche erkannt, sondern als Guacamole. Ein anderes Beispiel ist eine auf dem Rücken liegende Schildkröte, die der Algorithmus für ein Gewehr gehalten hat. Im Falle des Katzen-Guacamole-Beispiels wurde der Algorithmus einfach ausgetrickst. Kennt man die Parameter des Algorithmus, kann das neuronale Netz durch ein paar wenige hinzugefügte Striche oder Punkte einfach überlistet werden. Das ist im obigen Beispiel witzig, in anderen Anwendungsszenarien könnten Kriminelle oder Hacker diese potenzielle Schwäche mit dramatischen Folgen ausnutzen, wenn wir etwa an ein Beispiel wie autonomes Fahren denken.

Zum anderen – und damit kommen wir zu dem zweiten Punkt der Limitationen – arbeiten ML-Ansätze häufig wie eine Black Box, d.h., sie geben keine Auskunft darüber, warum sie zu einem bestimmten Ergebnis gekommen sind. Wenn man aber nicht weiß, warum ein Algorithmus ein bestimmtes Ergebnis produziert, würde ich solche Ansätze in bestimmten Anwendungsbereichen nicht verwenden. Nehmen wir als Beispiel aus dem HR-Bereich die Bewertung von Bewerbungen. Stellen wir uns vor, der Algorithmus kommt bei seinem Auswahlprozess auf der Grundlage von Profilen der Bewerberinnen und Bewerbern zu dem Ergebnis, dass bestimmte Mitarbeiter für eine Stelle geeignet sind oder eben nicht – und wir wissen nicht warum. Die ist zum einen problematisch, weil wir den Bewerbern unsere Auswahlentscheidungen natürlich erklären müssen und wollen. Zum anderen können mit dieser fehlenden Entscheidungstransparenz auch ethische Probleme einhergehen, wie in diesem Fall: So wissen wir nicht, ob der Algorithmus beispielsweise Parameter, wie Geschlecht, Hautfarbe oder Religion, in seine Entscheidung einbezogen hat. Wir wissen das deswegen nicht, weil sich künstliche neuronale Netze ein Stückweit wie eine Black Box verhalten. Die Entscheidung erfolgt letztlich auf Basis der errechneten Gewichte der Kanten zwischen den Neuronen (Knoten) des Netzwerks, die wir nur sehr schwer interpretieren können.

Zeitalter des  maschinellen Lernens

Grundsätzlich gilt aber, dass Ansätze des Maschinellen Lernens für viele (strukturierte) Problemstellungen in Unternehmen gut geeignet sind. So bieten diese Algorithmen eine Vielzahl von Chancen, Effizienzgewinne zu realisieren oder sie können auch die Grundlage für die Gestaltung digitaler Geschäftsmodelle bilden. Entscheider müssen sich nur ein fundiertes Bild davon machen, für welche Aufgaben KI-Algorithmen geeignet sind und für welche nicht. Die  Rahmenbedingungen sind auf jeden Fall prädestiniert für das Zeitalter des Maschinellen Lernens. So sind Daten als Grundlage des Maschinellen Lernens in einem noch nie bekannten Maße verfügbar. Ebenso kann Rechenpower aus der Cloud so kostengünstig wie noch nie bezogen werden. Hinzu kommen viele Open-Source-Werkzeuge, die es KI-Experten und Softwareentwicklern immer einfacher machen, Anwendungen zu erstellen. Die Zeit ist also reif, sich intensiv mit dem Thema KI zu beschäftigen. Erik Brynjolfsson und Andrew McAfee vom MIT sprechen von „the most important general-purpose technology of our era.“ Die zweite Welle der Digitalisierung ist angekommen.