Auf der diesjährigen FrOSCon hielt Lorena Jaume-Palasí von Algorithm Watch eloquent einen Vortrag mit dem Titel “Blessed by the algorithm – Computer says NO!” Dieser Vortrag beschäftigte sich nicht mit der Frage, ob Computer segnen können (so mag der geneigte LUKi aus dem kirchlichen Umfeld denken), sondern mit der Problematik, dass Menschen von Algorithmen bewertet werden. Ich möchte hier nicht den ganzen Vortrag rezitieren oder besprechen, sondern einmal den Gedankengang nachvollziehen, der mir in Erinnerung geblieben ist. Die Ergebnisse halte ich gesellschaftlich und ethisch für wesentlich. Ich nehme damit auch den Aufruf einiger evangelischer Unternehmer auf, aus christlich-kirchlicher Sicht zu Fragen der Digitalisierung Stellung zu nehmen.
Lorena Jaume-Palasí begann ihren Vortrag mit der Feststellung, dass menschliche Urteile in der statistischen Auswertung immer ein gewisses “Rauschen” enthalten. Das unterscheidet menschliche Entscheidungen grundsätzlich von denen eines Computers bzw. eines Algorithmus: Während eine menschliche Entscheidung von einem Tag auf den anderen um bis zu 71% abweichen kann (so offenbar eine statistische Erhebung), ist diese zufällige Abweichung bei Computern – natürlich – nicht zu beobachten. Menschliche Entscheidungen sind abhängig von dem gerade aktuellen Kontext der menschlichen Verfassung und der in der Situation gegebenen Intention des Menschen. Beides ist dem Computer nicht gegeben: Kontextualisierungsfähigkeit und Intentionalität.
Bei Algorithmen zeigen sich stattdessen nur Verzerrungen: Also nicht-zufällige Abweichungen vom gewünschten Verhalten, die abhängig sind von unterschiedlichen, klar definierbaren, aber u.U. schwer zu erkennenden Faktoren. Der Ursprung der Abweichungen bzw. Fehler im gewünschten Verhalten eines Computers liegt naturgemäß jedoch nicht beim Computer oder seinen Daten, sondern bei dem Menschen, der die Verarbeitung der Daten in einem festgelegten Protokoll (Algorithmus) definiert hat.
Entsprechend ist es also korrekt, die Schuldigkeit für “falsch funktionierende” Algorithmen beim Menschen zu suchen. Die Frage ist nur: Bei welchem? Die Antwort, die Schuldigkeit beim Entwickler/der Entwicklerin zu suchen, geht in die falsche Richtung: Das wäre so als würde man alleine einen Spaten-Hersteller für die Verwendung und Verwendungsmöglichkeiten des Spatens verantwortlich machen. Für digitale Systeme ist vielmehr ausschlaggebend, dass die Intentionalität einer Handlung und ihre Ausführung voneinander getrennt werden können. Für die Ausführung haben entsprechend nicht nur der Entwickler/die Entwicklerin Verantwortung, sondern etwa auch die Stellen, die den Algorithmus in Auftrag geben, in einem Kontext einsetzen (der passend sein kann oder nicht) und mit Daten versorgen (die hinreichend für eine korrekte Bewertung einer Situation sein können oder nicht).
Als Beispiel führte Lorena Jaume-Palasí etwa einen Algorithmus bei der Schufa an, der so implementiert war, dass das Creditscoring einer Person mit jeder Kreditanfrage herabgestuft wurde – auch wenn der Kredit gar nicht in Anspruch genommen wurde. Bis der Fehler an der Schnittstelle von Sparkasse und Schufa gefunden wurde, war viel Zeit ins Land gegangen, es gab nicht nur einen “Verantwortlichen”.
Ebenso gibt es auch Fehlerpotentiale, die in der Vorgehensweise der Datenauswertung und Statistik selbst liegen: Minderheiten werden von statistisch auswertenden Systemen tendenziell immer als weniger “sicher” bewertet, weil über sie weniger Daten vorliegen als über die Mehrheit oder den Mainstream. Das kann z.B. bedeuten, dass in einer Gesellschaft eine Minderheit allein aufgrund der Datenmenge als weniger kreditwürdig/zuverlässig/versicherungswürdig/… bewertet werden als eine Mehrheit.
Dies bedeutet im Endeffekt, dass es für die Entwicklung von Algorithmen, die Menschen bewerten a) eine hohe Kompetenz hinsichtlich der Wirkweise der eingesetzten Methoden und b) eine hohe Selbstreflexion hinsichtlich der eigenen in einen Algorithmus eingetragenen Urteile und Anschauungen braucht. Entsprechend schließt Lorena Jaume-Palasí ihren Vortag mit der Aufforderung an die anwesende Entwicklergemeinde: “Be aware of your bias!” – “Kenne deine eigenen Vorurteile!”
Es scheint naheliegend, dass dieser individuelle Appell gesellschaftlich natürlich zu kurz greift: Niemand ist in dieser Weise seiner eigenen Vorurteile gegenwärtig. Die Beurteilung von Urteilen, die in Algorithmen implementiert sind, können nur Ergebnis einer gesellschaftlichen Debatte und Kontrolle sein. Bei den Algorithmen, die Menschen bewerten und daher unmittelbaren Einfluss auf das Leben eines Menschen haben (z.B. bei der Bewertung von potentieller Straffälligkeit, Kreditwürdigkeit, Versicherungswürdigkeit), ist daher folgende politische und gesellschaftliche Forderung der Gottebenbildlichkeit und der gleichen Würde aller Menschen ethisch angemessen: Diese Algorithmen müssen öffentlich und überprüfbar, d.h.: Open Source sein. Dies gilt selbstverständlich für staatliche Algorithmen und Bewertungsmuster, aber in gleicher Weise auch für Versicherungen und Banken. Eine derartige Transparenz in der Bewertung dürfte auch den Unternehmerinnen und Unternehmern in Deutschland zugute kommen, die dann eine Gewähr dafür haben, dass ihr wirtschaftliches Handeln auch in Zukunft anhand von nachvollziehbaren Kriterien bewertet wird.
Die Entwicklung von Kriterien zur Bewertung von Algorithmen (oder algorithmic decision making, ADM) ist entsprechend Ergebnis ethischer, aber auch technischer Bildung. Die ethische Seite dieser Bildung ist aus kirchlicher Sicht im Kontext religiöser Bildung angesiedelt. Die zur Urteilsbildung notwendige technische Kompetenz sollte aber ebenfalls in kirchlicher Bildungsarbeit ihren Ort haben. Dafür braucht die Kirche sicher kompetente Partner. Auf lokaler Ebene etwa die vielen digitalen Initiativen wie den CCC, Freifunk, Linux User Groups,…; auf politischer Ebene etwa NGOs wie Algorithm Watch. Und natürlich den LUKi. 😉
Johannes Brakensiek
Lebt mit seiner Familie in Duisburg-Walsum, ist Pfarrer und Freund von Freiheit, Transparenz, Nachhaltigkeit und Allgemeinnützigkeit. Auch bei Software. Das hätte vermutlich schon der Apostel Paulus so gehalten: "Christus hat uns befreit, damit wir endgültig frei sind." Gal. 5,1
Follow Me:
Vielen Dank für diesen Artikel. Für mich ein kleiner Einblick in das, was ich verpasst habe.
Mir fällt beim Lesen immer wieder ein, dass wir in unserer Demokratie Legislative und Exekutive unterscheiden und dass Jesus viel Mühe hatte, seine Haltung zum Gesetz zu erklären. Es muss Gesetze geben, die einen Rahmen bilden. Aber Gesetze sind für den Menschen da, darum muss es Menschen geben, die gebildet sind und Erfahrung im Umgang mit der Anwendung von Gesetzen haben.
Das lässt sich leicht auf alles übertragen.
Ich bin ganz gespannt, auf alles was sich in Sachen Computer, Algorithmen und Androiden entwickelt und ob ich das im Alter mitvollziehen kann (so wie mein Vater, der mit Ende 80 seinen Laptop erkundet und sich eine neue Hüfte einsetzen lässt).
„Diese Algorithmen müssen öffentlich und überprüfbar, d.h.: Open Source sein.“ Dem stimme ich zu. Allerdings müssten meiner Einschätzung nach auch die verwendeten Daten einsehbar sein, da ein Algorithmus zu unterschiedlichen Ergebnissen kommen kann, je nach dem welche Daten verwendet werden. Das klingt im Artikel im Absatz über die schlechtere Bewertung von Minderheiten an.
Danke für die Ergänzung! Das macht technisch Sinn – ist aber mit dem Recht auf den Schutz der persönlichen Daten m.E. oft nicht vereinbar. D.h. hier wird es kompliziert. Brauchen wir neben Datenschutzbeauftragten auch Datenverarbeitungsbeauftragte, die Stichproben der Daten unter Wahrung höchster Geheimhaltung auf ihre Tauglichkeit prüfen?
Danke für den Beitrag, Thorn. Kannst du das mit dem Gesetz und Jesus etwas erläutern? Ich glaube, ich verstehe es nicht.
Du schriebst: “Dies bedeutet im Endeffekt, dass es für die Entwicklung von Algorithmen, die Menschen bewerten a) eine hohe Kompetenz hinsichtlich der Wirkweise der eingesetzten Methoden und b) eine hohe Selbstreflexion hinsichtlich der eigenen in einen Algorithmus eingetragenen Urteile und Anschauungen braucht.”
Das hat mich sofort an Jesus erinnert, der das Gesetz und die Propheten ausgiebig studiert hatte, daraus aber nicht den Schluss zog, besser als alle anderen zu wissen, was richtig ist. Er lehrte, wie das Gesetz auszulegen ist. Das wiederum ist nie richtig oder falsch, nie 1 oder 0.
Jetzt fällt mir auch noch die Dogmatik ein, die immer prügelt dafür kriegt, dass sie die Dogmatik ist. Dabei müsste man sich diejenigen vorknöpfen, die sich auf die Dogmatik berufen. Sie funktioniert nicht anders als die Gesetze nur, wenn man sie im Sinne des Erfinders anwendet. Irgendjemand sprach mal von dem Geist der Gesetzgebung.
So ist es immer. Es kommt was raus bei unseren Berechnungen / Überlegungen / Bibelübersetzung / …, aber das nur kann im Leben wirksam werden, wenn es im “Geiste” der Wissenschaft oder des Religionsstifters oder für den Menschen angewendet wird.
So besser?