Grauzone: Wo Algorithmen entscheiden helfen

Grauzone: Wo Algorithmen entscheiden helfen

Im Sommer 2016 deckten Investigativ-Journalisten von ProPublica auf, dass die Polizei in den USA Software benutzt, die vorhersagt, ob jemand in Zukunft straffällig wird – und dass diese Software stark voreingenommen gegenüber Afroamerikanern ist: Sie werden dadurch häufiger und oft fälschlicherweise verdächtigt werden.

Im ersten Moment scheint das sehr weit weg, als würde es so etwas bei uns nicht geben – schließlich hört man wenig bis nichts über ähnliche Beispiele in Europa.

„Ich habe den Eindruck, dass das Thema Facebook-Algorithmus sehr viel Aufmerksamkeit in der Öffentlichkeit bekommt, aber dass das im Grunde nur die Spitze des Eisberges ist“, sagt Matthias Spielkamp, Gründer der Advocacy-Organisation AlgorithmWatch. „Meiner Einschätzung nach ist das nicht das Relevanteste, worüber wir uns im Moment unterhalten könnten. Ich halte es nicht für irrelevant, welchen Einfluss Facebooks Algorithmen auf die Meinungsbildung haben - das ist wirklich wichtig. Aber es gibt sehr viele andere solche Systeme, wie etwa der Fall Schufa zeigt, die unser Leben und unsere Teilhabemöglichkeit sehr viel stärker beeinflussen, als beispielsweise die Frage inwiefern Facebook die Verbreitung von Desinformation befördert."

Um sichtbar zu machen, wie viele Beispiele es in Europa schon gibt, hat AlgorithmWatch – gefördert von der Open Society Foundation und der Bertelsmann Stiftung – mit einem Netzwerk aus Journalisten und Wissenschaftlern nach Fällen in Europa gefahndet, bei denen Algorithmen durch die Auswertung von Daten Entscheidungen vorbereiten. Die komplette Studie mit Beispielen aus 12 EU-Ländern ist hier einsehbar.

Transparenz ist essentiell – aber fehlt

Die finnische EU-Politikerin Liisa Jaakonsaari, auf deren Initiative die EU eine eigene Pilostudie ins Leben gerufen hat, fasst die beiden Seiten der Medaille so zusammen: "Algorithmische Entscheidungsfindungssysteme können Effizienz, Planbarkeit und Konsistenz bieten. Aber diese Möglichkeiten sind gleichzeitig auch Herausforderungen. Die Datengrundlage für solche Entscheidungen können Verzerrungen enthalten, die zu Diskriminierung führen können; und das fehlende Bewusstsein der Bürger für diese Themen reduziert ihre Handlungsfähigkeit und damit ihren Einfluss.“

Inwiefern ein System kontrolliert und reguliert werden muss, kann nicht pauschal entschieden werden. Essentielle Voraussetzung dafür ist ausreichende Transparenz über solche Systeme – und ist zugleich nur selten gegeben. Wissenschaftler des Data Justice Lab der Universität Cardiff haben für verschiedene Fälle in Großbritannien versucht, detaillierte Einsicht in die Methodik aktiver Systeme zu erlangen – mit eingeschränktem Erfolg.

Dabei wäre eine solche Transparenz die Grundvoraussetzung, um herauszufinden, wie die Systeme funktionieren: Welche Faktoren einfließen, wer Modelle entwickelt, wer sie wie überprüft und ob bei der verantwortlichen Prüfstelle überhaupt die notwendige Kompetenz  vorliegt. Nur so kann Diskriminierung ausgeschlossen und Fairness gewährleistet werden.

• Kreditvergabe (Deutschland, Spanien) 
• Vergabe von Mietverträgen, Erhöhung von Kreditrahmen oder zur Eröffnung von Girokonten: Oft basieren solche Entscheidungen auf einer Bewertung des privaten Unternehmens Schufa Holding AG, die die Zahlungsfähigkeit von Verbrauchern einschätzt. Wie genau das geschieht, ist nicht transparent. Auf Initiative der Open Knowlegde Foundation und AlgorithmWatch haben rund 3.000 Menschen ihre Schufa-Auskunft weitergegeben. Wie eine  Auswertung von Spiegel Data und BR Data zeigt, werden dabei beispielsweise junge Männer als risikoreicher eingestuft als ältere. Darüber hinaus wird über viele Menschen ein Urteil gefällt, das nur auf einer sehr kleinen Datengrundlage basiert; und selbst Menschen, die nur positive Einträge vorzuweisen haben, wird in manchen Fällen ein erhöhtes Risiko zugewiesen.
  
  Seit Jahren fordern Verbraucherschützer mehr Transparenz, wie sich die Schufa-Bewertung zusammensetzt – erfolglos. Zuletzt hat die Schufa sogar noch die Informationen, die bei einer angeforderten Selbstauskunft an den Verbraucher gegeben werden, reduziert. Und obwohl Verbraucher basierend auf der Europäischen Datenschutzverordnung DSGVO seit Mai einen Anspruch auf eine kostenfreie, digitale Auskunft haben, kommt dem Schufa dem bis dato nicht nach.
  
  Einen ähnlichen Fall gibt es in Spanien: Verbraucher können über einen Online-Formular finanzielle Unterstützung für die Stromversorgung ihres Hauses beantragen. Auf welchen Faktoren die Entscheidung für oder gegen die Vergabe dieser finanziellen Mittel beruht, ist nicht klar. Das stiftungsfinanzierte spanische Medium Civio hatte beim zuständigen Ministerium eine entsprechende Informationsfreiheitsanfrage gestellt, nachdem viele Menschen Probleme mit dem Formular meldeten oder sich beschwert haben, dass ihr Gesuch ohne weitere Begründung abgelehnt wurde.
• Arbeitssuche (Finnland, Österreich)
• Finnischen Unternehmen bietet das Startup DigitalMinds einen Algorithmus an, der helfen soll, den geeigneten Kandidaten aus dem Bewerberpool auszuwählen. Wie die Algorithm-Watch Studie beschreibt, hatten Bewerber bisher online Persönlichkeitsfragebögen ausfüllen müssen. Dabei besteht das Risiko, dass Bewerber nicht wahrheitsgemäß antworten, sondern das angeben, von dem sie glauben, dass der potenzielle Arbeitgeber es hören will. Hier setzt DigitalMinds an: Anstatt Zeit darauf zu investieren den Fragebogen auszufüllen, können Bewerber auch ihre privaten Emails und Social Media Accounts zur Analyse freigeben und darauf basierend das Persönlichkeitsprofil erstellen lassen. Laut der Firma wird nie ein Mensch die Nachrichten lesen, ausschließlich der Algorithmus wertet sie aus. Insgesamt scheint das Verfahren zu überzeugen: alle Bewerber, denen dieses Option angeboten wurden, haben eingewilligt.
  
  In Österreich startet in diesem Jahr ein Programm, dass Arbeitssuchende in Gruppen einteilt – je nach dem wie gut ihre Chancen auf dem Arbeitsmarkt sind. Dabei sind bestehende Vorurteile direkt in den Algorithmus mit eingebaut, wie das Online-Magazin Futurezone berichtet. Frauen werden automatisch Punkte abgezogen, Menschen über 30 Jahre ebenfalls. Damit würden ohnehin starke Kandidaten weiter gestärkt und schwache weiter geschwächt, kritisieren Experten.
• Sozialarbeit, Kinder- und Jugendschutz (Großbritannien)
• In mehreren britischen Regionen unterstützen Algorithmen Sozialarbeiter bei ihrer Arbeit: der Bristol Integrated Analytical Hub verfolgt einen ganzheitlichen Ansatz und sammelt – in einigen Fällen in Echtzeit - Familien-bezogen Daten aus 35 Quellen etwa zu Arbeitslosigkeit, Straftaten und zur Teilnahme am Schulunterricht. Nur Daten zu Faktoren, die eine problematische Situation verschärfen können, fließen in das System ein. Kontextuelle Information, wie etwa, dass jemand zwar nicht zur Schule geht, sich aber weiterhin stark sozial engagiert, müssen von dem jeweiligen Sachbearbeiter eingebracht werden.
  
  Einer der Datenwissenschaftler beschreibt dem Data Justice Lab der Universität Cardiff gegenüber, dass es durchaus ein Risiko zur Fehleinschätzung gebe: Sobald neben einem Indikator eine Zahl stehe, könne der Eindruck entstehen, dass das stimmen muss, weil der Computer das sagt. „Es gibt ein Risiko (...), dass (die Sachbearbeiter) ihr Fachwissen und Experteneinschätzung vergessen oder ignorieren und sich ganz auf das verlassen, was der Computer sagt.“ Daher nutze das absichtlich System keine Farben wie Rot oder Grün und nutzt auch keine Formulierungen wie „high risk“ – auch um Feedback-Schleifen zu vermeiden: Denn wenn in einem Fall wegen eines hohen Risiko-Scores die Polizei eingeschaltet wird, fließt das ebenfalls in den Score ein und erhöht ihn weiter.
• Transferleistungen (Großbritannien, Niederlande)
• Unter dem britischen Camden Resident Index vereinen 16 verschiedene lokale Behörden ihre Daten zu den Bürgern der Region. Mit diesem gesamtheitlichen Ansatz, der 123 verschiedene Indikatoren dokumentiert, soll helfen, Betrugsfälle schneller festzustellen: etwa die unerlaubte Untervermietung von Sozialwohnungen oder die tatsächliche Anzahl von Menschen in einem Haushalt für Steuersenkungen, wie das Data Justice Lab der Universität Cardiff berichtet.
  
  Einen ähnlichen Fall gibt es in den Niederlanden, wie AlgorithmWatch berichtet. Da Kriminalität und soziale Probleme oft zusammenhängen, arbeiten verschiedene Behörden in interdisziplinären Teams zusammen. Jeder Bereich bringt dabei unterschiedliche Datenquellen mit, die mithilfe der Software SyRi (Systen Risk Indication) zu einem großen Gesamtbild zusammengefügt werden: Steuerdaten, Sozialleistungen, Daten der Einbürgerungsbehörde. „So schlägt SyRI beispielsweise Alarm, wenn jemand Wohngeld bezieht, aber unter der betreffenden Adresse nicht gemeldet ist.“, schreibt AlgorithmWatch. Wie genau sich das Risikomodell zusammensetzt, will das niederländische Ministerium nicht preisgeben – so würden potenzielle Gesetzesbrecher dann ja wissen, bei welchen Angaben sie besonders vorsichtig sein müssen.
• Polizeiarbeit (Spanien, Großbritannien)
• Die spanische Polizei setzt einen Algorithmus ein, der anhand vieler Beispiele gelernt hat zu erkennen, ob ein Raubüberfall-Bericht Lügen enthält. Das Programm schaut dabei auf verschiedene Merkmale wie die Verwendung von Adjektiven, Verben und Zeichensetzung. Falsche Aussagen seien eher kürzer, fokussieren mehr auf die gestohlenen Gegenstände und weniger auf den Überfall selbst, enthalten seltener zusätzliche Zeugenaussagen und weniger Details über die Angreifer, berichtet Quartz unter Berufung auf einen Bericht der Universität Cardiff. Auch ein Mensch könnte solche Elemente erkennen, ein Algorithmus ist dabei doch deutlich effizienter, wie eine Pilotstudie in Málaga und Murcia 2017 zeigte. Nachdem der VeriPol Algorithmus einen Bericht als wahrscheinlich falsch eingestuft hat und Polizisten die Ankläger erneut befragten, konnten mehr als drei Viertel der Fälle abgeschlossen werden. Die Zahl der identifizierten Falschaussagen stieg damit von rund 16 auf 64 pro Woche an.
  
  Ein anderes Beispiel findet sich in Großbritannien, wie das Data Justice Lab der Universität Cardiff berichtet: Im Zuge von Sparmaßnahmen hat die Polizei im britischen Avon und Somerset 2017 begonnen, einen Algorithmus zur Risikobewertung von Straftätern zu nutzen. Rund 250.000 Straftäter in der Region wurden mit einem Score versehen, der Aufschluss über Risiko-Level gibt. Jeder Person wird dabei Wert zwischen 0 und 100 zugewiesen, der angibt mit welcher Wahrscheinlichkeit diese Person straffällig wird, kombiniert mit Einordnung zur Schwere bisheriger Taten.
  
  „Zu Beginn haben wir das Tool überhaupt nicht verstanden“, sagt eine Kommissarin dem Bericht zufolge. „Es war etwas völlig Neues für uns zu sagen, dass Person A risikobehafteter ist als Person B – vor allem wenn nach unserer Einschätzung Person B viel gefährlicher ist. Wir haben dann lange mit dem Qlik Team diskutiert, welche Faktoren in die Auswertung einfließen und welche nicht. Wir als Polizisten schauen auf neun Wege (im Leben der Straftäter), die ihnen helfen können, sich von einem kriminellen Weg abzuwenden. Man schaut auf Unterbringung, Drogen- und Alkoholbedarf, ihre mentale und physische Gesundheit, Kinder und Familie, Finanzen (...) wir beobachten Menschen so genau, weil die kleinste Sache wie das Ende einer Beziehung dazu führen kann, dass sie wieder straffällig werden. Das Ende der Beziehung wird nicht in Qlik einfließen, weil es keine Straftat ist (...) daher waren wir anfangs sehr frustriert (mit dem System). Aber als wir akzeptiert haben, dass es keine Allround-Lösung ist, sondern nur eines von vielen Werkzeugen, wurde es sehr viel hilfreicher für uns. Es sind nach wie vor die Praktiker, die informierte Entscheidungen darüber treffen, wen sie wie priorisieren – nicht das Modell.“
• Grenzschutz (Ungarn, Lettland, Griechenland)
• Griechenland, Lettland und Ungarn testen derzeit das von der EU finanziell unterstützte Grenzkontroll-System iBorderCtrl, beschreibt der AlgorithmWatch Bericht. Schon bevor sie zur EU-Außengrenze gelangen, sollen nicht-EU-Bürger mithilfe des Systems geprüft werden. Beispielsweise von zuhause aus führen sie ein automatisiertes Interview mit einem virtuellen Grenzbeamten; der Algorithmus dahinter achtet dabei auf Mikroexpressionen, sehr kurze Gesichtsausdrücke der grundlegenden menschlichen Emotionen.
  
  „Abgesehen von der grundlegenden Frage, wie wissenschaftlich akkurat Lügendetektoren sind, war die 32-köpfige Gruppe, mit der der virtuelle Grenzbeamte getestet wurde nicht repräsentativ und möglicherweise ethnisch voreingenommen: die Mehrheit (22) waren Männer, hauptsächlich weiße Europäer. Nur 10 hatten einen asiatischen oder arabischen Hintergrund. Nachdem 13 Fragen gestellt wurden, lag die durchschnittliche Genauigkeit des Systems für die einzelnen Fragen bei etwa 75 Prozent“, zitiert der Bericht einen Artikel von Spiegel Online.
  
  Gibt es jedoch Anzeichen, dass die Person lügt, werden an der Grenze biometrische Informationen aufgenommen und ein Beamter den Fall begutachten. Wenn es keine Verdachtsmomente gibt, können die Reisenden ohne weitere Untersuchung die Grenze passieren.

Zu wissen, wo solche Systeme im Einsatz sind, ist der erste wichtige Schritt. Erst dann kann öffentliche Kontrolle ansetzen: "Wir als Advocacy-Organisation wollen Druck erzeugen, dass da, wo wir den Einsatz solcher Systeme für kritisch oder vielleicht sogar für unangemessen halten oder für schlecht reguliert, Aufmerksamkeit entsteht und sich unter Umständen etwas ändert", sagt Spielkamp.

AlgorithmWatch ist die einzige Organisation ihrer Art in Europa, die sich ausschließlich auf das Thema konzentriert. Andere Beispiele sind etwa Privacy International oder die polnische Stiftung Panoptykon, bei denen jedoch die Rolle von Algorithmen nur eines von vielen Themen ist.

"Das ist ein mühseliges Geschäft, aber das läuft in einer Demokratie eben so. Und es ist ganz klar, dass wir da um Aufmerksamkeit konkurrieren mit anderen wichtigen Themen wie Klimawandel und Zukunft der Arbeit und Altersvorsorge. Trotzdem brauchen wir bei dem Thema mehr Aufmerksamkeit und Kompetenz in der Politik."