Aber ist dem tatsächlich so? Denn schon die den Programmen zugrunde gelegten Persönlichkeitsmodelle sind zweifelhaft, da sie nur eine sehr geringe Aussagekraft über zukünftige Leistungen am Arbeitsplatz haben und die Qualität ihrer Ergebnisse nicht ausreichend geprüft sind. Und können die Programme wirklich „die“ Persönlichkeit der Bewerber*innen messen? Wie groß und häufig sind die Fehler, die dabei passieren? Expert*innen weisen darauf hin, dass KI-Programme nur dann funktionieren, wenn sie dazu mit den geeigneten Daten „gefüttert“ wurden. Wenn sie jedoch mit alten Entscheidungen trainiert werden, werden auch die Maschinen frühere menschliche Vorurteile unerkannt fortführen. Ein Beispiel dafür war der Versuch von Amazon, ein KI-Programm für die Auswahl von Führungskräften einzusetzen. Das Programm musste nach dem Training umgehend wieder abgeschaltet werden, da es Frauen massiv benachteiligte. Die Software hatte gelernt, dass fast alle Führungskräfte Männer waren und daraus geschlossen, dass Frauen als Führungskräfte nicht in Frage kommen (Wilke 2018).
Während dieser Fehlschluss rasch auffiel, sind andere der KI antrainierten Benachteiligungen schwerer zu erkennen. Bei „lernenden“ Softwares können die Nutzer*innen nicht nachvollziehen, wie und warum der Algorithmus so entscheidet. Daher kann KI bei der Personalauswahl Diskriminierungen unerkannt fortsetzen oder gar neue Diskriminierungen auslösen. Völlig offen ist auch, wie sich die Programme mit der Wahrung der individuellen Persönlichkeitsrechte und des Beschäftigtendatenschutzes vereinbaren lassen. Daher hat sich der Ethikbeirat HR-Tech im Juni 2019 für ein Verbot des Einsatzes von KI ausgesprochen, weil dabei Daten verwendet werden, die der willentlichen Steuerung der Betroffenen entzogen sind, also beispielsweise Sprach-, Stimm- und Mimikanalysen.
Aufgrund der bislang ungelösten Probleme treten die potenziellen Vorteile durch den Einsatz von teil- und vollautomatisierten Computerprogrammen in den Hintergrund: In einer Umfrage gaben nur zwei Prozent der Befragten an, dass sie den Einsatz von KI zur Persönlichkeitsanalyse im Bewerbungsprozess akzeptabel fänden. Selbst in den USA wird der Einsatz in diesem Bereich mehrheitlich abgelehnt.
Automatisierte Überwachung der Beschäftigten: People Analytics
Aber nicht nur in der Personalauswahl, sondern auch in der allgemeinen Personalverwaltung werden zunehmend ADM-Systeme sowie Big-Data-Analysen eingesetzt. Die Softwares werden meist unter den Begriffen „Personal Analytics“ bzw. „People Analytics“ zusammengefasst. Personal Analytics-Programme sammeln Daten der Beschäftigten, z. B. Arbeitszeitaufzeichnungen, Fehlzeiten, Bewertungen von Vorgesetzten, Kolleg*innen und Kund*innen. Gemein ist allen Programmen, dass sie die gesamte Historie der Beschäftigten lückenlos dokumentieren. Zu den einzelnen Personen werden detailliert Leistungsverläufe ausgewertet und grafisch dargestellt, um ein tatsächliches oder drohendes Abfallen der Leistungen aufzuzeigen. Auf Betriebsebene sollen dadurch die notwendigen Personalkapazitäten noch flexibler und effizienter planbar werden.
Die personenbezogenen Daten können zudem mit weiteren Daten verschiedenster Herkunft verknüpft werden, welche die Beschäftigten und von ihnen bediente Maschinen während der Arbeit erzeugen. Diese Daten werden kategorisiert, analysiert und dann zur Überwachung und Kontrolle, aber auch zur Beeinflussung des Verhaltens eingesetzt. Erst durch diese massiven Datenverknüpfungen können die angeblich vorhersagenden Möglichkeiten der Softwares umfassend genutzt werden, etwa zur Prognose, welche* Mitarbeiter*in welche Weiterbildung benötigt, ob eine Mitarbeiter*in besser als „High Potential“ umhegt wird oder als „Low Performer“ behandelt werden sollte. People Analytics verspricht, durch das Anhäufen von Daten eine „nachhaltige“ Personalstrategie auf Unternehmensebene zu ermöglichen.
Ein Praxisbeispiel für People Analytics ist „Zonar“, das der Online-Händler Zalando in Berlin einsetzte: Die Mitarbeiter*innen mussten sich zunächst gegenseitig bewerten. Diese Werte wurden zusammen mit weiteren Leistungsdaten automatisiert in einen individuellen Punktestand umgerechnet. Damit können die Beschäftigten in eine Rangfolge gebracht werden, hier in „Low“, „Good“ und „Top Performer“. Diese Kategorisierung wird abschließend als „objektive“ Legitimation für Entscheidungen über Weiterbeschäftigung, Aufstiegschancen und die individuelle Lohnentwicklung genutzt: Nur noch die zwei bis drei Prozent der „Top Performer“ erhalten eine Aussicht auf reale Lohnerhöhungen (vgl. Staab/Geschke 2019).
Mittel- bis langfristig müssen Beschäftigte also damit rechnen, dass Unternehmen, in fast beliebiger Auflösung und nahezu in Echtzeit, Daten über sie, ihre Kolleg*innen und Abteilungen erzeugen, sammeln und analysieren. Ihre Daten werden mit Maschinen-, Prozess-, Produkt-, Verwaltungs- und Planungsdaten kombiniert. Die Realität wird quasi verdoppelt: Neben dem wirklichen Betrieb entsteht ein virtueller Doppelgänger des Unternehmens aus Zahlen, die mittels Big-Data- und People Analytics auf Regelmäßigkeiten, Muster und Abweichungen untersucht werden. Entscheidungen und Eingriffe des Managements beziehen sich dann nur noch auf das digitale Doppel – in der Hoffnung, dass sich die Wirklichkeit ebenso verhält wie die digitalen Modelle und ihre Vorhersagen.
Die überzogene Erwartung an die Wirkmächtigkeit von People Analytics wird von weltweit tätigen Beratungsfirmen angeheizt. Sie prognostizieren, dass die Softwares zu grundlegenden Veränderungen in der Personalverwaltung und -planung führen und damit einen Standard setzten, dem sich niemand entziehen könne. Nur so könne eine effiziente Personalpolitik der Zukunft aussehen. Die (Profit-) Interessen der Unternehmen werden geschickt hinter der angeblichen Neutralität der Systeme verborgen.
Politisch stellt sich die Frage, wie sich die ständige Überwachung und Verdatung aller Handlungen auf das Verhalten und das Wohlbefinden der Arbeitnehmer*innen auswirken. Gimpel u.a. zeigen in einer Studie aus dem Jahr 2018 zum Thema „digitaler Stress“, dass Erwerbstätige häufig digitale Systeme, Statistik- und Analysesoftwares, die sie bei Entscheidungen unterstützen sollen, negativ in Bezug auf ihren Arbeitsalltag bewerten. Ein Mehr an Digitalisierung geht, so bilanziert die Studie, mit mehr Stress einher, mehr individuelle digitale Kompetenzen gehen mit einer gesteigerten Angst vor Arbeitsplatzverlust einher. Zudem besteht die Gefahr, dass durch den ständigen Vergleich der Beschäftigten untereinander ein permanenter Wettstreit um bessere Löhne und Aufstiegschancen erzeugt wird. Und das ist Gift für das Arbeitsklima und für die kollegiale Zusammenarbeit.
Viele Arbeitsforscher*innen befürchten, dass Beschäftigte durch eine KI gestützte Personalverwaltung erhöhten strukturellen, physischen und psychosozialen Risiken ausgesetzt werden: Stress und Ängste entstehen, weil Entscheidungen nicht mehr beeinflussbar sind, sondern durch intransparente Systeme getroffen werden. Arbeits- und Gesundheitsrisiken sind besonders hoch, wenn die Daten genutzt werden, um Arbeitsverdichtung und Entlassungen durchzusetzen. Mitarbeiter*innen versuchen dann, ihre Arbeitsleistung immer mehr zu steigern und zu beschleunigen. Die Folgen sind unbezahlte Überstunden, Überarbeitung und die damit verbundenen gesundheitlichen und psychischen Belastungen.
Wie das in der Praxis aussehen kann, zeigt das Beispiel Amazon: Allein am Standort Baltimore (USA) wurden innerhalb eines Jahres rund 300 der 2.500 Beschäftigten, also mehr als zehn Prozent, aufgrund von „Ineffizienz“ entlassen. Grundlage dafür war die Berechnung einer automatisierten Tracking-Software, die alle individuellen Arbeitsleistungen konstant überwacht (vgl. Lecher 2019).
Automatisierte Zukunft: Der Einsatz digitaler Technologien ist nicht neutral
Der Einsatz digitaler Technologien ermöglicht soziale Innovationen, die anti-sozial wirken können. Denn sie verschieben die Machtverhältnisse in den Betrieben und die Verteilung des erwirtschafteten Mehrwerts einseitig zugunsten der Arbeitgeber. Der Betrieb als Ort von Arbeit und Wertschöpfung verliert an Bedeutung, seine Grenzen verschwimmen. Ob einzelne Produktionsschritte von den eigenen Beschäftigten oder durch externe Auftragnehmer durchgeführt werden, kann extrem flexibel, kleinteilig und zeitnah entschieden werden – oft zum Nachteil der Beschäftigten. Diese Entwicklung drängt Erwerbstätige kollektiv in die Defensive. Anstatt einer in Aussicht gestellten Humanisierung der Arbeit näher zu kommen, beobachten wir Prozesse der Entsicherung, Entsolidarisierung und Entmächtigung.
Die Einführung automatisierter Personalverwaltungsprogramme dient zurzeit vor allem dazu, Beschäftigte in Echtzeit datengetrieben zu überwachen und zu steuern. Auch wenn ADM- und KI-Systeme theoretisch Verbesserungen für Beschäftigte ermöglichen könnten, gilt es, den beschriebenen Nachteilen bereits heute konsequent entgegenzutreten und den Einsatz der neuen Systeme zu regulieren. Denn freiwillige Selbstkontrollen in der Wirtschaft oder die Inszenierung von Sozial-Dialogen ändern nichts an kapitalistischen Dynamiken.
Abschließend stellen wir einige notwendige Reform- und Regulierungsbedarfe vor: auf Ebene des Staats durch die Einführung einer kontrollierten KI-Risikobewertung (vgl. Krafft/ Zweig 2019) sowie auf Ebene des Betriebs (vgl. Wedde 2020).
Notwendig ist die Einführung einer allgemeinen Vorschrift zur Zertifizierung und Auditierung für ADM- und KI-gestützte Systeme. Denn kollektive Risiken und Gefahren bedürfen einer kollektiven Regulierung. So wie es der Ansatz des Risikoklassenmodells vorschlägt (vgl. Krafft/ Zweig 2019). Dabei werden ADM-Systeme mit einer kontextabhängigen Gefährdungsbeurteilung passgenau für den jeweiligen Zweck zertifiziert. Je nach Bewertung des Schadensrisikos erfolgt eine stufenweise differenzierte Regulierung von Unbedenklichkeit bis zum Verbot. Was wir brauchen, ist das begründete Vertrauen in eine wirksame Regulierung, nicht ein blindes Vertrauen in Digital-Konzerne.
Diese Risikobewertungen könnten auch in Unternehmen als Grundlage dienen, müssen aber entsprechend dem besonderen Verhältnis Arbeitgeber/Arbeitnehmer angepasst werden. Berücksichtigt werden muss, dass in Arbeitsverhältnissen eine starke Machtasymmetrie vorliegt und Beschäftigte daher besonders geschützt werden müssen. Aufgrund des Abhängigkeitsverhältnisses kann z. B. nicht davon ausgegangen werden, dass eine Einwilligung der Beschäftigten in die Verarbeitung personenbezogener Daten immer freiwillig erfolgen kann.
Die Überwachung und Auswertung von körperlichen Phänomenen (z.B. Gestik, Mimik, Stimme) sowie von Emotionen der Beschäftigten, eine pseudo-objektive „Vermessung“ der Persönlichkeit von Bewerber*innen oder andere ähnlich weitgehende Kontrollexzesse von Unternehmen, sind grundsätzlich durch Verbot und strenge Sanktionen auszuschließen.
Gesetzlich muss klargestellt werden, dass Einsatz und Zielsetzung von ADM- und KI-Systemen in Organisationen immer der frühzeitigen Einbeziehung und Mitbestimmung des Betriebsrats unterliegen. Gibt es keinen Betriebsrat, dann gilt: People Analytics dürfen nur eingesetzt werden, wenn sie entsprechend zertifiziert sind und die Beschäftigten einzeln und freiwillig zustimmen (vgl. Wedde 2020). Denn von den in den Systemen festgelegten Zielen hängt die konkrete Gestaltung von Arbeitsbedingungen ab, etwa veränderte Belastungen oder erforderliche Qualifikationen. Flankierend ist ein eigenständiges Beschäftigtendatenschutzgesetz notwendig, das Eingriffe in die Persönlichkeitsrechte von Beschäftigen verhindert sowie die Grenzen (teil-) automatisierter Entscheidungen festschreibt.
Nur wenn „Gute Arbeit by design“ (DGB) erfolgreich in die Systeme eingebaut wird, sind positive Entwicklungen einer präventiven Arbeitsgestaltung zu erwarten. Dazu gehören auch ein generelles Initiativ- und Mitbestimmungsrecht bei Erhebung und Verarbeitung personenbezogener Daten sowie bei Weiterbildung und Qualifizierung, Arbeitszeit, Personalplanung und Outsourcing. Für Unternehmen und andere Organisationen ohne Betriebs- oder Personalräte müssen Mindeststandards per Gesetz bzw. Verordnung geschaffen werden. Es muss klare Verantwortlichkeiten und Haftungsregeln für Risiken und Schäden des Einsatzes von KI-Systemen geben.
Der Betriebsrat muss stets prüfen können, ob IT-Systeme rechtskonform eingesetzt werden. Die dafür notwendigen Informationen muss der Arbeitgeber bereitstellen. Er darf sich nicht länger auf Unkenntnis berufen können. Der Betriebsrat muss die Möglichkeit erhalten, sachverständige Berater*innen seiner Wahl zu seiner Unterstützung hinzuziehen. Hält der Arbeitgeber die zwischen Berater*in und Betriebsrat getroffene Vereinbarung für unangemessen, so kann er die Einigungsstelle anrufen.
Vor der Einführung von ADM- und KI-gestützten Systemen sind betriebliche Folgenabschätzungen hinsichtlich des Schadenspotentials, der Persönlichkeitsrechte und der Auswirkungen auf die Arbeitsbedingungen unerlässlich. Je nach der dort festgestellten „Regulierungsklasse“ des eingeführten Systems müssen in Abstimmung mit dem Betriebsrat vorab und im laufenden Einsatz geeignete Schutzmaßnahmen getroffen werden. Dieses Instrument der Gefährdungsbeurteilung wird zum betrieblichen Frühwarnsystem. Die Nicht-Einhaltung und Nicht-Umsetzung muss für die Unternehmen deutlich spürbare Sanktionen nach sich ziehen. Entsprechende Kontrollbehörden müssen personell aufgestockt werden.
In der Diskussion über den (Un-) Sinn des Einsatzes von ADM- und KI-gestützten Systemen dürfen wir nicht vergessen, dass sowohl die privatwirtschaftliche Aneignung von Gewinnen als auch die Machtausübung durch staatliche Stellen nur dann zu rechtfertigen ist, wenn dadurch der Vorteil aller, also das Gemeinwohl, wächst: Dienen die Technologien der Emanzipation oder der Unterwerfung der Beschäftigten? Tragen sie zur Ausbeutung oder zur Bereicherung der Menschen bei? Reale Verbesserungen kommen nicht von selbst. Sie müssen gegen Kapitalinteressen erkämpft werden. Es ist an uns, gute Arbeit zu gestalten!
Der Text ist die überarbeitete und aktualisierte Fassung eines Hintergrundpapiers, das wir während der Enquete-Kommission des Deutschen Bundestags zur Künstlichen Intelligenz (2018-2020) schrieben. Zur besseren Lesbarkeit wird auf die Angabe der verwendeten Quellen weitgehend verzichtet. Ein vollständiges Verzeichnis kann angefordert werden unter jessica.tatti[at]bundestag.de.
