Viele Personen fallen durch das Raster oder werden aufgrund von Rassismus , Antisemitismus , Sexismus , Misogynie oder gar einer Kombination davon strukturell vom Finanzsystem benachteiligt . Was wäre , wenn generative KI tatsächlich dafür sorgen könnte , dass alle Menschen und Entitäten einen fairen Zugang zum Finanzsystem bekommen ? Oder wenn wir es schaffen , mit Hilfe von KI Biases zu eliminieren und Barrieren abzubauen ? Darüber haben wir mit Alex Gessner gesprochen ; sie ist Diversity Consultant mit 14 Jahren Erfahrung in Fintech und Banking und eine der präsentesten Stimmen in Deutschland , wenn es um Diskriminierung durch das Finanzsystem geht .

GOLDILOCKS : Alex , wir wollen heute darüber sprechen , wie sich Diversity und Inklusion im Banking in fünf Jahren durch generative KI verändert haben könnten . Mal uns doch mal dein Best und Worst Case Scenario .

Alex Gessner : Wow , du fängst heute mit den kleinen Fragen an , ja ? 😄

Wir können auch konkreter anfangen zum Warmwerden . Lass uns das Ganze herunterbrechen

😉 auf das Thema Kreditvergabe : Die Bafin hat kürzlich verlauten lassen , die Kreditwirtschaft arbeite schon seit Jahren daran , eine Diskriminierung von Antragsstellenden durch algorithmische Verfahren auszuschließen . Da heißt es : „ Beispielsweise verwenden Banken kritische Merkmale wie Wohnort und Herkunft explizit nicht mehr als Parameter für Risikoklassifizierungsverfahren .“ Was kann KI in der Kreditvergabe in Sachen Diversität und Inklusion bedeuten ?

Es ist eines meiner Lieblingsthemen , dass wir in Deutschland immer noch machen , was in den USA schon vor über 50 Jahren verboten wurde : Redlining . Dabei ging es darum , bestimmte Gebiete nach Race oder Ethnizität aufzuteilen . Wo viele weiße Menschen wohnten , gab es die besser finanzierten Schulen und Krankenhäuser etc . Drei Straßen weiter lebten viele People of Color ( PoC ), die Schulen bekamen weniger Finanzierung , Infrastruktur wurde weniger gefördert etc . Das ist inzwischen offiziell verboten , aber die Folgen sind nach wie vor weitreichend . In Deutschland ist es dagegen in vielen Finanzinstituten immer noch Gang und Gebe , dass deine Herkunft und Wohnort Teil der Risikobewertung sind . Das widerspricht den Prinzipien von KI , wo es um Gleichheit und Fairness geht . Natürlich ist eine KI immer nur so gut wie das Material , mit dem man sie füttert . Wenn sie gut trainiert ist , kann sie etwas tun , was die Scorer – also die Berechnungsmodelle – heute nicht können .

Nämlich ?

Schnelle Korrektur der Scorer-Logik , schnelleres Überprüfen , ob die Kriterien so Sinn ergeben . Die heutigen Berechnungsmodelle sind super schwer im Nachhinein anzupassen . Das Schnellste , was ich gesehen habe , waren drei , vier Monate . Das kann zum Beispiel beim Sollzins für eine Immobilie einen krassen Unterschied ausmachen . Eine KI – selbst wenn sie nur solala trainiert ist – könnte für eine fairere Kreditvergabe sorgen , einfach weil sie schon mal bessere Modelle entwickeln kann , um fairer zu bewerten . Ich bin überzeugt , dass wir mittlerweile wesentlich bessere Daten haben als die Postleitzahl .

Hast du noch ein weiteres Beispiel , wo ein KI-Scorer fairer sein könnte ?

Wenn du zum Beispiel einen Kreditantrag stellst und wir stellen parrallel mit deinen Daten , aber als „ Mann “ einen – dann bekommst du automatisch für genau dieselben Rahmenbedingungen die schlechteren Zinsen , einfach nur weil du eine Frau bist . Das System denkt : Ach ja , Frauen , die haben ja weniger Geld , dann ist das Kreditrisiko höher . Obwohl wir aus vielen Studien wissen , dass Frauen viel zuverlässiger Kredite bedienen , profitabler investieren und viel seltener defaulten . Dennoch bekommen Frauen immer noch oft die schlechteren Bedingungen , was komplett absurd ist .

Eine KI kann nicht nur ganz schnell ein besseres Berechnungsmodell bauen und überprüfen , sondern auch testen : Ist das jetzt wirklich ein besserer Wert ? Kommt dabei überhaupt was anderes raus ? Und das kann dieses Modell auch hochrechnen auf 5 , 10 , 20 Jahre bis unendlich , mit Ausfallrisiko usw .. Das können wir zwar heute auch , aber es müsste sich erst mal jemand hinsetzen und sagen : Hey , das , was die Bafin gesagt hat , das wollen wir jetzt auch umsetzen .

Und übrigens wollen wir auch mal gucken , dass wir Frauen die gleichen Angebote machen , wenn sie die gleichen Rahmenbedingungen mitbringen . Das kann die KI viel schneller , besser und , behaupte ich , mit viel weniger Bias . Und sie kann es auch viel schneller anpassen , wenn man jetzt sagt : Oh , das hat aber gar nicht funktioniert , da haben wir uns komplett verhoben . Wir müssen jetzt noch mal das Modell anpassen . Dann dauert es halt nicht drei bis acht Monate und beschäftigt ein Team von 40 Leuten , sondern eine KI und idealerweise noch ein , zwei Menschen , die das begleiten .

Du sagst , eine KI ist erstmal nicht so biased .

Anwält : innen-Antwort : Kommt drauf an . Darauf , wie sie trainiert ist . Die KI ist genauso biased , wie die Daten , die sie bekommt . Man dürfte diese KI also nicht mit den historischen Kreditdaten der letzten 100 Jahre füttern – denn das sind biased Daten –, sondern müsste diesen Datensatz so überprüfen und anpassen , wie es in einer gerechten Welt hätte sein können . Hätten wir hier keine Postleitzahl- oder Gender-Diskriminierung vorgenommen , dann wäre das Ergebnis vielleicht XY gewesen . Wenn man die KI ordentlich trainiert oder sie darauf programmiert , selbst synthetische Daten zu erstellen , dann kann eine KI durchaus Bias reduzieren .

Nun sind wir in Deutschland und vielleicht sagen wir auch : Nee , wir vertrauen der KI nicht so , sondern lassen es weiterhin von unseren Systemen machen . Die KI könnte dann als Prüfmodul die Daten checken und zeigen , wo es einen historischen Bias in den Daten gibt oder wo irrationale Entscheidungen getroffen wurden . KI ist in der Lage , Muster zu erkennen , die auf Diskriminierung hinweisen , um dann diskriminierungsärmere Entscheidungen zu treffen .

Alles , was du sagst , steht und fällt damit , dass am Anfang die richtigen Menschen ohne riesigen Bias stehen .

Es gibt zum Glück viele , viele Menschen , die sich damit beschäftigen , wie KI fairer funktionieren kann , zum Beispiel die Algorithmic Justice League . Und diese Expert : innen für „ Ethical AI “ braucht es auch in den Banken . Eine KI ist ja erstmal wie ein kleines Kind , und man muss genau aufpassen , was man dem Kind beibringt . Wenn man die KI füttert mit Ja , wir haben halt nun mal nach wie vor unglaublich rassistische , sexistische , trans * feindliche und ableistische Strukturen , dann ist es auch genau das , was rauskommt – und das will man nicht für das kleine KI-Kind .

Was heißt denn das jetzt für das Thema Kreditvergabe in fünf Jahren ? Als Bank muss ich mit meinem Riesentanker überhaupt erstmal dahin kommen , mich Diversität und Inklusion zu widmen . Und dann brauche ich noch die richtigen Leute .

Kommen wir mal zu deinem Worst Case : Bei vielen Entscheider : innen in unserer immer noch sehr konservativen Bankenwelt herrscht das Denken vor , dass es keine Ungleichheiten gibt . Wenn die jetzt auf den KI-Zug aufspringen , zum Beispiel weil es ihre Prozesse effizienter macht , dann lassen sie sich von der KI trotzdem nicht sagen , dass ihr System diskriminierend ist und neu gebaut werden muss . Das ist aber teuer . Wollen wir das überhaupt ? Das System funktioniert doch . Ist mir doch ehrlich gesagt egal , ob da nach der zweiten Kommastelle noch mal was anders ist für die eine oder andere Person . Sie muss ja nicht in Marzahn oder am Görli leben . Zieh doch einfach um .

Und deshalb fürchte ich , dass es gar nicht so undenkbar ist , dass die Ungleichheiten einfach noch mehr vertieft werden . Also dass Ungleichheiten und Vorurteile , die wir heute schon haben , weiter verstärkt werden und das System noch unfairer wird . Denn wenn Datensätze weiterhin einseitig und unausgewogen sind , dann werden die Modelle die Ungleichheiten einfach nur reproduzieren und zementieren . Modelle sind kein Allheilmittel , sondern sind immer nur so gut wie das , was wir reinpacken . Eine KI kann aus einem Toaster keinen Rennwagen machen . Also , KI , die KI-Kunst erschafft , kann das natürlich schon .

Nun machen Frauen mehr als 50 Prozent der Bevölkerung aus – was heißt dieser Worst Case dann für Minderheiten ?

Schlimmstenfalls würden bestimmte Bevölkerungsgruppen ganz ausgeschlossen . Wenn die KI nicht ordentlich trainiert ist , kann sie zum Beispiel mit trans * Personen überhaupt nicht umgehen : Also jetzt habe ich hier eine trans * Frau , vielleicht steht auf der Geburtsurkunde noch Mann , ich müsste dich jetzt bewerten wie einen Mann , obwohl das faktisch nicht richtig ist . Du bist eine Frau , damit landest du im Gender Pay Gap . Der Pay Gap gegenüber Nicht-trans * Personen liegt bei 30 bis 40 Prozent ; 40 Prozent natürlich für trans * Frauen , 30 Prozent für trans * Männer . Das heißt , sie verdienen 60 Cent auf den Euro verglichen mit cis Personen . Das heißt statistisch : weniger Einkommen . Ich spreche jetzt ganz pauschal ; natürlich trifft das nicht auf jede Person zu . Aber mit pauschalen Daten würde auch in dem Fall die KI arbeiten . Diese Person wird also überall ein bisschen schlechter gestellt , vollkommen ohne Grund – im Banking genau wie bei Versicherungen , bei denen trans * Personen sowieso schon benachteiligt werden .

Wenn das Modell der KI nicht ausreichend überwacht wird , entweder von einer anderen KI oder von Personen , dann führt es auch dazu , dass wir das gar nicht mitkriegen . Neulich hatte ich den Fall eines Bankberaters , der eine migrantisierte Frau gefragt hat , ob sie vielleicht noch mal mit dem Ehemann kommen möchte , weil sie selber ja gar keine Entscheidungen treffen könne . Wenn so etwas heute passiert und dann vielleicht einer Person , die ein bisschen bekannter ist , dann gibt es relativ schnell einen Shitstorm . Wir bekommen das mit . Wir können darüber diskutieren . So entsteht ein Diskurs und darüber bewegt man – hoffentlich – Menschen in ihren Herzen und in den Köpfen . Wenn das alles in einem kleinen Code passiert , dann bekommen wir das gar nicht unbedingt mit . Und dann gibt es auch keinen Druck , unethische Anwendungen zu verbessern . Im Gegenteil : Sie werden immer weiter vorangetrieben . Und keiner ist verantwortlich . Das Unternehmen sagt dann : Ja nee , das war ja die KI , die hat sich ja selber ihren Code geschrieben . Dafür stehe ich ja gar nicht als XYZ Bank . Und das kann negative Auswirkungen verstärken .

Kann man aus diesem Szenario auch noch ein Best- Case-Szenario rausziehen ? Also dass es sich zwar so verschärft , wie du beschreibst , aber dass sich die Institute , die so agieren , sich in einer immer diverseren Welt auch selbst ins Aus manövrieren ?

Es kommt darauf an , wie groß sie sind . Denn es bringt nichts , wenn irgend so eine kleine Bank mit 20.000 Kund : innen supertoll ist , solange die großen Banken mit vielen Millionen Kund : innen weiterhin so handeln , wie sie heute handeln und das auch ihren KIs trainieren . Dann wird relativ wenig passieren . Es ist ja nicht so , dass die KI übernimmt und dann sofort richtig krasse Dogmen raushaut . Das wird eher so ein schleichender Prozess sein . Und schleichende Prozesse haben wir auch heute schon . Die gehen oft gegen marginalisierte Menschen und die kriegen dann nur die marginalisierten Menschen mit , weil es die Masse nicht trifft . Also wenn jetzt die Kreditbedingungen für Frauen noch ein kleines bisschen verschlechtert werden oder queere Menschen ein bisschen schlechter gestellt werden . Das werden so kleine , schleichende Grade sein , dass man das nicht merkt . Da gibt es keinen großen Aufschrei und alle sagen : Nein , wir stehen hier für Gleichheit ! Deshalb , glaube ich , kommt es stark darauf an , wer für sich erkennt : Hey , Moment mal ! Das ist irgendwie auch ein Unique Selling Point zu sagen „ Ich habe verstanden , dass wir in der Vergangenheit nicht immer gerecht waren in der Bewertung und Verteilung , zum Beispiel von Krediten , und ich möchte das aktiv besser machen und trage das nach außen , inklusive aller Fehler .“ Erst wenn das eine der großen Banken erkennt und voranschreitet , ziehen die anderen nach . Ich habe ein großes Herz für die Fintech-Welt , aber sind wir mal ganz ehrlich : Wie hoch kann der Einfluss sein , wenn wir wissen , dass nur 28 Prozent aller Männer und 21 Prozent aller Frauen überhaupt Fintech-Produkte benutzen ?

Gibt es auch einen KI-Best-Case für das Thema Diversity , Equity und Inclusion ( DEI )?

Na klar ! In dem wird die KI nicht nur mit möglichst diversen Daten gefüttert , sondern auch von diversen Teams gestaltet , sodass wir der sozialen Vielfalt ein bisschen gerechter werden können . Dann gibt es verantwortungsvollen Einsatz von KI . Dann sind zum Beispiel Codes öffentlich . Vielleicht gibt es sogar einen Audit der KI-Modelle mit Fragen wie : Wie fair haben wir die eigentlich gefüttert ? Wo müssen wir noch mal nachbessern ? Maximale Transparenz .

Sicherlich auch Regulatorik . Die wird es brauchen und die wird , glaube ich , das sein , was uns in Richtung Best Case trägt . Selbst OpenAI-CEO Sam Altman sagt , dass wir hier mehr Regulatorik brauchen . Nun sind leider auch unsere Regulatoren nicht die diversesten , also gibt es noch mal ein Fragezeichen , ob das wirklich passiert . Aber falls es dazu kommt , dann wird das Thema bestenfalls intersektional , diskriminierungssensibel und verantwortungsvoll betrachtet und man kann sicherstellen , dass die Technologie nicht diskriminierend eingesetzt wird . Dass sie nicht gesellschaftliche Unterschiede verstärkt , sondern dass wir plötzlich richtig krass gut zugeschnittene Produkte auf alle Gruppen , die heute noch übersehen werden , sehen .

Zum Beispiel ?

Ihr seid ein queeres Pärchen . Hier sind Informationen zum Thema Kinderwunschbehandlung , wenn ihr euch dafür gerade interessiert . Diese Kosten kommen wahrscheinlich auf euch zu . Hier ist alles , was ihr dazu wissen müsst . Und so könnt ihr das finanzieren . Und wenn wir diesem Bildungsauftrag mehr nachkommen , den Banken und Finanzdienstleister wirklich seit Jahrzehnten furchtbar vernachlässigen , dann gibt es mehr Leute , die Produkte nutzen . Denn die Produkte sind viel mehr auf sie zugeschnitten und berücksichtigen , was ihnen wichtig ist : Hey , du bist eine trans * person , das kostet dich die Transition und hier sind wichtige Infos zu privater Kranken- oder BU-Versicherung . Hey , du heiratest ? Lass mich dir was zum Ehegattensplitting erzählen ! Hey , du willst Kinder ? Lass mich dir was erzählen zum Thema Care-Arbeit und wie man ausgleichen kann , dass du jetzt neun Monate oder länger da und da nicht einzahlst . Das wäre das Geilste , weil das alles keine unglaublich schweren Dinge sind . Wir wissen heute schon , dass Bevölkerungsgruppen verschiedenste Bedürfnisse haben – und wir gehen immer nur auf die Bedürfnisse von einer , maximal zwei ein und denken : Na ja , es können ja alle hier Kreditkarten haben und alles machen … Das wäre fantastisch .

In dem Thema Feminist Finance stecken 700 Milliarden US Dollar ; da geht es nicht nur um Frauen , aber auch . Dass wir das Potenzial als Finanzindustrie immer noch nicht erkannt haben , das macht mich richtig traurig .

Und wenn die KI das hinkriegt ?

Das wäre der Best Case , wenn wir alle Leute so mit den Produkten versorgen , die sie wirklich brauchen und ihnen helfen , Vermögen aufzubauen : finanzielle Unabhängigkeit für alle . Und das sollte eigentlich das Ziel von jedem Bankinstitut sein .

Du sagst , die Sachen in deinem Positivszenario seien alle an sich nicht so schwer zu erreichen – trotzdem wirkt es wie das Schwierigste der Welt , dahin zu kommen , im Vergleich zu dem Worst- Case-Szenario . Was liegt denn dazwischen und ist realistisch ?

Ich glaube , verbesserte Kreditbewertung ist definitiv eins , auf das wir hoffen können . Also einfach eine fairere Bewertung . Es gibt so viel mehr , was neben Postleitzahl , Alter , aktuellen Ausgaben und Einnahmen wichtig sein kann . Es gibt so viele individuelle Lebensumstände , über die wir auch heute schon Daten besitzen . Aber wie immer : Wir haben die Daten , haben sie nur nicht ordentlich analysiert . Eine KI kann das machen und kann Annahmen live ändern , korrigieren , dazulernen . Ich kenne ein großes deutsches Unternehmen , das fürs Marketing jetzt schon so unglaublich viele Daten nutzt und über 2.000 Kundenprofile aufgesetzt hat . Also viel individueller als das , was Banken nutzen , obwohl Banken noch viel mehr Daten haben . Und dann kannst du mit Hilfe von KI schon modellieren : Wie könnte das Leben einer Person aussehen ? Mit unterschiedlichen Wahrscheinlichkeiten . Dann könntest du genauere Kreditbewertungen bekommen , als diese großen , groben Kategorien , die wir heute haben .

Stichwort Hyperpersonalisierung .

Auf jeden Fall . Natürlich kann man argumentieren : Na ja , aber lässt sich jedes Leben voraussagen ? Nein , lässt es sich natürlich nicht . Aber es lässt sich sehr viel besser voraussagen , was in den nächsten drei , fünf , zehn Jahren passiert , als wir das heute tun . Worauf wir heute gucken , das ist wirklich lächerlich . Ob ich heute in einer Partnerschaft zur Miete wohne ? Ich kann mich auch morgen trennen , dann habe ich die ganze Miete allein an der Backe . Da gibt es viele Daten , die wir nicht mit einbeziehen . Auf jeden Fall ist Hyperpersonalisierung da ein großes Thema . Ich glaube , auch in der Grauzone , also irgendwo in diesem Spektrum zwischen Best und Worst Case , wird natürlich die regulatorische Intervention eine Rolle spielen . Regulierungsbehörden werden sicherstellen müssen , dass Banken halbwegs transparente Modelle verwenden . Und wenn es da klare Vorschriften rund um das Thema Diskriminierung gibt , dann kann man auf fairere Kreditvergaben hoffen . Ich glaube , auch in diesem Medium-Szenario muss es irgendeine Art von Überwachung geben , eine Art „ KI-Auditor “, eine Rolle , die es heute so noch nicht gibt . Die wird es aber in der Finanzwelt geben müssen , um Modelle aktiv zu überwachen . In meiner Traumwelt ist das nicht eine Person , sondern ein Kollektiv vieler unterschiedlicher Menschen , die ganz gut repräsentieren , wer wir in der Bevölkerung sind . Das sind auch nicht alles nur KI-Spezialisten , sondern da gibt es eine Art „ AI Ethics Board “, das zumindest mit einbezogen wird oder das Best Practices herausgibt .

Was muss passieren , damit es so was in Deutschland gibt ?

Es müsste erstmal ein echtes Verständnis für Diversity geben . Und zwar nicht im Sinne von : Ja , das Thema ist uns total wichtig , deshalb zeigen wir das auch auf unserer Website . Sondern wirklich in den Strukturen von Unternehmen , auf jedem Hierarchie-Level . Aber darin findet sich heute immer noch so viel Diskriminierung für Frauen , migrantisierte Menschen , Menschen mit alternativen Bildungsweg , Menschen mit Behinderungen – es gibt so viele Diskriminierungsmerkmale , die in deutschen Unternehmen ignoriert werden und es wird behauptet , alles sei total fair und es werde nicht nach Geschlecht oder Herkunft , sondern nur nach Leistung bewertet .

Was ist noch wichtig in so einem „ AI Ethics Board “?

Da ginge es auch darum , Bankmitarbeitende , die die KI benutzen und mit ihrer Hilfe Entscheidungen treffen , die Kund : innen betreffen , nochmal in dem Thema DEI zu schulen . Also in diesem Mittelding ist KI so eine Art Werkzeug für inkrementelle Verbesserungen in der Kreditvergabe und gleichzeitig sind Regulierung , Überwachung , Bürgerbeteiligung entscheidend , damit Technologie – bzw . Technologie im Zusammenspiel mit Menschen – ethisch und verantwortungsvoll angewendet wird .

Das Interview führte Caro Beese

INTERVIEW

Der Finanzmarkt ist für den Prototypen des weißen Cis-Mannes in einer kapitalistischen , entwickelten Gesellschaft gemacht , also für einen Menschen , der sich mit dem von außen zugeschriebenen männlichen Geschlecht identifiziert .

Viele Personen fallen durch das Raster oder werden aufgrund von Rassismus , Antisemitismus , Sexismus , Misogynie oder gar einer Kombination davon strukturell vom Finanzsystem benachteiligt . Was wäre , wenn generative KI tatsächlich dafür sorgen könnte , dass alle Menschen und Entitäten einen fairen Zugang zum Finanzsystem bekommen ? Oder wenn wir es schaffen , mit Hilfe von KI Biases zu eliminieren und Barrieren abzubauen ? Darüber haben wir mit Alex Gessner gesprochen ; sie ist Diversity Consultant mit 14 Jahren Erfahrung in Fintech und Banking und eine der präsentesten Stimmen in Deutschland , wenn es um Diskriminierung durch das Finanzsystem geht .

GOLDILOCKS : Alex , wir wollen heute darüber sprechen , wie sich Diversity und Inklusion im Banking in fünf Jahren durch generative KI verändert haben könnten . Mal uns doch mal dein Best und Worst Case Scenario .

Alex Gessner : Wow , du fängst heute mit den kleinen Fragen an , ja ? 😄

Wir können auch konkreter anfangen zum Warmwerden . Lass uns das Ganze herunterbrechen

😉 auf das Thema Kreditvergabe : Die Bafin hat kürzlich verlauten lassen , die Kreditwirtschaft arbeite schon seit Jahren daran , eine Diskriminierung von Antragsstellenden durch algorithmische Verfahren auszuschließen . Da heißt es : „ Beispielsweise verwenden Banken kritische Merkmale wie Wohnort und Herkunft explizit nicht mehr als Parameter für Risikoklassifizierungsverfahren .“ Was kann KI in der Kreditvergabe in Sachen Diversität und Inklusion bedeuten ?

Es ist eines meiner Lieblingsthemen , dass wir in Deutschland immer noch machen , was in den USA schon vor über 50 Jahren verboten wurde : Redlining . Dabei ging es darum , bestimmte Gebiete nach Race oder Ethnizität aufzuteilen . Wo viele weiße Menschen wohnten , gab es die besser finanzierten Schulen und Krankenhäuser etc . Drei Straßen weiter lebten viele People of Color ( PoC ), die Schulen bekamen weniger Finanzierung , Infrastruktur wurde weniger gefördert etc . Das ist inzwischen offiziell verboten , aber die Folgen sind nach wie vor weitreichend . In Deutschland ist es dagegen in vielen Finanzinstituten immer noch Gang und Gebe , dass deine Herkunft und Wohnort Teil der Risikobewertung sind . Das widerspricht den Prinzipien von KI , wo es um Gleichheit und Fairness geht . Natürlich ist eine KI immer nur so gut wie das Material , mit dem man sie füttert . Wenn sie gut trainiert ist , kann sie etwas tun , was die Scorer – also die Berechnungsmodelle – heute nicht können .

Nämlich ?

Schnelle Korrektur der Scorer-Logik , schnelleres Überprüfen , ob die Kriterien so Sinn ergeben . Die heutigen Berechnungsmodelle sind super schwer im Nachhinein anzupassen . Das Schnellste , was ich gesehen habe , waren drei , vier Monate . Das kann zum Beispiel beim Sollzins für eine Immobilie einen krassen Unterschied ausmachen . Eine KI – selbst wenn sie nur solala trainiert ist – könnte für eine fairere Kreditvergabe sorgen , einfach weil sie schon mal bessere Modelle entwickeln kann , um fairer zu bewerten . Ich bin überzeugt , dass wir mittlerweile wesentlich bessere Daten haben als die Postleitzahl .

Hast du noch ein weiteres Beispiel , wo ein KI-Scorer fairer sein könnte ?

Wenn du zum Beispiel einen Kreditantrag stellst und wir stellen parrallel mit deinen Daten , aber als „ Mann “ einen – dann bekommst du automatisch für genau dieselben Rahmenbedingungen die schlechteren Zinsen , einfach nur weil du eine Frau bist . Das System denkt : Ach ja , Frauen , die haben ja weniger Geld , dann ist das Kreditrisiko höher . Obwohl wir aus vielen Studien wissen , dass Frauen viel zuverlässiger Kredite bedienen , profitabler investieren und viel seltener defaulten . Dennoch bekommen Frauen immer noch oft die schlechteren Bedingungen , was komplett absurd ist .

Eine KI kann nicht nur ganz schnell ein besseres Berechnungsmodell bauen und überprüfen , sondern auch testen : Ist das jetzt wirklich ein besserer Wert ? Kommt dabei überhaupt was anderes raus ? Und das kann dieses Modell auch hochrechnen auf 5 , 10 , 20 Jahre bis unendlich , mit Ausfallrisiko usw .. Das können wir zwar heute auch , aber es müsste sich erst mal jemand hinsetzen und sagen : Hey , das , was die Bafin gesagt hat , das wollen wir jetzt auch umsetzen .

Und übrigens wollen wir auch mal gucken , dass wir Frauen die gleichen Angebote machen , wenn sie die gleichen Rahmenbedingungen mitbringen . Das kann die KI viel schneller , besser und , behaupte ich , mit viel weniger Bias . Und sie kann es auch viel schneller anpassen , wenn man jetzt sagt : Oh , das hat aber gar nicht funktioniert , da haben wir uns komplett verhoben . Wir müssen jetzt noch mal das Modell anpassen . Dann dauert es halt nicht drei bis acht Monate und beschäftigt ein Team von 40 Leuten , sondern eine KI und idealerweise noch ein , zwei Menschen , die das begleiten .

Du sagst , eine KI ist erstmal nicht so biased .

Anwält : innen-Antwort : Kommt drauf an . Darauf , wie sie trainiert ist . Die KI ist genauso biased , wie die Daten , die sie bekommt . Man dürfte diese KI also nicht mit den historischen Kreditdaten der letzten 100 Jahre füttern – denn das sind biased Daten –, sondern müsste diesen Datensatz so überprüfen und anpassen , wie es in einer gerechten Welt hätte sein können . Hätten wir hier keine Postleitzahl- oder Gender-Diskriminierung vorgenommen , dann wäre das Ergebnis vielleicht XY gewesen . Wenn man die KI ordentlich trainiert oder sie darauf programmiert , selbst synthetische Daten zu erstellen , dann kann eine KI durchaus Bias reduzieren .

Nun sind wir in Deutschland und vielleicht sagen wir auch : Nee , wir vertrauen der KI nicht so , sondern lassen es weiterhin von unseren Systemen machen . Die KI könnte dann als Prüfmodul die Daten checken und zeigen , wo es einen historischen Bias in den Daten gibt oder wo irrationale Entscheidungen getroffen wurden . KI ist in der Lage , Muster zu erkennen , die auf Diskriminierung hinweisen , um dann diskriminierungsärmere Entscheidungen zu treffen .

Alles , was du sagst , steht und fällt damit , dass am Anfang die richtigen Menschen ohne riesigen Bias stehen .

Es gibt zum Glück viele , viele Menschen , die sich damit beschäftigen , wie KI fairer funktionieren kann , zum Beispiel die Algorithmic Justice League . Und diese Expert : innen für „ Ethical AI “ braucht es auch in den Banken . Eine KI ist ja erstmal wie ein kleines Kind , und man muss genau aufpassen , was man dem Kind beibringt . Wenn man die KI füttert mit Ja , wir haben halt nun mal nach wie vor unglaublich rassistische , sexistische , trans * feindliche und ableistische Strukturen , dann ist es auch genau das , was rauskommt – und das will man nicht für das kleine KI-Kind .

Was heißt denn das jetzt für das Thema Kreditvergabe in fünf Jahren ? Als Bank muss ich mit meinem Riesentanker überhaupt erstmal dahin kommen , mich Diversität und Inklusion zu widmen . Und dann brauche ich noch die richtigen Leute .

Kommen wir mal zu deinem Worst Case : Bei vielen Entscheider : innen in unserer immer noch sehr konservativen Bankenwelt herrscht das Denken vor , dass es keine Ungleichheiten gibt . Wenn die jetzt auf den KI-Zug aufspringen , zum Beispiel weil es ihre Prozesse effizienter macht , dann lassen sie sich von der KI trotzdem nicht sagen , dass ihr System diskriminierend ist und neu gebaut werden muss . Das ist aber teuer . Wollen wir das überhaupt ? Das System funktioniert doch . Ist mir doch ehrlich gesagt egal , ob da nach der zweiten Kommastelle noch mal was anders ist für die eine oder andere Person . Sie muss ja nicht in Marzahn oder am Görli leben . Zieh doch einfach um .

Und deshalb fürchte ich , dass es gar nicht so undenkbar ist , dass die Ungleichheiten einfach noch mehr vertieft werden . Also dass Ungleichheiten und Vorurteile , die wir heute schon haben , weiter verstärkt werden und das System noch unfairer wird . Denn wenn Datensätze weiterhin einseitig und unausgewogen sind , dann werden die Modelle die Ungleichheiten einfach nur reproduzieren und zementieren . Modelle sind kein Allheilmittel , sondern sind immer nur so gut wie das , was wir reinpacken . Eine KI kann aus einem Toaster keinen Rennwagen machen . Also , KI , die KI-Kunst erschafft , kann das natürlich schon .

Nun machen Frauen mehr als 50 Prozent der Bevölkerung aus – was heißt dieser Worst Case dann für Minderheiten ?

Schlimmstenfalls würden bestimmte Bevölkerungsgruppen ganz ausgeschlossen . Wenn die KI nicht ordentlich trainiert ist , kann sie zum Beispiel mit trans * Personen überhaupt nicht umgehen : Also jetzt habe ich hier eine trans * Frau , vielleicht steht auf der Geburtsurkunde noch Mann , ich müsste dich jetzt bewerten wie einen Mann , obwohl das faktisch nicht richtig ist . Du bist eine Frau , damit landest du im Gender Pay Gap . Der Pay Gap gegenüber Nicht-trans * Personen liegt bei 30 bis 40 Prozent ; 40 Prozent natürlich für trans * Frauen , 30 Prozent für trans * Männer . Das heißt , sie verdienen 60 Cent auf den Euro verglichen mit cis Personen . Das heißt statistisch : weniger Einkommen . Ich spreche jetzt ganz pauschal ; natürlich trifft das nicht auf jede Person zu . Aber mit pauschalen Daten würde auch in dem Fall die KI arbeiten . Diese Person wird also überall ein bisschen schlechter gestellt , vollkommen ohne Grund – im Banking genau wie bei Versicherungen , bei denen trans * Personen sowieso schon benachteiligt werden .

Wenn das Modell der KI nicht ausreichend überwacht wird , entweder von einer anderen KI oder von Personen , dann führt es auch dazu , dass wir das gar nicht mitkriegen . Neulich hatte ich den Fall eines Bankberaters , der eine migrantisierte Frau gefragt hat , ob sie vielleicht noch mal mit dem Ehemann kommen möchte , weil sie selber ja gar keine Entscheidungen treffen könne . Wenn so etwas heute passiert und dann vielleicht einer Person , die ein bisschen bekannter ist , dann gibt es relativ schnell einen Shitstorm . Wir bekommen das mit . Wir können darüber diskutieren . So entsteht ein Diskurs und darüber bewegt man – hoffentlich – Menschen in ihren Herzen und in den Köpfen . Wenn das alles in einem kleinen Code passiert , dann bekommen wir das gar nicht unbedingt mit . Und dann gibt es auch keinen Druck , unethische Anwendungen zu verbessern . Im Gegenteil : Sie werden immer weiter vorangetrieben . Und keiner ist verantwortlich . Das Unternehmen sagt dann : Ja nee , das war ja die KI , die hat sich ja selber ihren Code geschrieben . Dafür stehe ich ja gar nicht als XYZ Bank . Und das kann negative Auswirkungen verstärken .

Kann man aus diesem Szenario auch noch ein Best- Case-Szenario rausziehen ? Also dass es sich zwar so verschärft , wie du beschreibst , aber dass sich die Institute , die so agieren , sich in einer immer diverseren Welt auch selbst ins Aus manövrieren ?

Es kommt darauf an , wie groß sie sind . Denn es bringt nichts , wenn irgend so eine kleine Bank mit 20.000 Kund : innen supertoll ist , solange die großen Banken mit vielen Millionen Kund : innen weiterhin so handeln , wie sie heute handeln und das auch ihren KIs trainieren . Dann wird relativ wenig passieren . Es ist ja nicht so , dass die KI übernimmt und dann sofort richtig krasse Dogmen raushaut . Das wird eher so ein schleichender Prozess sein . Und schleichende Prozesse haben wir auch heute schon . Die gehen oft gegen marginalisierte Menschen und die kriegen dann nur die marginalisierten Menschen mit , weil es die Masse nicht trifft . Also wenn jetzt die Kreditbedingungen für Frauen noch ein kleines bisschen verschlechtert werden oder queere Menschen ein bisschen schlechter gestellt werden . Das werden so kleine , schleichende Grade sein , dass man das nicht merkt . Da gibt es keinen großen Aufschrei und alle sagen : Nein , wir stehen hier für Gleichheit ! Deshalb , glaube ich , kommt es stark darauf an , wer für sich erkennt : Hey , Moment mal ! Das ist irgendwie auch ein Unique Selling Point zu sagen „ Ich habe verstanden , dass wir in der Vergangenheit nicht immer gerecht waren in der Bewertung und Verteilung , zum Beispiel von Krediten , und ich möchte das aktiv besser machen und trage das nach außen , inklusive aller Fehler .“ Erst wenn das eine der großen Banken erkennt und voranschreitet , ziehen die anderen nach . Ich habe ein großes Herz für die Fintech-Welt , aber sind wir mal ganz ehrlich : Wie hoch kann der Einfluss sein , wenn wir wissen , dass nur 28 Prozent aller Männer und 21 Prozent aller Frauen überhaupt Fintech-Produkte benutzen ?

Gibt es auch einen KI-Best-Case für das Thema Diversity , Equity und Inclusion ( DEI )?

Na klar ! In dem wird die KI nicht nur mit möglichst diversen Daten gefüttert , sondern auch von diversen Teams gestaltet , sodass wir der sozialen Vielfalt ein bisschen gerechter werden können . Dann gibt es verantwortungsvollen Einsatz von KI . Dann sind zum Beispiel Codes öffentlich . Vielleicht gibt es sogar einen Audit der KI-Modelle mit Fragen wie : Wie fair haben wir die eigentlich gefüttert ? Wo müssen wir noch mal nachbessern ? Maximale Transparenz .

Sicherlich auch Regulatorik . Die wird es brauchen und die wird , glaube ich , das sein , was uns in Richtung Best Case trägt . Selbst OpenAI-CEO Sam Altman sagt , dass wir hier mehr Regulatorik brauchen . Nun sind leider auch unsere Regulatoren nicht die diversesten , also gibt es noch mal ein Fragezeichen , ob das wirklich passiert . Aber falls es dazu kommt , dann wird das Thema bestenfalls intersektional , diskriminierungssensibel und verantwortungsvoll betrachtet und man kann sicherstellen , dass die Technologie nicht diskriminierend eingesetzt wird . Dass sie nicht gesellschaftliche Unterschiede verstärkt , sondern dass wir plötzlich richtig krass gut zugeschnittene Produkte auf alle Gruppen , die heute noch übersehen werden , sehen .

Zum Beispiel ?

Ihr seid ein queeres Pärchen . Hier sind Informationen zum Thema Kinderwunschbehandlung , wenn ihr euch dafür gerade interessiert . Diese Kosten kommen wahrscheinlich auf euch zu . Hier ist alles , was ihr dazu wissen müsst . Und so könnt ihr das finanzieren . Und wenn wir diesem Bildungsauftrag mehr nachkommen , den Banken und Finanzdienstleister wirklich seit Jahrzehnten furchtbar vernachlässigen , dann gibt es mehr Leute , die Produkte nutzen . Denn die Produkte sind viel mehr auf sie zugeschnitten und berücksichtigen , was ihnen wichtig ist : Hey , du bist eine trans * person , das kostet dich die Transition und hier sind wichtige Infos zu privater Kranken- oder BU-Versicherung . Hey , du heiratest ? Lass mich dir was zum Ehegattensplitting erzählen ! Hey , du willst Kinder ? Lass mich dir was erzählen zum Thema Care-Arbeit und wie man ausgleichen kann , dass du jetzt neun Monate oder länger da und da nicht einzahlst . Das wäre das Geilste , weil das alles keine unglaublich schweren Dinge sind . Wir wissen heute schon , dass Bevölkerungsgruppen verschiedenste Bedürfnisse haben – und wir gehen immer nur auf die Bedürfnisse von einer , maximal zwei ein und denken : Na ja , es können ja alle hier Kreditkarten haben und alles machen … Das wäre fantastisch .

In dem Thema Feminist Finance stecken 700 Milliarden US Dollar ; da geht es nicht nur um Frauen , aber auch . Dass wir das Potenzial als Finanzindustrie immer noch nicht erkannt haben , das macht mich richtig traurig .

Und wenn die KI das hinkriegt ?

Das wäre der Best Case , wenn wir alle Leute so mit den Produkten versorgen , die sie wirklich brauchen und ihnen helfen , Vermögen aufzubauen : finanzielle Unabhängigkeit für alle . Und das sollte eigentlich das Ziel von jedem Bankinstitut sein .

Du sagst , die Sachen in deinem Positivszenario seien alle an sich nicht so schwer zu erreichen – trotzdem wirkt es wie das Schwierigste der Welt , dahin zu kommen , im Vergleich zu dem Worst- Case-Szenario . Was liegt denn dazwischen und ist realistisch ?

Ich glaube , verbesserte Kreditbewertung ist definitiv eins , auf das wir hoffen können . Also einfach eine fairere Bewertung . Es gibt so viel mehr , was neben Postleitzahl , Alter , aktuellen Ausgaben und Einnahmen wichtig sein kann . Es gibt so viele individuelle Lebensumstände , über die wir auch heute schon Daten besitzen . Aber wie immer : Wir haben die Daten , haben sie nur nicht ordentlich analysiert . Eine KI kann das machen und kann Annahmen live ändern , korrigieren , dazulernen . Ich kenne ein großes deutsches Unternehmen , das fürs Marketing jetzt schon so unglaublich viele Daten nutzt und über 2.000 Kundenprofile aufgesetzt hat . Also viel individueller als das , was Banken nutzen , obwohl Banken noch viel mehr Daten haben . Und dann kannst du mit Hilfe von KI schon modellieren : Wie könnte das Leben einer Person aussehen ? Mit unterschiedlichen Wahrscheinlichkeiten . Dann könntest du genauere Kreditbewertungen bekommen , als diese großen , groben Kategorien , die wir heute haben .

Stichwort Hyperpersonalisierung .

Auf jeden Fall . Natürlich kann man argumentieren : Na ja , aber lässt sich jedes Leben voraussagen ? Nein , lässt es sich natürlich nicht . Aber es lässt sich sehr viel besser voraussagen , was in den nächsten drei , fünf , zehn Jahren passiert , als wir das heute tun . Worauf wir heute gucken , das ist wirklich lächerlich . Ob ich heute in einer Partnerschaft zur Miete wohne ? Ich kann mich auch morgen trennen , dann habe ich die ganze Miete allein an der Backe . Da gibt es viele Daten , die wir nicht mit einbeziehen . Auf jeden Fall ist Hyperpersonalisierung da ein großes Thema . Ich glaube , auch in der Grauzone , also irgendwo in diesem Spektrum zwischen Best und Worst Case , wird natürlich die regulatorische Intervention eine Rolle spielen . Regulierungsbehörden werden sicherstellen müssen , dass Banken halbwegs transparente Modelle verwenden . Und wenn es da klare Vorschriften rund um das Thema Diskriminierung gibt , dann kann man auf fairere Kreditvergaben hoffen . Ich glaube , auch in diesem Medium-Szenario muss es irgendeine Art von Überwachung geben , eine Art „ KI-Auditor “, eine Rolle , die es heute so noch nicht gibt . Die wird es aber in der Finanzwelt geben müssen , um Modelle aktiv zu überwachen . In meiner Traumwelt ist das nicht eine Person , sondern ein Kollektiv vieler unterschiedlicher Menschen , die ganz gut repräsentieren , wer wir in der Bevölkerung sind . Das sind auch nicht alles nur KI-Spezialisten , sondern da gibt es eine Art „ AI Ethics Board “, das zumindest mit einbezogen wird oder das Best Practices herausgibt .

Was muss passieren , damit es so was in Deutschland gibt ?

Es müsste erstmal ein echtes Verständnis für Diversity geben . Und zwar nicht im Sinne von : Ja , das Thema ist uns total wichtig , deshalb zeigen wir das auch auf unserer Website . Sondern wirklich in den Strukturen von Unternehmen , auf jedem Hierarchie-Level . Aber darin findet sich heute immer noch so viel Diskriminierung für Frauen , migrantisierte Menschen , Menschen mit alternativen Bildungsweg , Menschen mit Behinderungen – es gibt so viele Diskriminierungsmerkmale , die in deutschen Unternehmen ignoriert werden und es wird behauptet , alles sei total fair und es werde nicht nach Geschlecht oder Herkunft , sondern nur nach Leistung bewertet .

Was ist noch wichtig in so einem „ AI Ethics Board “?

Da ginge es auch darum , Bankmitarbeitende , die die KI benutzen und mit ihrer Hilfe Entscheidungen treffen , die Kund : innen betreffen , nochmal in dem Thema DEI zu schulen . Also in diesem Mittelding ist KI so eine Art Werkzeug für inkrementelle Verbesserungen in der Kreditvergabe und gleichzeitig sind Regulierung , Überwachung , Bürgerbeteiligung entscheidend , damit Technologie – bzw . Technologie im Zusammenspiel mit Menschen – ethisch und verantwortungsvoll angewendet wird .

Das Interview führte Caro Beese