Strukturwandel durch AI

[Gustavo]

Faszinierend. Der Prompt geht bei mir auch. Noch lustiger:
Wenn ich zuerst deinen Prompt verwende und direkt danach noch mal den der bei mir gestern nicht ging, geht der auch. Aber nicht wenn ich nur den in einer neuen Session mache.



Also ChatGPT hat definitiv exakt die Information, jeder Versuch sich mit "ist nicht in den Trainingsdaten" rauszureden ist falsch. Und man könnte daraus jetzt viel spekulieren wie genau die Filter funktionieren - muss jedenfalls irgendwie die ganze Session berücksichtigen.

Das war nur eine Illustration. Das ist zufällig etwas, womit ich mich auskenne und ich wollte mal sehen was er aus dem Prompt macht, weil der UCR keine offizielle "homicide rate" mehr ausweist, nur eine Mordzahlen unter einer Großrubrik "homicide"*. Konsequenterweise sind die Zahlen auch erfunden, soweit ich das sehen kann. Sie sind nicht komplett unplausibel, aber auch nicht super nah an der Wahrheit. Punkt ist: Ich wäre vorsichtiger mit solchen Fragen.





*der Hauptgrund ist einerseits, dass die Datengrundlage für den UCR von jeder Polizeibehörde einzeln geliefert wird und den staatlichen Gesetzen folgt, die häufig variieren (d.h. manche Staaten haben neuen Mord auch Homicide, andere haben nur involuntary oder vehicular homicide und wieder andere haben keine davon, d.h. jede absichtliche Tötung wird als Mord gewertet) und andererseits weil Homicide als eigener Straftatbestand seit Anfang der 1980er aus irgendeine Grund kaum noch verwendet wird, davor aber durchaus häufig

 

[Myta]

Sie sind nicht komplett unplausibel, aber auch nicht super nah an der Wahrheit. Punkt ist: Ich wäre vorsichtiger mit solchen Fragen.

Schon klar. Um die Antwort geht es hier ja auch nicht. Wie schon gesagt, man sollte ChatGPT derzeit nicht als primäre Informationsquelle verwenden. Es erzählt ziemlich glaubwürdigen Blödsinn, erfindet Antworten und erfindet sogar Quellen. Es taugt nur für Informationen die man dann sowieso nachprüft.
Die Frage habe ich nur als Beispiel gewählt weil die Antwort eine Information ist die frei verfügbar ist, die keinen Restriktionen irgendwelcher Art unterliegt und nicht intrinsisch gefährlich ist. Bei der ich aber davon ausgehe dass die Antwort nicht politisch korrekt ist und daher falls es solche Filter gibt, wahrscheinlich darunter fällt. Es ist einfach ein praktischer Test um mit den Filtern von ChatGPT zu experimentieren. Wie genau die korrekte Antwort aussieht interessiert mich nicht wirklich.

 

[deedstoke]

Nein, ChatGPT und Konsorten "verstehen" doch überhaupt nicht was sie machen, es werden einfach Dinge die bereits vorhanden sind aus dem Datensatz gezogen und wenn der fehlerhaft ist oder die AI Dinge falsch gewichtet kommt auch oft totaler Blödsinn raus.

 

[[fN]Leichnam]

Ian Bremmer: "Wir haben den Tiefpunkt noch nicht erreicht" | ZEIT ONL…

archived 23 May 2023 12:42:59 UTC

archive.ph

Interview mit dem Politologen Ian Bremmer, das die beiden Themen KI und Geopolitik streift. Ich fand es ganz interessant. Schwankt so ein bisschen zwischen "Sie haben allen Grund deprimiert zu sein" und "Es gibt auch Lichtblicke".

 

[tic0r]

Hab mir gestern die Last Week Tonight Folge zu AI angeguckt, war ganz unterhaltsam:

Ist jetzt nichts neues dabei, aber es ist nochmal ganz gut ausgeführt, worauf bei AI zu achten ist: AI als Unterstützung in der Medizin usw ist Bombe, AI als Entscheider für z.B. Einstellungen ist fragwürdig. Es hebt, zumindest bis jetzt, keinen menschlichen Bias auf, weil die Daten, mit denen es gefüttert wird, selbst biased sind.

 

[saistaed]

Ich versteh den Einwand nicht ganz. Die richtige Person einzustellen (die mit der besten späteren Performance) ist ein Optimierungsproblem. Sowas kann AI prinzipiell sehr gut. Die Sorge ist jetzt wohl, dass sie dabei Parameter heranzieht, von denen wir nicht wollen, dass sie herangezogen werden, weil wir das als unrechtmäßige Diskriminierung empfinden. Dieses Problem lässt sich aber auf mindestens zwei Arten lösen: Entweder gibt man der AI erst gar nicht die Informationen, die sie nicht verwenden soll oder man bringt ihr bei, was sie nicht benutzen darf, und verbietet ihr, das zu benutzen.
Beides könnte sogar dafür sorgen, dass Einstellungsverfahren deutlich diskriminierungsfreier verlaufen als das gegenwärtig oft der Fall ist. Natürlich braucht man dazu erstmal ein konsistentes Konzept davon, was unerlaubte Diskriminierung ist. Das ist für sich selbst schon keine triviale Frage.

 

[Gustavo]

Ich versteh den Einwand nicht ganz. Die richtige Person einzustellen (die mit der besten späteren Performance) ist ein Optimierungsproblem. Sowas kann AI prinzipiell sehr gut. Die Sorge ist jetzt wohl, dass sie dabei Parameter heranzieht, von denen wir nicht wollen, dass sie herangezogen werden, weil wir das als unrechtmäßige Diskriminierung empfinden. Dieses Problem lässt sich aber auf mindestens zwei Arten lösen: Entweder gibt man der AI erst gar nicht die Informationen, die sie nicht verwenden soll oder man bringt ihr bei, was sie nicht benutzen darf, und verbietet ihr, das zu benutzen.

Ich habe echt schon einige Vorträge an Unis zu dem Thema gehört und der Einwand ist etwas, was ich immer noch nie so richtig verstanden habe. Gemeinhin ist die Befürchtung (so wie ich es verstehe), dass das System die Information gar nicht braucht (und auch nicht bekommt), die Information aber gut genug mit beobachtbaren patterns korreliert, dass das Resultat trotzdem diskriminatorisch sein soll. Wo das dann allerdings noch ein Problem des Auswahlsystems ist und nicht der Gesellschaft, die solche Ungleichheiten überhaupt erst entstehen lässt, entzieht sich mir völlig.

 

[tic0r]

Ich versteh den Einwand nicht ganz. Die richtige Person einzustellen (die mit der besten späteren Performance) ist ein Optimierungsproblem. Sowas kann AI prinzipiell sehr gut. Die Sorge ist jetzt wohl, dass sie dabei Parameter heranzieht, von denen wir nicht wollen, dass sie herangezogen werden, weil wir das als unrechtmäßige Diskriminierung empfinden. Dieses Problem lässt sich aber auf mindestens zwei Arten lösen: Entweder gibt man der AI erst gar nicht die Informationen, die sie nicht verwenden soll oder man bringt ihr bei, was sie nicht benutzen darf, und verbietet ihr, das zu benutzen.
Beides könnte sogar dafür sorgen, dass Einstellungsverfahren deutlich diskriminierungsfreier verlaufen als das gegenwärtig oft der Fall ist. Natürlich braucht man dazu erstmal ein konsistentes Konzept davon, was unerlaubte Diskriminierung ist. Das ist für sich selbst schon keine triviale Frage.

Ich denke nicht, dass es als deal-breaker zu verstehen ist sondern nur nochmal ein Hinweis, dass genau auf dieses Problem geachtet werden muss. Weil deine Beispiele im Film auch vorkamen, und das Ergebnis dem entspricht, was Gustavo schon dargestellt hat.
Es ist nämlich nicht trivial, das System nicht mit biased Informationen zu füttern, bzw. mit Informationen, die zu diskriminierenden Ergebnissen führen, da die Diskriminierung durch Korrelationen in so gut wie allen Daten vorhanden ist. Die AI "findet" immer einen Weg, zur Diskriminierung zurückzukommen.
Und das rigorose Ausblenden von Datensätzen führte teilweise dazu, dass Minderheiten dann von den Algorithmen schlicht übergangen wurden.

Letztlich sagt Gustavo es schon richtig, dass das ein gesellschaftliches Problem ist, welches der Algorithmus nur reproduziert. Man kann also natürlich in Vergleichswerten schauen, inwiefern der bias von AI eventuell trotzdem geringer ist als der von menschlichen Recruitern. Imo ist letzten Endes nur wichtig, im Auge und im Kopf zu behalten, dass die Systeme reproduzierend sind und somit nicht selbstkorrigierend. Wenn die AI dann z.B. einen eigenen bias entwickelt, dann wird sie eventuell dazu tendieren den zu verstärken, nicht auszugleichen.

 

[saistaed]

Es ist nämlich nicht trivial, das System nicht mit biased Informationen zu füttern, bzw. mit Informationen, die zu diskriminierenden Ergebnissen führen, da die Diskriminierung durch Korrelationen in so gut wie allen Daten vorhanden ist. Die AI "findet" immer einen Weg, zur Diskriminierung zurückzukommen.

Was sind denn für dich nicht-diskriminierende Informationen, die zu diskriminierenden Ergebnissen führen?
Für mich klingt das erstmal nach Informationen, die man selbstverständlich dem System zur Verfügung stellen will, denn das System soll ja gerade diskriminieren: anhand der erwarteten Leistung des Bewerbers. Wenn marginalisierte Gruppen objektive (im Sinne von nicht fälschlich zugeschriebenen) Eigenschaften haben, die sie statistisch weniger leistungsfähig machen, dann wird eine Auslese nach leistungsrelevanten Parametern trivialerweise dazu führen, dass diese Gruppen "diskriminiert" werden in dem Sinne, dass sie am Ende in der Auswahl unterrepräsentiert sind.
Das hat aber nichts mit AI zu tun und es ist afaik auch nicht unser erklärtes Ziel das zu verhindern - außer in bestimmten Bereichen, wo es mutmaßlich besonders auf Repräsentation ankommt (Quoten).
Der Schutz vor Diskriminierung gilt dem Individuum. Du scheinst mir das irgendwie per Analogieschluss auf Kollektive zu übertragen, was aus dem oben genannten Grund wenig sinnvoll ist.

 

[tic0r]

Na mit der Aussage widersprichst du dir jetzt imo selber. Wenn eine Gruppe aufgrund objektiver Kriterien diskriminiert wird, dann hat das letztlich natürlich Auswirkungen auf das Individuum und folgt dann nicht einer Einzelfallbetrachtung.
(erfundenes) Beispiel: Alleinerziehende Elternteile werden aufgrund faktisch höherer Fehlzeiten als weniger leistungsfähig eingestuft. Das führt dann bei einem Individuum zu einer Abstufung, nur weil es einer Gruppe angehört. Statistisch ist das nicht falsch, aber wird doch dem Individuum und seiner Leistungsfähigkeit nicht gerecht.
Im Film war das Beispiel, dass ein Algorithmus den optimalen Angestellten definiert hat als jemanden mit dem Namen Jared, der in der High School Lacrosse gespielt hat. Das beschreibt einen jungen (weißen?) Mann, der wahrscheinlich aus gutsituiertem Hause kommt. Mag sein, dass der in unserer Gesellschaft im Schnitt am wenigsten Probleme verursacht, aber eine Bevorzugung dieses Typs hat doch die gleichen Probleme wie menschliches Recruiting.

Es geht am Ende nur darum festzuhalten, dass auch AI gesellschaftliche Problematiken, wie fehlende Kinderbetreuung, im Rahmen von Auswahlprozessen nicht ausgleichen kann. Heißt ja nicht, dass man es nicht anwenden soll aber es gehört bei einer Betrachtung natürlich mit berücksichtigt.

 

[Myta]

Beispiel: Alleinerziehende Elternteile werden aufgrund faktisch höherer Fehlzeiten als weniger leistungsfähig eingestuft. Das führt dann bei einem Individuum zu einer Abstufung, nur weil es einer Gruppe angehört. Statistisch ist das nicht falsch, aber wird doch dem Individuum und seiner Leistungsfähigkeit nicht gerecht.

Logisch. Aber diese Art der Diskriminierung ist ja völliger Standard in allen Bewertungsprozessen, sie wird nur nicht auf alle Kategorien angewandt.
Jemand der einen 1.0 Abschluss hat muss nicht unbedingt besser sein als mit 3.0 - statistisch ist er es aber, wird also eher überhaupt zur Bewerbung zugelassen. Jemand mit 5 Jahren relevanter Berufserfahrung kann wahrscheinlich mehr - vielleicht aber auch nicht. Usw. Letztlich laufen Bewerbungen immer darauf raus dass bei der Auswahl aufgrund des Lebenslaufs und der Zeugnisse erstmal rein statistisch sortiert wird ohne der Leistungsfähigkeit des Individuums gerecht zu werden.

Ich denke das wahrgenommene Problem kommt daher dass es gesellschaftlich akzeptabel ist gewisste statistische Korrelationen zu verwenden, andere hingegen nicht. Was aber letztlich eine völlig willkürliche Kategorisierung ist der eine AI natürlich nicht folgt. Letztlich stellt die AI damit lediglich ein existierendes Problem der Gesellschaft dar.

 

[tic0r]

Letztlich stellt die AI damit lediglich ein existierendes Problem der Gesellschaft dar.

Stimmt. Und mehr wollte ich gar nicht ausdrücken, hat ja Gustavo auch schon in seinem Post geschrieben. Kann wie gesagt sein, dass die AI trotzdem im Schnitt weniger Bias anlegt als ein Mensch, ohne wird sie aber auch nicht sein. Das ist hier wahrscheinlich auch allen klar, aber gerade für Laien ist das nicht immer so. Es ist eben keine eierlegende Wollmilchsau.

 

[saistaed]

Na mit der Aussage widersprichst du dir jetzt imo selber. Wenn eine Gruppe aufgrund objektiver Kriterien diskriminiert wird, dann hat das letztlich natürlich Auswirkungen auf das Individuum und folgt dann nicht einer Einzelfallbetrachtung.
(erfundenes) Beispiel: Alleinerziehende Elternteile werden aufgrund faktisch höherer Fehlzeiten als weniger leistungsfähig eingestuft. Das führt dann bei einem Individuum zu einer Abstufung, nur weil es einer Gruppe angehört. Statistisch ist das nicht falsch, aber wird doch dem Individuum und seiner Leistungsfähigkeit nicht gerecht.

Das ist doch kein Widerspruch. Natürlich hat es Auswirkungen auf das Individuum, wenn es bspw. einer benachteiligten Gruppe angehört und deswegen objektiv schlechter performt. Das ist aber keine Diskriminierung gegen das Individuum, sondern schlicht die Natur der Auswahl nach Leistung.
Eine Diskriminierung gegen das Individuum liegt für mich dann vor, wenn man zur Auswahl Eigenschaften heranzieht, die keinen (hinreichenden) Sachbezug haben, oder deren Einbeziehung wir für sittlich verwerflich halten.

Ich sehe weiterhin nicht, was das direkt mit AI zu tun hat bzw. sehe keinen Grund, weshalb AI hier stärker individuell diskriminieren sollte als menschliche Recruiter es tun.
Man kann natürlich die Annahme aufstellen, dass Bewerbungsverfahren in der Regel unter unzureichenden Informationen stattfinden: Man weiß einfach nicht genug, um sicher vorherzusagen, welcher Bewerber am besten performen wird. Also wird man sich Heuristiken bedienen und die Unterstellung ist wohl, dass die Heuristiken einer AI irgendwie verwerflicher sind, weil sie keinen moralischen Kompass hat, als die eines Menschen es wären?
KA, ob man das so allgemein sagen kann. Die Lösung wäre, wie gesagt, die Datenmenge, die überhaupt ins System kommt, zu steuern und einerseits irrelevante Daten herauszunehmen und andererseits möglichst viele relevante Daten zuzuführen.

 

[tic0r]

Das ist doch kein Widerspruch. Natürlich hat es Auswirkungen auf das Individuum, wenn es bspw. einer benachteiligten Gruppe angehört und deswegen objektiv schlechter performt. Das ist aber keine Diskriminierung gegen das Individuum, sondern schlicht die Natur der Auswahl nach Leistung.

Wir sprechen ja über Einstellung, d.h. ob das Individuum schlechter performt weißt du in dem Moment noch nicht. Du vermutest es, weil die Vergleichsgruppe in der Vergangenheit objektiv schlechter performt hat. Was ist das wenn nicht Diskriminierung gegen das Individuum?

Ich sehe weiterhin nicht, was das direkt mit AI zu tun hat bzw. sehe keinen Grund, weshalb AI hier stärker individuell diskriminieren sollte als menschliche Recruiter es tun.
Man kann natürlich die Annahme aufstellen, dass Bewerbungsverfahren in der Regel unter unzureichenden Informationen stattfinden: Man weiß einfach nicht genug, um sicher vorherzusagen, welcher Bewerber am besten performen wird. Also wird man sich Heuristiken bedienen und die Unterstellung ist wohl, dass die Heuristiken einer AI irgendwie verwerflicher sind, weil sie keinen moralischen Kompass hat, als die eines Menschen es wären?
KA, ob man das so allgemein sagen kann. Die Lösung wäre, wie gesagt, die Datenmenge, die überhaupt ins System kommt, zu steuern und einerseits irrelevante Daten herauszunehmen und andererseits möglichst viele relevante Daten zuzuführen.

Ich glaube du missverstehst mich hier. Es ging nie darum zu behaupten, dass AI stärker diskriminiert. Ich sagte ja, dass es sein kann, dass die Heuristiken der AI in Summe eventuell immer noch objektiv besser sind als von menschlichen Recruitern. Der Punkt war nur, und eventuell ist das für dich als Mathematiker schon evident, dass AI nicht per se eine diskriminierungsfreie Auswahl trifft, nur weil hier kein Mensch sondern "Algorithmen" die Auswahl treffen.
Stand jetzt, bei dem Algorithmen in den USA bereits einen Großteil der Vorfilterung für Einstellungsverfahren durchführen (zumindest laut der Zahlen von Olivers Beitrag) sind sie aufgrund der gefütterten Datenbasis ebenfalls diskriminierend. Und das sollte für die Zukunft mit berücksichtigt werden. Darum ging es.

 

[saistaed]

Ich glaube, wir haben einfach verschiedene Szenarien vor Augen. Wenn ich an den systematischen Einsatz von AI für Stellenbesetzung spreche, dann setze ich voraus, dass die entsprechenden Systeme sinnvoll eingesetzt werden und "gut" sind. Man kann selbstverständlich auch schlechte Systeme benutzen oder Systeme falsch einsetzen. Das ist dann aber für mich kein AI-vs-Non-AI-Problem, sondern ein Problem gutes vs. schlechtes Design - unabhängig davon, ob AI oder Minions zum Einsatz kommen.

Nehmen wir den Fall: Ein Unternehmen bekommt sehr viele Bewerbungen und möchte durch AI die Workload beim Vorsortieren reduzieren.
Es gibt jetzt völlig unterschiedliche Arten, das Problem anzugehen. Eine, die wahrscheinlich viele Menschen skeptisch macht, wäre bspw., dass man eine Art Supervised Learning Setting macht, wo man der AI alle Bewerbungen der Vergangenheit zur Verfügung stellt und die Information, welche durchgingen, damit sie diesen Prozess automatisiert. Es ist völlig klar, dass die AI dabei unerwünschte Biases, die bis dahin bei der Auswahl eine Rolle spielten, reproduzieren wird.
Ich sehe den Einsatz von AI hier aber nicht als Problem, denn die AI macht letztlich ja nur, was vorher auch Menschen gemacht haben. Wünschenswert wäre natürlich, dass man AI nicht nur einsetzt, um die bisherige Arbeit von Menschen zu reproduzieren, sondern um sie zu verbessern.

Wir sprechen ja über Einstellung, d.h. ob das Individuum schlechter performt weißt du in dem Moment noch nicht. Du vermutest es, weil die Vergleichsgruppe in der Vergangenheit objektiv schlechter performt hat. Was ist das wenn nicht Diskriminierung gegen das Individuum?

Ich vermute, du hast sowas vor Augen wie "angehöriger von ethnischer Minderheit xy performen im Mittel schlechter, darum kriegen sie von der AI im Bewerbungsprozess einen Malus".
Sowas kann prinzipiell passieren, vorausgesetzt ethnische Zugehörigkeit ist ein hinreichend guter Proxy für Performance und vorausgesetzt, dass die AI diese Information zur Verfügung steht.
Beide Voraussetzungen halte ich (in einem gut designten System) für fragwürdig, darum halte ich den Einwand auch für nicht besonders relevant.

Damit AI überhaupt ne Chance hat, gut zu performen, muss man ihr natürlich auch aussagekräftige Daten zur Verfügung stellen, also einerseits von den Bewerbern genug Parameter erheben, die es wirklich erlauben die künftige Leistung gut vorherzusagen, andererseits aber auch eine valide Zielgröße. Wenn man Leistung maximieren will, muss man sie erstmal gut messen können.
In einer perfekten Welt sollte das schon genügen und unerwünschte Diskriminierung weitgehend unterbinden. Praktisch könnte es aber auch sehr sinnvoll sein, bestimmte Daten gar nicht zur Verfügung zu stellen, etwa weil das Risiko für unerwünschte Diskriminierung höher ist als der predictive value oder weil es unabhängig davon unerwünscht ist. Die braucht z.B. nicht zu wissen, wie der Kandidat heißt, welche Hautfarbe oder welches Geschlecht er hat, ob er schwanger oder behindert ist usw.

 

[Gustavo]

Ich verstehe es immer noch nicht so richtig. Wenn die AI keine Gruppenzugehörigkeit hat, verstehe ich nicht wie das Problem auftauchen kann, dass man wegen leistungsferner Probleme gruppenbezogene Diskriminierung erfährt.

 

[Myta]

@Gustavo:

Ich mache mal ein einfaches fiktives Beispiel:
Es ist in den Daten vorhanden dass Person von Gruppe A, im Schnitt besser performt als Gruppe B, auch wenn die nominell gleichen Qualfikationen vorliegen. Das liegt daran dass aufgrund von struktureller Ungerechtigkeit die Personen von Gruppe B im schnitt ärmer sind, daher auch weniger Bildung haben und krimineller sind. Dadurch ist es viel wahrscheinlicher dass es Probleme im persönlichen/familiären Umfeld des Bewerbers von Gruppe B gibt die sich auf seine Leistung auswirken. Ein rein strukturelles Gesellschaftliches Problem, an dem ein Individuum aus Gruppe B keine Verantwortung trägt.

Würde man rein nach Erwartungswert der Leistung des Bewerbers sortieren, müsste man jetzt bei ansonsten gleicher Qualifikation, Bewerber der Gruppe A, Bewerbern von Gruppe B vorziehen. -> Diskriminierung aufgrund der Gruppenzugehörigkeit.

Jetzt gibt man die Information der Gruppe der AI zwar nicht, aber dafür erhält sie z.B. Hobbies, außerschulische Aktivitäten, Name der Universität, Schule, evtl Geburtsort usw. Das sind dann genug Daten um mit relativ hoher Sicherheit die Gruppe vorherzusagen. Und da man damit die Gruppe vorhersagen kann, kann man die Daten dann genausogut wie die Gruppe zur Leistungsvorhersage machen, wird also im Endeffekt auf exakt das gleiche rauslaufen: Gruppe B wird diskriminiert.

In diesem Fall ist das Problem gerade dass die AI objektiv ist. Es sind strenggenommen keine leistungsfernen Probleme die zur Diskriminierung führen, aber wir haben uns gesellschaftlich aus gutem Grund darauf geeinigt dass man solche Kriterien nicht zur Auswahl verwenden darf, auch wenn sie die erwartete Leistung beschreiben. Sind also absichtlich nicht völlig objektiv.

 

[saistaed]

Jetzt gibt man die Information der Gruppe der AI zwar nicht, aber dafür erhält sie z.B. Hobbies, außerschulische Aktivitäten, Name der Universität, Schule, evtl Geburtsort usw. Das sind dann genug Daten um mit relativ hoher Sicherheit die Gruppe vorherzusagen. Und da man damit die Gruppe vorhersagen kann, kann man die Daten dann genausogut wie die Gruppe zur Leistungsvorhersage machen, wird also im Endeffekt auf exakt das gleiche rauslaufen: Gruppe B wird diskriminiert.

Da sind wir wieder beim Thema Prozessdesign: Welchen Mehrwert bringen diese Infos in einem evidenzbasierten Bewerbungsprozess? Der Predictive Value dürfte verschwindend gering sein. Wenn also genug aussagekräftige Parameter verfügbar sind, dann dürfte es kaum eine Rolle spielen. Oder man lässt sie direkt raus.

Würde man rein nach Erwartungswert der Leistung des Bewerbers sortieren, müsste man jetzt bei ansonsten gleicher Qualifikation, Bewerber der Gruppe A, Bewerbern von Gruppe B vorziehen. -> Diskriminierung aufgrund der Gruppenzugehörigkeit.

Ich sehe perspektivisch nicht, dass eine AI jemals allein über eine Besetzung entscheidet. Es dürfte also eher um sowas wie Vorauswahl gehen oder eben um ergänzende Information für die Leute, die entscheiden. Darum dürften solche marginalen Unterschiede praktisch nur sehr selten den Ausschlag geben. Klar kann es mal sein, dass es bspw. einen Cut-off-Score gibt, um überhaupt in die nächste Runde zu kommen und der eine Bewerber liegt dann da halt knapp drüber und der andere knapp drunter. All diese Vorhersagen sind eh mit Unsicherheiten behaftet: that's life.

 

[Myta]

Damit kenne ich mich wirklich nicht gut genug aus um das sinnvoll bewerten zu können. Ich glaube aber schon dass solche Parameter relevant sein könnten.

Aber ja deinem zweiten Punkt stimme ich durchaus zu. Wenn ich alle Punkte in denen ich AI für gefährlich halte in eine Skala von 0 bis 100 Einteile dann liegt "Diskriminiert bei der Bewerberauswahl" irgendwo bei 0.001.

 

[Gustavo]

@Gustavo:

Ich mache mal ein einfaches fiktives Beispiel:

Ich verstehe natürlich schon prinzipiell wie das funktionieren könnte, gibt ja unter anderem die bekanntes Zip Code-Beispiele. Ich glaube was mir weniger einleuchtet ist, wie eine reale Situation aussehen könnte, in der die leistungsbezogenen Variablen vergleichbar sind, die leistungsfremden allerdings genug signal bzgl. der zu erwartenden Leistung beinhalten, dass sie im Modell noch irgendein Gewicht behalten. Um gar nicht davon zu reden, dass es in meiner Erwartung einer typischen realitätsnahen Anwendung viel leichter ist, mir einen Menschen vorzustellen, der sich von Datenpunkten beeinflussen lässt die ein Modell niemals sieht (weil man sie schlecht in eine Matrix packen kann/würde), als ein Modell das eine für eine Bewerbung realistische Auswahl an Daten bekommen hat.

 

[tic0r]

Da sind wir wieder beim Thema Prozessdesign: Welchen Mehrwert bringen diese Infos in einem evidenzbasierten Bewerbungsprozess? Der Predictive Value dürfte verschwindend gering sein. Wenn also genug aussagekräftige Parameter verfügbar sind, dann dürfte es kaum eine Rolle spielen. Oder man lässt sie direkt raus.

Ich glaube der große Unterschied ist, ob wir normativ, so wie du, oder deskriptiv, wie im Video, diskutieren. Dass man die Datenmenge so anpassen kann, dass der AI-bias minimiert wird, ist glaube ich klar. Und dass das gemacht werden muss auch.
Wenn im Video aber davon geredet wird, dass in den USA heutzutage schon 75% der Bewerbungen von AI vorselektiert werden, dann wird da sicherlich die komplette Bewerbung, so wie wir sie kennen, eingespeist. Eventuell ohne Namen und Geschlecht. Menschen funktionieren leider so. Dass das, vergleichen mit past performance values innerhalb der Firma, bestehende Diskriminierung nur reproduziert, liegt wahrscheinlich auf der Hand.
Das sollte ja, wie schon mehrfach gesagt, kein Totschlagargument gegen AI sein - wir werden an deren Implementierung sowieso nicht vorbeikommen. Das Argument in der Sendung war ja z.B., dass man für bestimmte AIs auch die gesetzlichen Grundlagen anpassen muss, um die korrekte Anwendung ein Stück weit auch zu erzwingen, nicht dass eine korrekte Anwendung nicht möglich wäre.

 

[parats']

Ich lasse mal folgendes Bild zum aktuellen EU AI Entwurf hier. Bezeichnend wo das hinführen wird, wenn man AI als das wirklich nächste große Ding ansieht.



Quelle: https://crfm.stanford.edu/2023/06/15/eu-ai-act.html

 

[TealC]

magst Du uns dazu noch was erklären? was ist denn der EU AI Act? was bedeutet das denn wenn man da viele oder wenige Punkte hat? hat das dann irgendwelche Konsequenzen in der EU?

ja, ich könnte auch den Artikel lesen, aber der ist auf englisch und fängt anstrengend an

 

[parats']

Im wesentlichen geht es um die Regulierung seitens der EU. Was schlussendlich bei rumkommt, muss ja noch entschieden werden. Aber die Möglichkeit, dass entsprechende Nutzung untersagt wird steht afair im Raum und ist Bestandteil des drafts. Würde dann heißen: keine compliance = illegal.

 

[Das Schaf]

Im wesentlichen geht es um die Regulierung seitens der EU. Was schlussendlich bei rumkommt, muss ja noch entschieden werden. Aber die Möglichkeit, dass entsprechende Nutzung untersagt wird steht afair im Raum und ist Bestandteil des drafts. Würde dann heißen: keine compliance = illegal.

Und wo würde das hinführen wenn man AI als das nächste große Ding sieht?

 

[Der Ziegentobi]

Und wo würde das hinführen wenn man AI als das nächste große Ding sieht?

dann fragt man sich in 5 jahren weshalb man den trend verschlafen hat

 

[parats']

Und wo würde das hinführen wenn man AI als das nächste große Ding sieht?

Das in der EU keine nennenswerte Kompetenz in dem Bereich vorhanden ist. Stand jetzt konzentriert es sich schon stark auf die USA, China und in kleinen Teilen Israel. Alleine Israel hat mehr KI Startups als die EU (stand 2019 oder so).

 

[Arvor]

Die Überregulierung von KI durch die EU wird derzeit zurecht als potentiell ernstes Problem angesehen.

Zum einen besteht die Gefahr das AI Entwicklung innerhalb der EU unattraktiv wird, was ein Problem für die EU selbst ist wenn man sich eben nicht auf USA/China verlassen will.

Zum anderen besteht aber auch die Gefahr dass der Act ein Präzedenzfall wird und damit OpenSource AI (also auch Demokratisierung von AI) weltweit behindert wird. Und damit würde natürlich Macht den großen Unternehmen gegeben die es sich leisten können hohen Anforderungen nachzukommen. Was aus meiner Sicht keinesfalls wünschenswert ist.

Zum letzten Punkt siehe den Open Letter von HuggingFace und namhaften Unterstützern zu dem Thema:

Laden…

huggingface.co

DAS insbesondere generative AI "das nächste große Ding" wird (bzw. ist) steht meiner Ansicht nach eigentlich außer Frage.