Digitalisierung Deutschland

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
Die Verschlüsselung an sich kostet erstmal nichts. Man könnte z.B. das Elster Zertifikat für weitere Dienste nutzen und den Nutzer über eine Weboberfläche Dateien hochladen lassen. Und die Formulare gleich digital anbieten.

Weißt auch nicht warum es dass nicht einmal als generisches System für alle geben kann mit Ansteuerung über API, wenn man größere Menge Daten hin und herschicken will. Will nicht wissen wie oft ähnliche Systeme schon drölf mal für verschiedene Behörden auf Bund/Land/Kommunenebene gebaut wurden.
 

Das Schaf

Tippspielmeister WM 2018
Mitglied seit
27.06.2002
Beiträge
21.753
Reaktionen
4.911
Ort
Wo auf den Bergen Schlösser wachsen
Weißt auch nicht warum es dass nicht einmal als generisches System für alle geben kann mit Ansteuerung über API, wenn man größere Menge Daten hin und herschicken will. Will nicht wissen wie oft ähnliche Systeme schon drölf mal für verschiedene Behörden auf Bund/Land/Kommunenebene gebaut wurden.
Weil Föderalismus.
 

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
Ja leider wahr.

Irgendwie allen bewusst, aber ändern kann oder will man nichts
 
Mitglied seit
21.08.2010
Beiträge
7.843
Reaktionen
1.021
Nachdem ich so manche Leute auf verschiedenen Leveln der Kommunalverwaltung kennengelernt habe, ist mein Eindruck auch, dass es schlicht nicht ansatzweise genügend kompetente Leute gibt.

Wenn man sieht, dass das BKA/LKA teils KI-Fachleute sucht und nur E13 bieten kann für einen Bereich in dem das nur ein mäßiges Gehalt ist, dann wundert es einfach nicht. Die Kommunen sind da vermutlich sehr den Dienstleistern ausgeliefert. Je kleiner desto ausgelieferter.
 
Mitglied seit
11.07.2021
Beiträge
231
Reaktionen
79
Weißt nicht zufällig welche KI-Fachleute (bin selber KI-Bildverarbeiter) das BKA/LKA sucht oder? E13 würde mir gar nichts ausmachen, hatte den ÖD bis auf die Hochschulen/Institute aber bisher gar nicht auf dem Schirm. Ich denke ich mach mich da mal schlau hm.
 

Celetuiw

StarCraft: Brood War
Mitglied seit
01.04.2008
Beiträge
6.217
Reaktionen
2.021
Vorsicht bei solchen Formulierungen wie hier in der dritten Anzeige

"bis zur Entgeltgruppe 13 TV-L."
Da wird fix weniger draus. Man sollte drauf achten, dass die gewünschte/faire Entgeltgruppe direkt im Arbeitsvertrag steht. Nachverhandeln ist hart im ÖD.
 
Mitglied seit
07.09.2002
Beiträge
653
Reaktionen
1
Das mit der Digitalisierung der öffentlichen Verwaltung wird nichts. Es wird immer geredet, dass man so viele Millionen zur Verfügung stellt. Aber wenn das Geld nicht zielgenau ausgegeben wird, wie z.b. für kompetente Mitarbeiter, die dann halt auch kosten, für moderne Programme, die ganzen Abläufe modernisiert werden etc. wird nichts bei rum kommen.
Bei dem zur Verfügung gestellten Geld / Budget handelt es sich in der Regel auch nur um ein Jahresbudget, das auch noch oft erst am Anfang des Jahres freigegeben wird. Wie soll dann innerhalb eines Jahres ein komplettes Projekt umgesetzt werden, für das man dann auch noch erst Mitarbeiter suchen muss. Da machen dann die Umsetzer in den öffentlichen Einrichtungen lieber nichts, weil es könnte ja sein, dass das Budget nicht verlängert wird.
Kompetente MA im ÖD wird man eh immer weniger finden, wenn man sieht, dass das einzige Gimmick des ÖD nur noch der sichere Arbeitsplatz ist. Sonst bekommt man da gar nichts.
Hab ja auch im ÖD im Bereich Digitalisierung mitgearbeitet. Hab jetzt gekündigt. Konnte es mir u.a. nicht mehr anschauen, mit was für einem Müll man sich beschäftigen muss ...
 

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
Bei dem zur Verfügung gestellten Geld / Budget handelt es sich in der Regel auch nur um ein Jahresbudget, das auch noch oft erst am Anfang des Jahres freigegeben wird. Wie soll dann innerhalb eines Jahres ein komplettes Projekt umgesetzt werden, für das man dann auch noch erst Mitarbeiter suchen muss. Da machen dann die Umsetzer in den öffentlichen Einrichtungen lieber nichts, weil es könnte ja sein, dass das Budget nicht verlängert wird.

Naja oder es wird halt Projekt für Projekt etwas gemacht, was eigentlich ein gesamthaftes Projekt sein sollte und wundert sich dann, dass man drölf unterschiedliche Projekte, System whatever hat, die keine gemeinsamen Standards etc haben.
 
Mitglied seit
21.08.2010
Beiträge
7.843
Reaktionen
1.021
Vorsicht bei solchen Formulierungen wie hier in der dritten Anzeige

"bis zur Entgeltgruppe 13 TV-L."
Da wird fix weniger draus. Man sollte drauf achten, dass die gewünschte/faire Entgeltgruppe direkt im Arbeitsvertrag steht. Nachverhandeln ist hart im ÖD.
Eben. Gerade bei dem Tätigkeitsprofil ist man mit solchen Sperenzchen bei den guten Leuten sofort raus. Gerade in einem Bereich, in dem eigentlich gute Leute gebraucht würden, ist das ziemlich traurig.

Naja oder es wird halt Projekt für Projekt etwas gemacht, was eigentlich ein gesamthaftes Projekt sein sollte und wundert sich dann, dass man drölf unterschiedliche Projekte, System whatever hat, die keine gemeinsamen Standards etc haben.
+ Man wundert sich warum nichts zusammenpasst und nichts funktioniert.
 

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Passt hier wohl noch am besten rein: https://www.faz.net/aktuell/politik...ich-zu-herausforderungen-von-ki-18761559.html

Deutschlands wertvollste erneuerbare Ressource, die Ethik, wird bemüht, um "Vorgaben für KI" zu machen. Erstaunlich dabei: Der Ethik-Rat, hauptsächlich besetzt mit Theologen, Juristen und Medizinern ist der Meinung, dass man Entscheidungen nicht einfach so der Maschine überlassen sollte. Könnte ja jemand anfangen sich zu fragen, ob intellektuell eher niedere Tätigkeiten wie rechtliche Subsumtion oder medizinische Diagnostik nicht vielleicht übervergütet werden. 🤔
 

Shihatsu

Administrator
Mitglied seit
26.09.2001
Beiträge
47.022
Reaktionen
9.118
Wollte gerade mal schauen ob die inhaltlich (also so von technischer Seite her) wenigstens einen richtigen Experten (CCC, Digital Courage, noyb, IETF, ...) dabei haben, bin aber als erste auf Julian Nida-Rümelin gestossen und hatte nach meinem Kotzanfall keinen Bock mehr. Wenn solche Leute da an der Entscheidungsfindung über etwas technisches beteiligt sind, weiß ich was rauskommt. This World shall burn...
 

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Wollte gerade mal schauen ob die inhaltlich (also so von technischer Seite her) wenigstens einen richtigen Experten (CCC, Digital Courage, noyb, IETF, ...) dabei haben, bin aber als erste auf Julian Nida-Rümelin gestossen und hatte nach meinem Kotzanfall keinen Bock mehr. Wenn solche Leute da an der Entscheidungsfindung über etwas technisches beteiligt sind, weiß ich was rauskommt. This World shall burn...

Lol, ich bitte dich. Sie können zwei Physiker (einer beim Patentamt) und eine Psychologin, die offensichtlich hin und wieder über KI nachdenkt, anbieten. Näher als das hier kommen sie der Geschichte nicht und das ist schon nicht sehr nah: https://de.wikipedia.org/wiki/Armin_Grunwald
 

Shihatsu

Administrator
Mitglied seit
26.09.2001
Beiträge
47.022
Reaktionen
9.118
Tschuldigung, muss wohl an meinen Ansprüchen arbeiten :raul:
 
Mitglied seit
17.10.2006
Beiträge
6.776
Reaktionen
1.086
Ort
Köln
Naja
Passt hier wohl noch am besten rein: https://www.faz.net/aktuell/politik...ich-zu-herausforderungen-von-ki-18761559.html

Deutschlands wertvollste erneuerbare Ressource, die Ethik, wird bemüht, um "Vorgaben für KI" zu machen. Erstaunlich dabei: Der Ethik-Rat, hauptsächlich besetzt mit Theologen, Juristen und Medizinern ist der Meinung, dass man Entscheidungen nicht einfach so der Maschine überlassen sollte. Könnte ja jemand anfangen sich zu fragen, ob intellektuell eher niedere Tätigkeiten wie rechtliche Subsumtion oder medizinische Diagnostik nicht vielleicht übervergütet werden. 🤔
Naja aber passt das nicht zusammen? Man kann KI doch hervorragend zur Diagnostik verwenden und ihr gleichzeitig nicht Entscheidungen überlassen, was ich auch so unterschreiben würde. Entscheidungen durch ein System treffen zu lassen, bei dem man nicht weiß wie dieses System zu der Entscheidung gelangt ist, ist imo keine gute Idee. Mehr technische Experten in der Diskussion wären natürlich trotzdem zu begrüßen.
 

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
So schlimm ist der Artikel jetzt auch nicht, aber naja ist halt hier Job da zu mahnen. Ähnliche einflussreich wie der Bundesrechnungshof, oder?
 
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Naja, was soll an einer so butterweichen Stellungnahme auch falsch sein? Das liest sich doch wie eine Antwort von EthikratGPT auf "erzähl mir mal, was der deutsche Ethikrat so zu KI raten würde".
Wenigstens rügen sie explizit, wie Datenschutz die Forschung hemmt.

Alena Buyx ist als Vorsitzende ja nicht das Schlechteste, was der deutschen Öffentlichkeit hätte passieren können, insbesondere während der Pandemie. Aber ihre Vorstellung neulich bei Lanz zu dem Thema wirkte etwas hilflos. Schade, dass man aus dem Thema nicht mehr rausgeholt hat - wenn Sascha Lobo der technisch versierteste Experte in einer Runde ist, die sonst noch Thomas de Maizière und einen Lehrer umfasst, dann sollte man vielleicht das Setup nochmal überdenken.
 
Zuletzt bearbeitet:

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Naja

Naja aber passt das nicht zusammen? Man kann KI doch hervorragend zur Diagnostik verwenden und ihr gleichzeitig nicht Entscheidungen überlassen, was ich auch so unterschreiben würde. Entscheidungen durch ein System treffen zu lassen, bei dem man nicht weiß wie dieses System zu der Entscheidung gelangt ist, ist imo keine gute Idee. Mehr technische Experten in der Diskussion wären natürlich trotzdem zu begrüßen.


Ich würde es zumindest für diskutabel halten, ob man bei einem Menschen so viel klarer sagen kann, wie er oder sie zu der Entscheidung gelangt. Menschen können natürlich sagen wie sie zu ihrer Einschätzung gekommen sind, aber ob das wirklich so stimmt steht halt auf einem anderen Blatt.

Sehe allerdings prinzipiell das Problem nicht: Man kann ja schlicht Resultate vergleichen. Irgendwie wird da immer so getan als wäre es ein inhärenter Wert, dass die Herleitung erklärbar ist. Warum kann man einfach davon ausgehen, Leute hätten lieber eine Prognose mit 96% Wahrscheinlichkeit, welche aber im Zweifelsfall ein Mensch erklären kann als eine mit einer höheren Wahrscheinlichkeit, die irgendwelche aufeinander gestapelten logistischen Regressionen errechnet haben? Bringt mir als Patient imho nicht mehr eine herleitbare, erklärte, aber mit höherer Wahrscheinlichkeit falsche Diagnose zu bekommen.


So schlimm ist der Artikel jetzt auch nicht, aber naja ist halt hier Job da zu mahnen. Ähnliche einflussreich wie der Bundesrechnungshof, oder?

Na ja, man könnte zumindest mal darüber nachdenken, ob die Vorteile die Bedenken nicht aufwiegen imho. Statt Kosten-Nutzen-Abwägung gibt es halt wieder Storys vom KI-Pferd. Mich stört einfach, dass die Leute die Fehler der AI nicht gegen die Fehler aufrechnen, die ein Mensch stattdessen macht. Kennst ja bestimmt auch solche Paper wie "Richter urteilen vormittags strenger als am morgen" (mutmaßlich weil sie hungrig sind und es noch kein Mittagessen gab). Dass AI sowas nicht passiert wird immer außen vor gelassen.
 
Zuletzt bearbeitet:
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Auf die Forderung, dass KI menschliche Entscheidungen nicht ersetzen dürfe, würde ich ja direkt zurückfragen: Wozu brauchen wir sie dann? Ich halte die Vorstellung von der rein beratenden KI, die menschliche Entscheidungsfindung nur enhancet, die Autorschaft aber unangetastet lässt, für eine Schimäre.
In ganz konkreten Bereichen wird man ab einem bestimmten Punkt feststellen, dass die Entscheidungen einer KI der von Menschen quantitativ/statistisch überlegen sind. Da KI eigentlich immer zu gewissen systematischen Fehlern neigt, ist menschliche Kontrolle ein Nice-to-have, wo es die Skalierbarkeit zulässt und/oder es als vertrauensbildende Maßnahme wenigstens für den Übergang erforderlich ist.
Dazu müssen wir halt auf einem fundamentalen Level akzeptieren, dass die KI anders funktioniert als wir und in vielen Bereichen auch andere Fehler macht, darunter welche, die uns fassungslos machen, weil sie in Situationen passieren, die für uns Menschen relativ trivial lösbar wirken. Solange die KI aber insgesamt immernoch deutlich besser performt als der Mensch, kann ich persönlich damit leben und ich hoffe, dass das im Endeffekt auch die meisten Menschen so sehen.
 

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Ich verstehe auch nicht, warum immer nur auf Verbesserungen innerhalb des bestehenden Systems gedrängt wird, statt sich mal zu fragen ob es sich nicht lohnen würde das System einfach zu ändern. Das war mein Hintergedanke beim ersten Post: Mediziner und Juristen denken natürlich, dass es unheimlich wichtig ist, dass irgendein Mensch die letzte Entscheidung trifft, weil sie zufällig diejenigen Menschen sind, die das auf ihrem Fachgebiet machen und dafür (recht ausgiebig) entlohnt werden. Warum man solche Besitzstandswahrung allerdings dringend unterstützen muss und sie sogar als ethisch wünschenswert erklärt verstehe ich allerdings weniger.
Irgendwann werden wir in Deutschland den Notar dafür bezahlen, dass er einmal Maustaste rechts drückt, um automatisierte Änderungen im Grundbuch vorzunehmen. Mutmaßlich immer noch Lohn anteilig am Kaufpreis. :mond:
 
Mitglied seit
17.10.2006
Beiträge
6.776
Reaktionen
1.086
Ort
Köln
Ich würde es zumindest für diskutabel halten, ob man bei einem Menschen so viel klarer sagen kann, wie er oder sie zu der Entscheidung gelangt. Menschen können natürlich sagen wie sie zu ihrer Einschätzung gekommen sind, aber ob das wirklich so stimmt steht halt auf einem anderen Blatt.

Sehe allerdings prinzipiell das Problem nicht: Man kann ja schlicht Resultate vergleichen. Irgendwie wird da immer so getan als wäre es ein inhärenter Wert, dass die Herleitung erklärbar ist. Warum kann man einfach davon ausgehen, Leute hätten lieber eine Prognose mit 96% Wahrscheinlichkeit, welche aber im Zweifelsfall ein Mensch erklären kann als eine mit einer höheren Wahrscheinlichkeit, die irgendwelche aufeinander gestapelten logistischen Regressionen errechnet haben? Bringt mir als Patient imho nicht mehr eine herleitbare, erklärte, aber mit höherer Wahrscheinlichkeit falsche Diagnose zu bekommen.
Es geht dabei nicht um Diagnostik: Wie gesagt sehe ich da auch die großen Vorteile der KI und würde sie liebend gerne einsetzen. Entscheidung, im medizinischen Kontext, sehe ich eher z.B. bei der Wahl der Therapieform.
Und da würde ich schon lieber die Prognose mit 96% Wahrscheinlichkeit nehmen, die aber herleitbar ist, als die, die eventuell in einigen Messungen höhere Wahrscheinlichkeiten erzeugt aber bei der ich keine Ahnung habe, wie sie zustande gekommen ist. Warum? Weil ich dann z.B. gar nicht einschätzen kann, ob ich das Kriterium, nach dem die Entscheidung getroffen wurde, genauso gewichten würde. Geht ja nicht immer darum was objektiv messbar besser ist. Oder ich kann auch nicht einschätzen, unter welchen Umständen der inhärente Fehler des Programms anfängt wegzulaufen. Vielleicht ist die Wahrscheinlichkeit des KI-Fehlers bei mir schon nicht mehr 0,1% sondern sogar schon 10% und ich weiß es gar nicht?
Vielleicht liegt es ja auch daran, dass ich halber Boomer bin, aber das brauch ich so nicht.


Na ja, man könnte zumindest mal darüber nachdenken, ob die Vorteile die Bedenken nicht aufwiegen imho. Statt Kosten-Nutzen-Abwägung gibt es halt wieder Storys vom KI-Pferd. Mich stört einfach, dass die Leute die Fehler der AI nicht gegen die Fehler aufrechnen, die ein Mensch stattdessen macht. Kennst ja bestimmt auch solche Paper wie "Richter urteilen vormittags strenger als am morgen" (mutmaßlich weil sie hungrig sind und es noch kein Mittagessen gab). Dass AI sowas nicht passiert wird immer außen vor gelassen.
Das sind für mich grundsätzlich 2 verschiedene Problemstellungen. Wie saistaed sagt gibt es da natürlich gewisse Hemmschwellen dafür, Kontrolle an Algorithmen zu übergeben, weil triviale Fehler überbewertet werden, selbst wenn die Gesamtperformance dem Menschen überlegen ist: Bestes Beispiel autonomes Fahren, bei dem der Wagen eventuell trotzdem nen Unfall baut, den ein Mensch nicht gemacht hätte. Da bin ich in Summe trotzdem für autonomes Fahren, was sicherlich in Statistiken trotzdem die besseren (sichereren) Werte erreichen wird. Da kann ich aber auch sehr genau den Algorithmus betrachten und die Entscheidungsfindung des Computers bewerten; die Fehler kommen i.d.R. ja eher aus Sensorikfehlern. Ist also imo eine andere Baustelle als die Frage danach, wie das System zu seiner Entscheidung gekommen ist.
 
Mitglied seit
16.08.2010
Beiträge
7.014
Reaktionen
1.424
Der Unterschied ist halt, dass man einen Menschen im Zweifelsfall belangen kann, einen Algorithmus nicht. Das gibt den Menschen ein Gefühl von Kontrolle und Gerechtigkeit.
 

zimms

StarCraft 2
Mitglied seit
20.06.2007
Beiträge
2.514
Reaktionen
262
Noch mehr Pop-ups. "Nutzung auf eigene Gefahr. Gelesen und akzeptiert."
 

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Es geht dabei nicht um Diagnostik: Wie gesagt sehe ich da auch die großen Vorteile der KI und würde sie liebend gerne einsetzen. Entscheidung, im medizinischen Kontext, sehe ich eher z.B. bei der Wahl der Therapieform.
Und da würde ich schon lieber die Prognose mit 96% Wahrscheinlichkeit nehmen, die aber herleitbar ist, als die, die eventuell in einigen Messungen höhere Wahrscheinlichkeiten erzeugt aber bei der ich keine Ahnung habe, wie sie zustande gekommen ist. Warum? Weil ich dann z.B. gar nicht einschätzen kann, ob ich das Kriterium, nach dem die Entscheidung getroffen wurde, genauso gewichten würde. Geht ja nicht immer darum was objektiv messbar besser ist. Oder ich kann auch nicht einschätzen, unter welchen Umständen der inhärente Fehler des Programms anfängt wegzulaufen. Vielleicht ist die Wahrscheinlichkeit des KI-Fehlers bei mir schon nicht mehr 0,1% sondern sogar schon 10% und ich weiß es gar nicht?


Na ja, wenn der inhärente Fehler bei dir 10% ist, dann muss er bei irgendwem anders deutlich geringer sein, damit das Gesamtresultat besser ist. Und du weißt halt a priori ja nicht, in welcher Gruppe du bist. Ich hätte auch nicht zwingend etwas dagegen dass Leute sich eine menschliche Zweitmeinung abholen, nur habe ich halt Bedenken bzgl. dessen, was saistaed auch meinte: Damit echte Effizientgewinne erreicht werden, kann es halt nicht sein dass jeder das macht.

Bei Niedrigverdienern rationieren wir alles mögliche weg, aber Gutverdienern sichern wir durch Regulierung ihre Stellung? Kann es imho auch nicht sein. Gerade Mediziner sind extrem teuer und werden effektiv vom Staat bezahlt, da könnte man durchaus einiges einsparen.



Das sind für mich grundsätzlich 2 verschiedene Problemstellungen. Wie saistaed sagt gibt es da natürlich gewisse Hemmschwellen dafür, Kontrolle an Algorithmen zu übergeben, weil triviale Fehler überbewertet werden, selbst wenn die Gesamtperformance dem Menschen überlegen ist: Bestes Beispiel autonomes Fahren, bei dem der Wagen eventuell trotzdem nen Unfall baut, den ein Mensch nicht gemacht hätte. Da bin ich in Summe trotzdem für autonomes Fahren, was sicherlich in Statistiken trotzdem die besseren (sichereren) Werte erreichen wird. Da kann ich aber auch sehr genau den Algorithmus betrachten und die Entscheidungsfindung des Computers bewerten; die Fehler kommen i.d.R. ja eher aus Sensorikfehlern. Ist also imo eine andere Baustelle als die Frage danach, wie das System zu seiner Entscheidung gekommen ist.


Vielleicht ist das nur ein Charakterunterschied zwischen uns, aber ich persönlich fände es jetzt auch nicht zwingend besser zu wissen, warum die Entscheidungsfindung fehlgeschlagen ist (wenn man nichts verbessern kann natürlich). Ob mich jetzt eine Fehldiagnose umbringt, weil die Trainingsdaten zufällig nicht gut auf mich passen oder ob mich die Fehldiagnose eines menschlichen Arztes umbringt, der gerade mental einen Hänger hat, macht für mich jetzt keinen größeren Unterschied als die Unterscheidung "Sensorik/Suffkopp".
 
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Wieso sollte man den Algorithmus nicht belangen können?
Oder zumindest den "Schreiber" des algos
Naja, das sind ja keine Algorithmen mehr im herkömmlichen Sinne. Da lässt sich die Verantwortung schon ganz gut hinterherschieben. Der eine wird sagen, es lag an der Neural-Network-Architektur, der andere macht irgendwelche Tweaks für den Fehler verantwortlich, wieder ein anderer wird den Fehler in den Trainingsdaten suchen, der nächste in der Dateneingabe usw.


Da bin ich in Summe trotzdem für autonomes Fahren, was sicherlich in Statistiken trotzdem die besseren (sichereren) Werte erreichen wird. Da kann ich aber auch sehr genau den Algorithmus betrachten und die Entscheidungsfindung des Computers bewerten; die Fehler kommen i.d.R. ja eher aus Sensorikfehlern. Ist also imo eine andere Baustelle als die Frage danach, wie das System zu seiner Entscheidung gekommen ist.
Es ist leider schlimmer als du denkst: Afaik sind die heutzutage verwendeten Architekturen zwar an sich robust: große Änderung des Outputs benötigen große Änderung des Inputs, aber das System ist immer anfällig in dem Sinne, dass aus Sicht eines Menschen triviale Input-Änderungen eine kritische Abweichung im Output produzieren können.
Der Trick besteht eben darin, dass die Konfidenz des Gesamtsystems (inklusive Daten) so hoch ist, dass diese "Freak Outlier" statistisch nicht ins Gewicht fallen.
 

Das Schaf

Tippspielmeister WM 2018
Mitglied seit
27.06.2002
Beiträge
21.753
Reaktionen
4.911
Ort
Wo auf den Bergen Schlösser wachsen
Naja, das sind ja keine Algorithmen mehr im herkömmlichen Sinne. Da lässt sich die Verantwortung schon ganz gut hinterherschieben. Der eine wird sagen, es lag an der Neural-Network-Architektur, der andere macht irgendwelche Tweaks für den Fehler verantwortlich, wieder ein anderer wird den Fehler in den Trainingsdaten suchen, der nächste in der Dateneingabe usw.
Dafür gibt's doch easy Gesetzgebungskompetenz . Wer die api anbietet ist dafür verantwortlich und haftbar.

Ich mein deine Verantwortungsfrage hat man heutzutage doch bei allem nicht ki zeug genau so schon
 
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Sicher, aber Fehler werden einfach eine andere Tragweite und Frequenz gewinnen, wenn bspw. eine Software in kritische Entscheidungsprozesse direkt eingebunden ist. Solange du mit relativ einfachen Systemen arbeitest, wo du im Wesentlichen aus demselben Input einen klar definierten Output produzierst, ist das System einerseits nicht in derselben Weise fehleranfällig und andererseits ist der Output in der Regel weniger kritisch.
 

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
Afaik ist bei manchen behördlichen Entscheidungen der Ermessensspielraum das Problem. Je nach KI Methode kann man dann eben nicht mehr darlegen warum die Entscheidung mal so und mal so gewesen ist und sieht dann schlecht bei Klagen aus.

Gewissen Sorgen kann ich verstehen, wenn KI auf menschlichen Entscheidungsdaten beruht. Beim Tumorscan kann man später "objektiv" gucken, ob es einer war oder nicht. Bei so Geschichten wie Frequenzzuteilungen kann ja jede Menge impliziter Bias in den Trainingsdaten enthalten sein.
 
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Afaik ist bei manchen behördlichen Entscheidungen der Ermessensspielraum das Problem. Je nach KI Methode kann man dann eben nicht mehr darlegen warum die Entscheidung mal so und mal so gewesen ist und sieht dann schlecht bei Klagen aus.
Das hängt ja auch von den Ansprüchen an einen Vertrag ab, oder? Man muss sich halt davon lösen, dass Programm X eine Abbildung von Y nach Z garantiert, sondern akzeptieren, dass der Erfolg eine Zufallsvariable ist. Wenn ich das als Anbieter klar kenntlich mache, kann sich der Anwender halt dagegen entscheiden, wenn ihm das nicht gut genug ist, oder er muss damit leben, dass das Programm in Einzelfällen auch grob daneben liegt.
Als Hersteller von einarmigen Banditen hafte ich ja auch nicht, wenn ein Casinobetreiber pleite geht, weil meine Maschine zehnmal hintereinander die Kasse geleert hat. Solange es eine Validierung gibt, dass die angepriesene Leistung erfüllt wird, sehe ich da kein Problem.
 

Benrath

Community-Forum
Mitglied seit
19.05.2003
Beiträge
19.780
Reaktionen
760
k.a. fehlt uns jetzt wohl der Jurist der dazu etwas beitragen kann. Mir wurde das häufig als Sorge genannt. Außerdem ist Zufall nicht das einzige Problem. Model X würde immer Y nach Z abbilden und Y* nach Z* und auch das muss ich irgendwie begründen können und kann es nicht wirklich je nach Modell.
 
Mitglied seit
17.10.2006
Beiträge
6.776
Reaktionen
1.086
Ort
Köln
Na ja, wenn der inhärente Fehler bei dir 10% ist, dann muss er bei irgendwem anders deutlich geringer sein, damit das Gesamtresultat besser ist. Und du weißt halt a priori ja nicht, in welcher Gruppe du bist. Ich hätte auch nicht zwingend etwas dagegen dass Leute sich eine menschliche Zweitmeinung abholen, nur habe ich halt Bedenken bzgl. dessen, was saistaed auch meinte: Damit echte Effizientgewinne erreicht werden, kann es halt nicht sein dass jeder das macht.
Ich glaube wir reden irgendwie aneinander vorbei. Du bist bei der Diagnostik und z.B. bei der KI-gestützten Tumorerkennung. Klar, echte Effizienz gibt es nur, wenn irgendwann kein Mensch mehr über die Aufnahmen schauen muss, sondern eine KI das komplett zusammenstellt und zum Ergebnis gelangt. Auch hier kann es sein, dass wir nicht genau wissen, wie die KI zu ihrem Ergebnis kommt, aber damit kann ich leben. Es geht dabei um eine digitale Feststellung bezüglich Tumor ja/nein und da wäre mir nur wichtig, dass wir gut den Fehler und dessen Entwicklung erforschen, um eine vernünftige Kalibrierung des Systems zu definieren.
Und damit wären natürlich enorme Effizienzgewinne erreicht und Ärzte trotzdem nicht obsolet. Die Entscheidungsfindung, wie mit dem Ergebnis zu verfahren ist, ist nämlich keine digitale Fragestellung/Feststellung mehr sondern hängt von einer Vielzahl von Variablen und deren Gewichtung ab; da will ich mit jemandem drüber reden und letztlich eine fachliche Unterstützung für meine eigene Entscheidungsfindung erhalten. Vielleicht kann das KI dann tatsächlich auch irgendwann und ich kann mir das nur nicht vorstellen, wer weiß.
 
Mitglied seit
25.09.2014
Beiträge
5.101
Reaktionen
1.352
Wie kommt ihr drauf dass wenn ich 5 Mal x eingebe dass ich dann 5 verschiedene Ergebnisse bekomme?
Das nicht, aber man benutzt sowas ja nicht, um mehrmals genau denselben Input reinzustecken. Wir wünschen uns Programme, die komplexe Probleme für uns lösen. Und dabei wird es in seltenen Fällen deutliche Abweichungen vom gewünschten Ergebnis geben, sogar in Fällen, die Menschen erkennen können.
Das Problem hast du nicht bei herkömmlichen Programmen, denen wir keine kritischen Entscheidungen anvertrauen. Wenn ein Programm sowas aber besser kann als etwa der behandelnde Arzt, dann willst du dich ja auch auf das Programm verlassen - wenn wir das Programm jedesmal überstimmen, wenn wir seinen Output nicht verstehen, bringt das offensichtlich wenig oder zumindest werden wir das volle Potential niemals ausschöpfen.
Darum halte ich nicht viel von dem Paradigma, dass menschliche Entscheidungen nicht ersetzt werden dürfen.

@Benrath
Mag sein. Ich bin kein Jurist, aber ich sehe hier analog zur Pandemie nicht, warum diese Diskussion durch Juristen dominiert werden sollte. Gustavo hat ja schon abgesprochen: Die Ursachen, weshalb wir als Menschen eine Entscheidung treffen, sind etwas anderes als die Gründe, die wir nachträglich für eine Entscheidung erklären.
Ich hab den Eindruck, dass man sich in der Diskussion gern auf das letztere kapriziert und menschliche Entscheidungen damit als etwas überhöht, das sie wenigstens in der Praxis regelmäßig nicht sind.

@tic0r
Du gehst davon aus, dass die vermeintlich einfache Aufgabe (Tumor ja/nein anhand von Bild) von der Maschine besser zu lösen ist als die komplexe (optimale Behandlung wählen anhand aller verfügbaren Parameter) relativ zum Menschen.
Ich halte das für falsch und sogar für einen klassischen Fehler bei der Bewertung solcher KI-Modelle. Wir Menschen sind notorisch schlecht darin solche komplexen Entscheidungen anhand vieler Parameter zu treffen - außer in den Fällen, wo wir evolutionär darauf konditioniert sind (Bsp. Bilderkennung). Wir enrscheiden meistens anhand vereinfachter Heuristiken, die oft nur einen Bruchteil der verfügbaren Information verwenden.
Maschinen können das schon systembedingt viel besser: Sie sind großartig mit vielen Parametern - wenn wir ihnen genug Trainingsdaten geben -, sie sind sehr gut darin statistische Vorhersagen zu treffen - noch was, worin wir Menschen notorisch schlecht sind.
 
Zuletzt bearbeitet:

Das Schaf

Tippspielmeister WM 2018
Mitglied seit
27.06.2002
Beiträge
21.753
Reaktionen
4.911
Ort
Wo auf den Bergen Schlösser wachsen
Und dabei wird es in seltenen Fällen deutliche Abweichungen vom gewünschten Ergebnis geben, sogar in Fällen, die Menschen erkennen können
Diese Annahme beruht darauf dass der Mensch "offensichtlich" Sachen ausblendet die das system für wichtig erachtet.
Es kommt immer und immer wieder auf das typische Problem ( in der IT) hinaus dass "Kunden" nicht wissen was sie wollen.
Kunden sagen sie wollen Input ->output
Was sie eigentlich wollen ist ein Kuchen ausgedruckt per Kurier zugestellt.
Ich habe das Gefühl dass die Leute nichtmal ansatzweise verstehen wie das alles funktionieren soll und was das bedeutet.
Wenn du eine "ki" mit ausreichend Bildern zur Brustkrebserkennung fütterst dann ist dein Ergebnis immer eine statische Wahrscheinlichkeit.
 
Mitglied seit
23.07.2014
Beiträge
4.973
Reaktionen
419
wenn wir das Programm jedesmal überstimmen, wenn wir seinen Output nicht verstehen, bringt das offensichtlich wenig oder zumindest werden wir das volle Potential niemals ausschöpfen.
Wieso soll es nicht möglich sein sich die Lösungsstrategie der Ai von selbiger bis ins kleinste Detail erklären zu lassen?
Anders gefragt: wenn die AI geilste Resultate liefert, wir sie aber nicht mehr nachvollziehen können, was folgt daraus? Verzicht auf AI?

Wie gut sind Menschen darin unethische Waffen nicht zu entwickeln :mond:
 
Zuletzt bearbeitet:

Gustavo

Doppelspitze 2019
Mitglied seit
22.03.2004
Beiträge
6.330
Reaktionen
2.280
Ich glaube wir reden irgendwie aneinander vorbei. Du bist bei der Diagnostik und z.B. bei der KI-gestützten Tumorerkennung. Klar, echte Effizienz gibt es nur, wenn irgendwann kein Mensch mehr über die Aufnahmen schauen muss, sondern eine KI das komplett zusammenstellt und zum Ergebnis gelangt. Auch hier kann es sein, dass wir nicht genau wissen, wie die KI zu ihrem Ergebnis kommt, aber damit kann ich leben. Es geht dabei um eine digitale Feststellung bezüglich Tumor ja/nein und da wäre mir nur wichtig, dass wir gut den Fehler und dessen Entwicklung erforschen, um eine vernünftige Kalibrierung des Systems zu definieren.


Ich denke nicht, dass wir wirklich aneinander vorbei reden. Ich rede ja nicht von Diagnostik im Sinne von Image Classification: Das ist, gemessen daran was AI jetzt schon kann, Deppenarbeit.

Es gibt in der Diagnostik ja seit längerem Checklisten, die man als Entscheider mehr oder weniger systematisch abarbeiten kann, welche relativ gute Ergebnisse erzielen. Letzten Endes entscheiden Menschen wohl auch nicht groß anders, nur dass ihr mentales Modell einfach weniger systematisch ist als eine Checkliste. Früher sahen diese Checklisten so aus, dass sie von Experten händisch entworfen wurden. Der Vorteil eines Menschen war halt, dass er unterschiedliche Faktoren unterschiedlich gewichten kann, was eine Checkliste relativ schnell extrem komplex werden lässt. Das ist aber genau die Anwendung, bei der AI gut funktioniert, weil sie eben diese Komplexität nicht auf ein paar diskrete Kategorien reduzieren muss. Dazu kommt, dass eine AI die richtigen Schlüsse aus den Daten lernen kann.

Was das maximale Potenzial eines solchen Modells ist kann ich nicht beurteilen, weil mir dafür das Subjektexpertise fehlt. Aber prinzipiell halte ich es für sehr wahrscheinlich, dass die allermeisten Mediziner in der Diagnostik aufgrund der limitierten menschlichen Kapazität, Informationen aufzunehmen und zu gewichten, mit relativ simplen mentalen Modellen arbeiten. Vielleicht kann das im Ergebnis auch ein komplexes Modell nicht übertreffen, aber ich wäre zumindest skeptisch, dass das so ist. Heute schon nicht, aber in ein paar Jahren umso mehr.


Und damit wären natürlich enorme Effizienzgewinne erreicht und Ärzte trotzdem nicht obsolet. Die Entscheidungsfindung, wie mit dem Ergebnis zu verfahren ist, ist nämlich keine digitale Fragestellung/Feststellung mehr sondern hängt von einer Vielzahl von Variablen und deren Gewichtung ab; da will ich mit jemandem drüber reden und letztlich eine fachliche Unterstützung für meine eigene Entscheidungsfindung erhalten. Vielleicht kann das KI dann tatsächlich auch irgendwann und ich kann mir das nur nicht vorstellen, wer weiß.


Was ich an deinem Einwand nicht so richtig verstehe: Wo siehst du die Unterschiede zwischen Diagnostik und Behandlung? Klar, bei Diagnostik gibt es nur ein Output, das dann entweder richtig oder falsch ist, während bei der Behandlung häufig mehrere Möglichkeiten zur Wahl stehen. Aber das ist ja letztendlich nur eine Frage der Zielfunktion, die komplexer wird. Würdest du nicht lieber deine Behandlungsmöglichkeiten von einer AI hören, die dir sagen kann, welchen Krankheitsverlauf eine repräsentative Gruppe von Vergleichspatienten in deiner Situation je nach Option hatte, als einem menschlichen Arzt, der wie alle Menschen haufenweise kognitive Verzerrungen hat?
 
Oben