Wie nutzt ihr KI?

[Scorn4]

Der Fehler ist schon KI und LLMs gleichzusetzen.

OK, interessant.
Welche KI ist kein LLM?

 

[GeckoVOD]

OK, interessant.
Welche KI ist kein LLM?

Stockfish zum Beispiel, auch wenn es Notation versteht, erklärt es seine Züge nicht in Sprachform wie es ein LLM tun sollte. Ansonsten, man möge mich korrigieren, so was wie predictive maintenance

 

[Scorn4]

Stockfish zum Beispiel, auch wenn es Notation versteht, erklärt es seine Züge nicht in Sprachform wie es ein LLM tun sollte. Ansonsten, man möge mich korrigieren, so was wie predictive maintenance

OK, aber Stockfish ist jetzt keine KI sondern eine Engine; eine Chess Engine.
Das ist keine Intelligenz, das ist ein Wenn-Dann-Algorithmus.

Ich habe mal ein Blackjack-Programm geschrieben und für den Bank-Spieler verschiedene Profile gegeben, wie der reagiert und wbis zu welchem Limit er wann zieht.
Klar ist Stockfish wahnsinnig komplexer, aber im Grunde genommen ist das genau das.
Sowas ist keine KI.

 

[GeckoVOD]

OK, aber Stockfish ist jetzt keine KI sondern eine Engine; eine Chess Engine.
Das ist keine Intelligenz, das ist ein Wenn-Dann-Algorithmus.

Ich habe mal ein Blackjack-Programm geschrieben und für den Bank-Spieler verschiedene Profile gegeben, wie der reagiert und wbis zu welchem Limit er wann zieht.
Klar ist Stockfish wahnsinnig komplexer, aber im Grunde genommen ist das genau das.
Sowas ist keine KI.

Ich habe mich nicht in der Tiefe mit der Funktionsweise von Stockfish beschäftigt, meines Wissens nach setzt es aber schon neuronale Netze für die Evaluation ein, teilweise in unterschiedlicher Tiefe und sollte damit die Definition einer schwachen / spezifischen KI erfüllen: Einer KI, die exakt für einen Zweck da ist; bei Stockfish die Evaluation einer Position, der Selektion von Kandidatenzügen und das Abspielen der weiteren Partie.

"Selbstverständlich" ist es "nur" eine Engine mit Wenn-Dann-Logik auf abstrakter Ebene, so wie unser Gehirn auch. Es ist dann aber bei genauerer Betrachtung mehr als eine SQL-Abfrage aller potenzieller Partien, bei der exakt der Zug gewählt wird, die die meisten Gewinnspiele am Ende der Kette selektiert. Oder ein stumpfes Durchlaufen eines Entscheidungsbaumes, der unklare Enden der Wenn-Dann-Logik mit allgemeinen, vorgegebenen Regeln auflöst. Hier scheint das Verständnisproblem erster Ordnung zu liegen, es gibt keine starke KI, die einen Turing-Test bestehen könnte, noch propagiert das irgendwer. Bis dahin dauert es noch sehr lange.

Meines Verständnisses nach (simplifiziert) trifft KI nach einem Input eine Vorhersage, basierend auf Wahrscheinlichkeiten, die meist wiederum auf Analyse der Trainingsdaten basieren. Hier liegt wohl dein Verständnisproblem zweiter Ordnung. Es sind noch Wenn-Dann-Logiken, die allerdings laufend eigenständig durch weitere Algorithmen mit Gewichten angepasst werden und über die Zeit immer präziser werden. Das löst bei einem Menschen diverse Probleme aus, weil die Entscheidungsfindung, im Gegensatz zu vorherigen Algorithmen, im Detail kaum nachvollziehbar sind (Black Box Problem), sondern man Fehlerquellen erahnen, oder die Lösung akzeptieren muss.

Im Falle von Stockfish können dir viele Großmeister, Levy Rozman als internationaler Meister eingeschlossen, häufig nicht sagen, was ein Zug soll. Sie sehen allerdings nach längerer Analyse, das was dran ist, wenn sie die Kandidatenzüge durchspielen. Durchspielen müssen sie das aber, eben weil die "Engine" inhumane Züge macht, die übliche Regelsätze bricht, da sie diese nicht "kennt" und stattdessen eigene Regelbäume erstellt, die nicht auskommentiert sind, weil die Auskommentierung nicht Bestandteil der Funktionsweise ist - das ist ein komplett anderes Fachgebiet, da sind wir wieder im Bereich von LLM. Es ist wie ein Lehrer, der ein Inseltalent in seinem Fachgebiet ist, aber unterirdisch in Didaktik ist. Eine KI mit menschlichen Verben und Adjektiven zu beschreiben hilft btw auch nicht.

Wenn du dich näher mit der Funktionsweise von ML, Deep Learning, neuronalen Netzen und was weiß ich beschäftigst, dann verstehst du auch, warum diese Buchstabenzählerei bei LLM gar nicht mal so trivial ist. Das Ding analysiert keine Buchstaben oder Wörter, sondern Muster in Wortbestandteilen. Entsprechend gut kann eine LLM kohärente und halbwegs sinnige Texte erstellen, ohne jemals im menschlichen Sinne eine Sprache gelernt zu haben, weil bereits Sprache ein Verständnis von mindestens einem weiteren Prozess / Aufgabengebiet voraussetzt, der beschrieben werden soll. Eine reine Inhaltsanalyse, so wie du sie in der Schule gelernt hast, macht eine LLM nie, am ehesten wäre es mit einer qualitativen Inhaltsanalyse in der Empirie vergleichbar. Interessanterweise führt das trotzdem zu guten Ergebnissen. Der KI-Bestandteil einer LLM prognostiziert, welcher Text (Wörter) deine Frage statistisch gesehen am ehesten beantworten und produziert diesen entsprechend. Beantworten meint dann, dass du eine positive Rückmeldung formulierst ("Danke!"), oder du einfach keine Rückfragen stellst. Man kann sogar anhand deiner Verweildauer in etwa schätzen, ob du das schnell oder eher nicht schnell verstanden hast. War es gut, dann passt es, löste es Rückfragen oder eine lange Verweildauer aus, dann wird die nächste Antwort vereinfacht. Es ist schon ein sehr erstaunliches Tool.

Und ja, auch da gibt es berechtigte Kritik, u.a. weil die LLM an deiner Reaktion misst, ob die Antwort richtig oder falsch war, nicht an objektiven Fakten. Nimmst du eine falsch-positive Antwort an, dann verstetigen sich Fehler. Oder das LLM halluziniert antworten, weil sie in etwa erahnen kann, was dir richtig erscheint, unabhängig davon, ob es in den Trainingsdaten Evidenz für die Existenz der Halluzination gibt. Oder das LLM gräbt das Geschäftsmodell von Autoren, Künstlern, Journalisten oder sonstigen ab, da deren Content ohne Erlaubnis analysiert wird. Von der Auswertung von Massendaten durch andere KI-Formen zu schweigen, die echt gruselig werden können - siehe den Social Score.

Das Buchstabenzählen-Beispiel deinerseits soll Fehler provozieren, weil es eine Schwachstelle in der Funktion offenbart. Aber ehrlich, bei allen Kritikpunkten, das hat schon was einen Hammer zu verurteilen, weil er Schrauben nicht gut in die Wand kriegt.

 

[TriloByte]

OK, interessant.
Welche KI ist kein LLM?

Alle moderenen KIs basieren auf neuronalen Netzen, aber der Input, Regeln und Struktur unterscheiden sich teils erheblich, was einen Einfluss darauf hat wie viel beim Ergebnis "halluziniert" werden kann.
Bei stockfish werden vereinfacht gesagt die Schachregeln als unumstößliche Wahrheit einprogrammiert, also praktisch alle legalen Spielzüge. Dann spielt dass Programm millionenfach gegen sich selbst, bis es besser ist als ein Mensch. Schach ist im Prinzip ein Sonderfall, weil man da auch regelbasierte Lösungen schreiben kann, die Entscheidungsbäume durchgehen. Auch diese waren ja schon früh in der Lage Schach Großmeister zu besiegen, aber gegen stockfish haben sie nicht den Hauch einer Chance.

Interessant wird es bei Spielen mit unsicherer Informationslage wie StarCraft. Alphastar bekommt auch hier die Spielregeln bzw. das Api zum Spiel und spielt millionenfach gegen sich selbst; probiert aber (im Rahmen der Regeln) unterschiedliche Wege aus, um zum Sieg zu kommen (bei LLMs würde man analog von halluzinieren reden). Fast alle diese Wege scheitern, besonders am Anfang, aber mit der Zeit werden sie halt unschlagbar gut.

Ich verstehe noch nicht so ganz was hier das Ziel der Debatte ist. KI wird immer auch Fehler machen, das ist unstrittig. Menschen machen aber auch Fehler, teils schwerwiegende. Selbstfahrende Autos bauen weniger Unfälle als 99% aller Menschen, aber sie bauen noch welche. Perfektion ist überhaupt kein sinnvoller Benchmark.

 

[Scorn4]

Ich habe mich nicht in der Tiefe mit der Funktionsweise von Stockfish beschäftigt, meines Wissens nach setzt es aber schon neuronale Netze für die Evaluation ein, teilweise in unterschiedlicher Tiefe und sollte damit die Definition einer schwachen / spezifischen KI erfüllen: Einer KI, die exakt für einen Zweck da ist; bei Stockfish die Evaluation einer Position, der Selektion von Kandidatenzügen und das Abspielen der weiteren Partie.

"Selbstverständlich" ist es "nur" eine Engine mit Wenn-Dann-Logik auf abstrakter Ebene, so wie unser Gehirn auch. Es ist dann aber bei genauerer Betrachtung mehr als eine SQL-Abfrage aller potenzieller Partien, bei der exakt der Zug gewählt wird, die die meisten Gewinnspiele am Ende der Kette selektiert. Oder ein stumpfes Durchlaufen eines Entscheidungsbaumes, der unklare Enden der Wenn-Dann-Logik mit allgemeinen, vorgegebenen Regeln auflöst. Hier scheint das Verständnisproblem erster Ordnung zu liegen, es gibt keine starke KI, die einen Turing-Test bestehen könnte, noch propagiert das irgendwer. Bis dahin dauert es noch sehr lange.

OK, guter Punkt. Du hast Recht, dass man sowas landläufig KI nennt.
Sowas ist dann aber keine Intelligenz. stockfish, alphazero und co. sind nicht intelligent und denken ebenso wenig wie mein Blackjack-Programm mit seinen 300 Zeilen Code.
Der Unterschied zwischen meinem Blackjack-Programm und stockfish ist, dass stockfish die Zugfolgen nicht vorgegeben bekommt sondern sich durch probieren selbst eine Datenbank aufbaut und aufgrund dieser Datenbank Entscheidungen trifft.
Jetzt kann man behaupten, woah, sowas ist ja voll intelligent und funktioniert genauso wie ein menschliches Gehirn.
Ich habe auch ein Tic-Tac-Toe-Programm gechrieben, das sich das komplette Spiel durchrechnet und gegen jeden menschlichen Spieler Remis hält. Es rechnet selber, ich habe ihm keine Zugfolge vorgegeben. Das ist natürlich nicht so komplex wie stockfish und nutzt keine neuronalen Netze. Es macht aber im Prinzip das gleiche. Sowas ist keine KI.
Warum ich hier Position beziehe, sind solche Aussagen:

Das ist doch auch wieder Krampf. Ein gewisses Wissen/Intelligenz (sicher nicht AGI) ist hier zweifellos vorhanden. Das spürt man wenn man komplexere Dinge von der KI machen lässt. Wie weit der reine LLM approach noch trägt ist natürlich trotzdem die Frage. Aktuell ist es natürlich noch weit vom Menschen entfernt (bzw. völlig andersartig) und hat auch riesige Defizite.

Zweifellos!

Nach offizieller Definition fängt KI schon lange vor LLMs an.

Offizielle Definition, ja?
"Es existieren zahlreiche Definitionen für den Begriff der KI. Je nach Sichtweise wird die künstliche Intelligenz in Industrie, Forschung und Politik entweder über die zu erzielenden Anwendungen oder den Blick auf die wissenschaftlichen Grundlagen definiert"

Künstliche Intelligenz – Wikipedia

de.wikipedia.org

Ich habe selbst versucht, KI zu nutzen, als Unterstützung für meine Salesforce-Architektur. Sowohl ChatGPT als auch das Salesforce-eigene Agentforce.
Das ist alles Mist.
Zwei Wochen lang hat sich ein Kollege damit rumgeschlagen, einen Flow nachzubauen, den ihm die KI vorgeschlagen hat, mit Nachfragen und neu probieren. Dann hat er mich gefragt. Ich habe mir den Chatverlauf angeschaut und mir standen die Haare zu Berge. Die KI wollte immer einen Vorgang durchsetzen, der einfach nicht geht. Und bei dem Hinweis, dass das nicht geht, hat die KI alles andere im Flow umgeworfen, aber nur an diesem einen falschen Punkt die ganze Zeit festgehalten. Das war im Prinzip nicht Wildes. Aus einer Reihe von Daten sollte eine Picklist gebaut werden. Was da genau falsch lief, weiß ich nicht. Ich vermute, dass fehlerhafte Diskussionen im Internet als Datengrundlage gewählt wurden.
Auch Excel mit KI kann echt frustrierend sein. Für einen Datenimport wollte ich Daten in einer wilden Excelliste strukturieren. Da waren Personennamen einem Account zugeordnet und standen in einer Spalte mit Komma gretrennt zusammen. So ging der Import halt nicht, da wollte ich - mal eben - die Liste umbauen.
Vorher:

Firma01; Person01, Person02, Person03

Nachher:

Firma01; Person02
Firma01; Person02
Firma01; Person03

Und das in einer Liste mit 100.000+ Einträgen.
OK, cool, fragste doch mal ChatGPT, das kann ja so schwer nicht sein.
Alter Falter!
Dass ChatGPT deutsche und englische Befehle durcheinander geworfen hat, war noch harmlos. Bei jeder Rückmeldung meinerseits, dass das nicht funktioniert, wurde der Code wilder, mit LAMBDA, VSTAPELN, usw.
Hat mir einen ganze Nachtmittag gefressen, bis ich ChatGPT ausgemacht habe und das am nächsten Tag selbst gelöst habe.

 

[sesslor]

Jo und ich habe die KI bereits erfolgreich eingesetzt um Prototypen zu erstellen. Ich check gar nicht was du überhaupt argumentieren willst hier.

Edit: natürlich hab ich auch viele Sachen probiert, die nicht funktioniert haben, but whats the point?

 

[Btah]

Offizielle Definition, ja?
"Es existieren zahlreiche Definitionen für den Begriff der KI. Je nach Sichtweise wird die künstliche Intelligenz in Industrie, Forschung und Politik entweder über die zu erzielenden Anwendungen oder den Blick auf die wissenschaftlichen Grundlagen definiert"

Künstliche Intelligenz – Wikipedia

de.wikipedia.org

natürlich ist man sich am Ende selten 100% trennscharf einige bei der Definition. Aber wir hatten im alten Job mal einen Vortrag zu KI (natürlich mandatory, obwohl der Vortrag echt nix tolles war), bei dessen Definition war meine Reaktion auch erstmal "viel zu weit, so ein Unsinn" und hab dann den Rest des Vortrags nebenbei gegoogelt und da ist schon ein überragender Teil der Forscher etc immer der Meinung, dass der ganze alte Kram auch bereits unter AI fiel. Mit der Meinung das nicht mal LLMs drunterfallen dürfte Trilo wohl sehr weit ab vom Schuss stehen.

 

[Scorn4]

Jo und ich habe die KI bereits erfolgreich eingesetzt um Prototypen zu erstellen. Ich check gar nicht was du überhaupt argumentieren willst hier.

Edit: natürlich hab ich auch viele Sachen probiert, die nicht funktioniert haben, but whats the point?

The point ist, dass KI eine nette Ergänzung für einen fachkundigen Experten ist, aber genau diesen Experten nicht ersetzen kann.
Auf zu vielen Entscheidungsebenen wird aber so getan, als sei KI die kommende Lösung für so gut wie alles.
Für jemanden mit wenig Einsicht in das jeweilige Thema kann KI teilweise helfen, aber dann auch wieder sehr kontraproduktiv sein, Abwegen fördern und Verwirrung stiften, immer mit dem freundlichen "Ah jetzt habe ich das Problem verstanden! Jetzt ist mir alles klar" als Rückmeldung.

natürlich ist man sich am Ende selten 100% trennscharf einige bei der Definition. Aber wir hatten im alten Job mal einen Vortrag zu KI (natürlich mandatory, obwohl der Vortrag echt nix tolles war), bei dessen Definition war meine Reaktion auch erstmal "viel zu weit, so ein Unsinn" und hab dann den Rest des Vortrags nebenbei gegoogelt und da ist schon ein überragender Teil der Forscher etc immer der Meinung, dass der ganze alte Kram auch bereits unter AI fiel. Mit der Meinung das nicht mal LLMs drunterfallen dürfte Trilo wohl sehr weit ab vom Schuss stehen.

Ja weil weder KI ordentlich definiert ist noch jemand weiß, wie man Intelligenz - künstlich oder nicht - nachweisen sollte.
Viele definieren dann mit Bezug auf uns Menschen, und LLMs können Menschlichkeit gut vorspielen. Aber das ist halt nur vorgespielt. Schaut man genauer hin, zerfällt die Illusion. So wie in meinen Beispielen.

 

[sesslor]

Dann sind wir eh einer Meinung.

 

[YesNoCancel]

AIs can’t stop recommending nuclear strikes in war game simulations

Leading AIs from OpenAI, Anthropic and Google opted to use nuclear weapons in simulated war games in 95 per cent of cases

www.newscientist.com

 

[BaBaUTZ]

Das hat Gandhi in Civ doch schon vor 30 Jahren gekonnt.

 

[TriloByte]

Ich versteh dieses Versteifen auf ChatGPT nicht. Warum habt ihr nicht wenigstens mal ein Modell ausprobiert, das State of the Art ist und für das Problem optimiert, das man lösen will? Claude, Gemini oder wenigstens ein Reasoning Modell? Daten Transformation dieser Art mache ich ständig und es funktioniert einwandfrei. Wenn es zu komplex ist, lasse ich mir Code generieren und das Programm macht dann die Transformation. Auch das geht immer noch schneller als es selbst zu machen.

Dass heute die meisten Menschen nicht vollständig von KI ersetzt werden können ist selbstverständlich, aber dass es eine Frage von wenigen Jahren ist, bis gängige Büroarbeiten aus technischer Sicht fast vollständig automatisierbar sind, ist jetzt keine allzu mutige Prognose. Das Meiste geht schon heute, aber die Interfaces sind noch nicht optimal und für die meisten Menschen im Alltag zu umständlich, um produktiv damit arbeiten zu können.

Ob Intelligenz oder nicht ist eher eine philosphische Frage und eigentlich auch zweitrangig. LLMs sind Statistikmaschinen, denen durch Training und Fine Tunining ein Bias zur Korrektheit und Höflichkeit eingeimpft wurde, wodurch korrekte und höfliche Antworten statistisch wahrscheinlicher werden. Wenn man das nicht als Intelligenz bezeichnen möchte, muss man zumindest anerkennen, dass ein Modell ab einer bestimmten Komplexität Konzepte, die es in der realen Welt gibt, repräsentieren und dynamisch für jeden beliebigen Prompt verknüpfen können muss. Das Verständnis dieser Zusammenhänge ist rein statistisch und erreicht nicht immer die Tiefe von menschlicher Expertise, aber das Prinzip ist trotzdem wie bei uns: wir bekommen Input auf unsere Sensorik, Neuronen feuern, es kommt eine Reaktion. Wenn wir von einem Thema keine Ahung haben reden wir Bullshit oder wir sagen nix. Ein LLM sagt immer was, weil ihm schweigen nicht beigebracht worden ist und ist rein reaktiv. Es gibt keine Motivation, kein Ego, kein Ziel, nur Verknüpfung von Konzepten bei hoher Komplexität. Zwischen hochkomplexer Statistik und "echter Intelligenz" zu unterscheiden wird aber schwierig, wenn man letzteres nicht definieren kann oder immer so definiert, dass Maschinen gerade so nicht darunter fallen, Menschen aber schon. Wenn die Statistik gut genug ist, um Krebs zu heilen oder Proteine zu falten, ist diese Frage aber sowieso egal.