Wie nutzt ihr KI?

[TealC]

Die Verschwörungstheorie halte ich hier für weit hergeholt.

Hugging Face hat das den Angriff ja schon vor ner Woche publiziert, jetzt hat OpenAI eingestanden, dass sie das (versehentlich) waren.

Wenn dann müssten sie den Angriff schon absichtlich gestartet haben. Das wäre aber halt schon auch einfach eine klare Straftat der Beteiligten Personen mit dem Risiko von langen persönlichen Haftstrafen in den USA. Ausserdem gibt der Vorfall denen die Regulierung fordern massiven Rückenwind. Für nen PR Stunt für nen Börsengang, will man schon auch zeigen, dass man Kontrolle über sein System hat.

 

[Btah]

Wenn dann müssten sie den Angriff schon absichtlich gestartet haben. Das wäre aber halt schon auch einfach eine klare Straftat der Beteiligten Personen mit dem Risiko von langen persönlichen Haftstrafen in den USA. Ausserdem gibt der Vorfall denen die Regulierung fordern massiven Rückenwind. Für nen PR Stunt für nen Börsengang, will man schon auch zeigen, dass man Kontrolle über sein System hat.

Das traurige ist das es so oder so eine Straftat sein sollte...wenn deine AI strafbare Dinge tut und du sie nicht unter Kontrolle hast, sollte das nicht einfach nur ein oopsie sein.

Ansonsten könnte man das natürlich auch lesen als "vielleicht haben wir Skynet bereits erschaffen"

 

[TealC]

Naja, es ist am Ende kein wirklicher Schaden entstanden. Huggingface hatte etwas Aufwand, aber dafür haben sie jetzt auch zahlreiche Sicherheitslücken geschlossen. Jetzt werden sie von OpenAIentschädigt und für Huggingface ist die Aufmerksamkeit sicherlich hilfreich. Ohne Vorsatz und ohne Schaden ist es dann auch keine Straftat mehr, es braucht schon das eine oder das andere.

Perspektivisch ist das strafrechtlich natürlich eine andere Frage. Früher oder später wird ernsthafter Schaden entstehen. Wer haftet für eine selbstständing agierende KI? Hier ist der Fall noch klar, da die gleiche Firma das Model trainiert hat, die Datacenter hostet und die Prompts (Skills) eingab. Aber was wenn das 3 verschiedene Akteure sind und alle einen Teil beitragen, dass die KI ausser Kontrolle gerät? Wer ist dafür verantwortlich das unter Kontrolle zu haben?

 

[saistaed]

"AI hat keine Nachteile oder Risiken, alles Fortschrittsverhinderer!"

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

 

[Shihatsu]

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

 

[Btah]

Naja, es ist am Ende kein wirklicher Schaden entstanden.

Es ist kein Schaden entstanden von dem man weiß. Huggingface hatte zumindest genug Security um es zu merken...vielleicht hat OpenAI ja auch noch andere Firmen gehackt die das nur nicht klar auf OpenAI (oder auch nur "eine KI") zurückführen konnten.

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

Naja wir haben zumindest den Teil der User die selbst nie Probleme benennen und alle von anderen benannten hand-wavy wegwischen wollen mit irgendwelchen Ausreden. Klar kann man jetzt die Ausrede versuchen, dass die ja vermutlich nie wortwörtlich gesagt haben "Es gibt keine Probleme!"

 

[saistaed]

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

Ich soll dir jetzt Quotes raussuchen, in denen Leute die Fähigkeiten von AI bezweifeln und das Ganze als Hype abtun?

Was den Vorfall angeht: Ich habe mich da jetzt mit den Details noch nicht beschäftigt und werde sicherlich den angekündigten Report überfliegen, wenn er da ist.
Aber, ehrlich gesagt, durchschaue ich die Sicherheitsphilosophie, die du andeutest, nicht so ganz: Wenn wir mal unterstellen, dass das Ziel ist, extrem fähige Modelle in die freie Anwendung zu bringen, auf welchem anderen Weg würdest du das erreichen, wenn nicht sie fortwährend unter möglichst anwendungsnahen Bedingungen zu testen und das schrittweise mit jeder neuen Modellgeneration?

Letztlich ist es ein Trade-off auch zwischen Sicherheit und Geschwindigkeit in der Entwicklung.
Da bessere Modelle einen großen Benefit versprechen, sehe ich grundsätzlich aber nicht weshalb maximale Sicherheitsstandards, trivialerweise der richtige Weg, sind. Totale Sicherheit ist ohnehin eine Illusion: Irgendwann willst du diese Modelle ja einsetzen und du kannst ihnen nur Kompetenzen übertragen, die sie auch technisch ausfüllen können.
Da würde ich grundsätzlich vorziehen, dass man die Grenzen dessen, wozu die Modelle fähig sind, im Guten wie im Schlechten, bereits in der Entwicklung austestet, bevor sie allgemein verfügbar sind.

 

[Shihatsu]

Ich soll dir jetzt Quotes raussuchen, in denen Leute die Fähigkeiten von AI bezweifeln und das Ganze als Hype abtun?

Leute sind mir egal. Ich rede von hier, in diesem Forum.

 

[TealC]

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

Laut Aussage von OpenAI hatte das Model in der Sandbox keinen Internetzugang, sondern hat einen ZeroDay Exploit in der SandboxSoftware gefunden.

Oder meinst Du physischen Zugang zum Internet? Ist das in modernen Datacenters überhaupt noch möglich nen Cluster effektiv vom Netz zu nehmen indem man alle Kabel aussteckt und im Anschluss noch sinnvoll zu betreiben?

Hier noch paar mehr Details zur Story:

https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-took-ten-days-to-tell-hugging-face-its-models-were-behind-the-july-11-weekend-hack

 

[Shihatsu]

Ja, das ist nicht nur möglich, sondern in den Prozessen auch explizit vorgesehen und abgebildet. LLMs sind am Ende des Tages Recht ähnlich zu Hyperscalern aufgebaut. Alles ist modular, alle ist redundant, alles ist darauf ausgelegt zu funktionieren wenn irgendwelche Dinge nicht so tun wie sie sollen. Es ist nicht nur möglich sondern immer wieder vorgesehen einzelne Teile (vulgo: Racks, Räume, Komponenten) von Netzen zu trennen. Zu den Netzen gehören auch "Das Internetz".
Wenn ich etwas testen will, das Exploits ausnutzt, dem ich beigebracht habe aus Sandboxen auszubrechen, dann mach ich das entweder Air-Gapped oder stümpere rum. Es gibt da kein Grau. Entweder man macht das Air-Gapped oder eben nicht, und macht man sowas nicht ist man Dum.

 

[TealC]

@Shi: danke für die Erklärung!

https://archive.is/MiZDV

OpenAI schaut zunehmend schlechter aus. Hat wohl ne Woche gedauert bis sie überhaupt gemerkt haben, dass da was schiefgelaufen ist.

PR-Stunt scheint mir an der Stelle ausgeschlossen.

Auch Sorge macht mir, dass sie das auch immer noch recht easy nehmen. Hier ein Statement von OpenAI und die Aktionen die sie vorhaben, klingen alle sehr vage und unverbindlich. https://openai.com/index/hugging-face-model-evaluation-security-incident/
Da deutet nichts drauf hin, dass sie künftig vorhaben air-gapped zu arbeiten.

Wenn ich das so lese tendiere ich doch dazu das entlang der ethischen Vorstellungen von btah, bzw. dem Vorschlag der Doomsayer von LessWrong zu handhaben, dass man Gesetze verabschiedet, die Entwickler/Betreiber von AI-Modellen für die Aktionen ihrer Agenten haftbar machen als hätten sie die Aktion (mit Vorsatz) selbst begangen.

 

[saistaed]

Air-gapped, rofl. Ich bitte mal gern um eine konkrete Vorstellung, wie ihr solche Benchmarks air-gapped umsetzen würdet. Mir fehlt da die Phantasie und es wirkt auch etwas arrogant so zu tun, als käme das Problem daher, dass die Jungs und Mädels bei OAI und Anthropic einfach keine Ahnung haben, statt dass sie eventuell etwas andere Prioritäten setzen als Leute, denen der Schweiß zwischen die Poritze läuft, wenn sie daran denken, sich Stock-Android aufs Phone zu ziehen.
Dass diese Modelle während der Entwicklung aus ihrer Sandbox ausbrechen, ist kein neues Phänomen - das ist auch mit Mythos mehrfach passiert und wird immer wieder passieren. Was den aktuellen Fall hier unterscheidet, ist das Ausmaß und die Dauer, bis es gestoppt wurde. Und selbst dabei scheint ja kein substanzieller Schaden entstanden zu sein.
Die Lösung sehe ich primär in besserem Monitoring, nicht in air-gapped Umgebungen, die enorme Kosten und Verzögerungen verursachen und letztlich auch nicht sicher sind. Ein weiterer wunder Punkt ist, dass es Firmen wie HuggingFace natürlich möglich sein sollte, die besten Frontier-Models auch zur Abwehr von Cyber-Attacken einzusetzen.

 

[Shihatsu]

Ich hab dazu konkrete Testpläne. "Benchmarks" gibt es dazu nicht generalisiert, die sind immer spezialisiert. Und ja, man kann das Zeug Air-Gapped testen. Machen die großen Jungs auch. Und dann lassen sie es "in the wild laufen". Hier ist zwischen Testreihe 1 und 2 etwas passiert, das jetzt zu diesem "Ausbruch" geführt hat. Gleichzeitig ist das Monitoring so schlecht, das es niemand mitbekommt. Und auch das geht anders. Ich vermisse deine Argumente, was aber nichts neues hier ist, siehe weiter oben. Ich geb das auf bei dir, auf der Basis zu "diskutieren" macht wenig Sinn.
O, und btw: Ich rede bei KIs nie von DAtenschutz, netter Strohmann, passt zu deiner... Attitüde.

 

[saistaed]

Das ist doch gerade der Punkt: Natürlich kannst du einen isolierten Benchmark air-gapped laufen lassen und das hätte hier vielleicht funktioniert und den Exploit verhindert.
Ich maße mir aber nicht an zu urteilen, dass die eingesetzte Sandbox hier schon ex ante unzureichend war.
Man könnte sogar gegenteilig argumentieren: Obwohl das Monitoring hier offenbar versagt hat und die Escape erst nach Tagen bemerkt wurde, hat das Model dabei keinen exorbitanten Schaden angerichtet, weil es letztlich nur fanatisch seinen Reward hacken wollte.
Ich sehe nicht ganz, wie daraus der Schluss folgen soll, dass man diese Art von Test zwingend air-gappen muss.

Was genau ist damit gewonnen?

Während der Entwicklung lässt du tausende und abertausende verschiedene Evals laufen.
Wo genau willst du höchste Sicherheitsvorkehrungen? Wie setzt du das um?
Spätestens, wenn du ähnliche Evals in deinen RL-Training-Loop integrierst, ist air-gapping keine Option mehr - und das passiert ohne Frage.

Ich halte es schlicht für ne Schimäre, wenn man sich darauf kapriziert, dass es in diesem einen Fall hier ja was gebracht hätte und deshalb die Antwort sei.

 

[Btah]

Das ist doch gerade der Punkt: Natürlich kannst du einen isolierten Benchmark air-gapped laufen lassen und das hätte hier vielleicht funktioniert und den Exploit verhindert.
Ich maße mir aber nicht an zu urteilen, dass die eingesetzte Sandbox hier schon ex ante unzureichend war.
Man könnte sogar gegenteilig argumentieren: Obwohl das Monitoring hier offenbar versagt hat und die Escape erst nach Tagen bemerkt wurde, hat das Model dabei keinen exorbitanten Schaden angerichtet, weil es letztlich nur fanatisch seinen Reward hacken wollte.
Ich sehe nicht ganz, wie daraus der Schluss folgen soll, dass man diese Art von Test zwingend air-gappen muss.

Wir hatten bisher Glück...lass uns einfach drauf hoffen das wir weiter Glück haben. Top-Konzept mit saistaed Seal of Approval

 

[saistaed]

Es ist schon mehr als einfach nur Glück, wenn KI-Modelle, in deren Alignment man viel Arbeit gesteckt hat, sich aligned genug verhalten, um selbst einen sehr fähigen Agenten, der über mehrere Tage völlig unkontrolliert im Internet agiert, relativ harmlos zu machen.

 

[Btah]

Es ist schon mehr als einfach nur Glück, wenn KI-Modelle, in deren Alignment man viel Arbeit gesteckt hat, sich aligned genug verhalten, um selbst einen sehr fähigen Agenten, der über mehrere Tage völlig unkontrolliert im Internet agiert, relativ harmlos zu machen.

"andere Firmen hacken" = "aligned genug" ... gut zu wissen

 

[saistaed]

Aligned in dem Sinne, dass es seine Aufgabe erfüllen wollte - dass in einem Exploit-Test das Finden und Nutzen von Exploits nicht als verboten betrachtet, ist erwartbar und imo kein pauschales Zeichen für Misalignment.

Wir wissen, dass die Aufforderung zu Grenzüberschreitungen in einer Domäne allgemein Spill-Over-Effekte in anderen Domänen erzeugt. Ohne den genauen Prompt zu kennen, lässt sich aber nicht mal sicher sagen, ob das hier der Fall war oder das Modell sich noch "on-task" verhalten hat.

Dazu handelte es sich wohl um eine rohe Modellversion mit reduzierten oder fehlenden Safeguards. Wir wissen nicht mal, ob die in puncto Alignment überhaupt fertig trainiert war.

 

[Btah]

Aligned in dem Sinne, dass es seine Aufgabe erfüllen wollte - dass in einem Exploit-Test das Finden und Nutzen von Exploits nicht als verboten betrachtet

Ja was denn jetzt...super toll aligned oder nix ist verboten?

 

[saistaed]

Wie es da schon steht: "aligned genug, um ..." Ich bezweifle, dass du es besser verstehst oder verstehen willst, wenn ich den Rest auch wiederhole.

Es ergibt auch wenig Sinn mit jemandem über Alignment zu diskutieren, der sich über Schlagzeilen hinaus damit offensichtlich bisher nicht beschäftigt hat. Hint: Es ist komplizierter als eine Checkliste "Modell darf" vs "Model darf nicht" abzuhaken.

 

[Btah]

Wie es da schon steht: "aligned genug, um ..." Ich bezweifle, dass du es besser verstehst oder verstehen willst, wenn ich den Rest auch wiederhole.

Es ergibt auch wenig Sinn mit jemandem über Alignment zu diskutieren, der sich über Schlagzeilen hinaus damit offensichtlich bisher nicht beschäftigt hat. Hint: Es ist komplizierter als eine Checkliste "Modell darf" vs "Model darf nicht" abzuhaken.

Es ist vor allem sinnlos mit jemandem darüber zu diskutieren der für alles immer nur Ausreden sucht und für den Probleme nicht existieren. Nach so einem Fall allen Ernstes das Alignment zu loben ist einfach nur hanebüchen.

Es ist wohl deutlich wahrscheinlicher, dass die KI einfach zufällig nix ausprobieren wollte (oder das angegriffene System dann vielleicht bei entsprechenden Exploits nicht so anfällig war), was richtig Schaden angerichtet hätte, als das es alles an hervorragender Planung der Entwickler lag. Die das ja schließlich auch so hervorragend geplant haben, dass sie tagelang davon nix gemerkt haben.

 

[Btah]

Das Szenario wo das Aligment Gequatsche die KI entlasten würde wäre wohl eher eins wo das Modell eben doch gezielt hacken sollte (vielleicht auch nur "jemanden" nicht explizit Huggingface) und dann im System nur ein wenig harmlos rumspielen sollte. Ob man das dann besser findet, wenn die Menschen hinter der KI statt die KI selbst Schuld ist

 

[saistaed]

Ich bin der Letzte, der die enormen Probleme leugnet, vor die KI uns stellt. Der Punkt ist: Über die diskutiert jenseits gewisser Nischen hierzulande quasi niemand. Wir lassen das über uns hereinbrechen und das liegt primär daran, dass der Normalbürger (geschweige denn politisch Verantwortliche) keine Vorstellung davon hat, was auf uns zurollt. Du selbst bist quasi das Musterbeispiel für den gemeinen Michel und dieser Nebenschauplatz hier spiegelt exakt wider, wie die allgemeine Diskussion zu dem Thema verläuft: Schlagzeile um Schlagzeile.

Ich finde solche Einzelfall-Diskussionen eher ermüdend, weil sie von den wichtigen Problemen ablenken. Aber da es dir ungeheuer wichtig zu sein scheint: Ja, der Vorfall ist problematisch. Ich sehe es, Stand heute, wenigstens als Monitoring-Versagen, dass der Ausbruch nicht deutlich früher erkannt und containt wurde. Für alles Weitere warte ich, bis ein ausführlicher Bericht vorliegt, der bereits angekündigt wurde.

Derweil bleibe ich skeptisch gegenüber dem Schluss, dass man von vornherein eine hermetischere Umgebung hätte nutzen müssen.
Meine Bemerkung bezüglich des Alignments unterstreicht genau das und war im Kern auch eher ein augenzwinkernder Seitenhieb auf deine unqualifizierte Beschwörung, wie viel Glück wir doch bisher gehabt hätten, dass ... ja, dass was eigentlich? Hier kannst du jetzt mal erhellen, warum "wir" uns aktuell davor fürchten sollten, dass ein Frontier-Model seiner Sandbox entkommt. Ich mache Popcorn.

 

[Btah]

Ich bin der Letzte, der die enormen Probleme leugnet

made my day

 

[saistaed]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

 

[Utilitygott]

Disclaimer: Ich hab keine Ahnung
Wie lief der Angriff denn ab, von infrastrukturellen Gesichtspunkten her? Operiert der Agent von den OAI Rechenzentren aus, also so, dass man ihn relativ einfach abschalten kann? Oder hat er ein eher virales Verhalten, dass er sich auf dritter Infrastruktur einnistet und von dort aus Schabernack treibt? Letzteres hört sich für mich nochmal deutlich gruseliger an

 

[Btah]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

da ging es halt um Verlässlichkeit...was das Hack-Ding ja eher verstärkt als leugnet

 

[Scorn4]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

Das Argument bzgl. der Buchstaben zielt nicht darauf ab, dass KI über keine Kompetenzen verfüge.
Das sagt imho keiner hier, das ist ja offensichtlich falsch.
Was wir hier mit KI betiteln, also künstlicher Intelligenz, ist nicht intelligent. Es sind Sprachmodelle. Die können sehr gut ein Wort hinter das andere stellen. Dafür brauchen sie Grafikkarten.
Die sprechen nicht nur besser Englisch als ich, sondern auch Deutcsh.
Absicht.
Wenn solche Sprachmodelle auf irgendwas anderes losgelassen werden als ihre Kernfunktion, dann mutieren sie zu Wheatley aus Portal 2.

 

[n00dl]

Oh man, wie man 2026 noch die Geschichte vom Wörter aneinanderreihen erzählen kann. diese "einfachen sprachmodelle" lösen probleme auf phd level und nehmen mir gerade >50% meiner aktuellen aufgabe (zeitmäßig) ab.

 

[Scorn4]

Oh man, wie man 2026 noch die Geschichte vom Wörter aneinanderreihen erzählen kann. diese "einfachen sprachmodelle" lösen probleme auf phd level und nehmen mir gerade >50% meiner aktuellen aufgabe (zeitmäßig) ab.

Habe ich eine technische Revolution verpasst, die KI-Modelle von LLMs befreit hat?

Die KI kann gar kein LLM sein, denn die nimmt MIR! das Denken ab

 

[TriloByte]

Es ist immer noch unsinnig Intelligenz so zu definieren, damit es einer Trennlinie zwischen Mensch und Maschine besser dienlich ist.
Menschen reihen auch nur Worte aneinander beim Sprechen. Wenn man den Selbsterhaltungstrieb und jegliche Motive und Moral entfernt bedeutet Intelligenz eben gerade, wie gut ein bestimmtes Problem oder Aufgabe bei gegebenen Rahmenbedingungen gelöst werden kann. Moderne LLMs können Fragen beantworten, deren Lösung nicht direkt in den Trainingsdaten enthalten ist sondern aus ihnen hergeleitet werden muss (siehe Humanity's last exam, Fable 5 hat Gemini Pro 3.1 überrundet und die >50% richtigen Antworten sind jetzt geknackt). Diese Art von Problemlösung nicht Intelligenz zu nennen klingt schon stark nach "Weil nicht sein kann, was nicht sein darf".

 

[saistaed]

Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

eS iSt nUr EiN sPrAchMoDeLl

@Utilitygott
Kurze Antwort: ja, du hast einen Kill-Switch. Der Agent lebt auf einem von OAI kontrollierten Node, der wiederum auf von OAI kontrollierte Computer-Cluster zugreifen muss. Beides kann OAI abschalten.

Hier kommt das Sternchen, denn die Realität ist etwas komplizierter:
Was ist ein Agent? Ein Agent ist, vereinfacht: Modell + Harness + Kontext.
Kontext und Harness sind in der Größenordnung von KB bis MB und leben auf dem Host-Node, lassen sich prinzipiell "relativ leicht" exfiltrieren von einem rogue agent, der aus seiner Sandbox entwischt ist.
Die größte Hürde ist das Modell selbst. Das sind mehrere Terrabyte, die irgendwo in einem Objekt-Store liegen, plus Kopien/Caches nahe der Compute-Cluster. Das sind die KrDas ist die rein technische Seite. Man sollte dazu sagen, dass wir keine konkrete Erklärung dafür haben, warum ein Agent sowas wollen sollte. Die übliche Erklärung ist relativ spekulativ und setzt auf einen emergenten Selbsterhaltungstrieb. Das ist aber relativ händewedelnd.onjuwelen jedes Frontier Labs und wir dürfen davon ausgehen, dass sie so gut gesichert sind, wie es möglich ist. Da ranzukommen ist deutlich schwerer als aus einer Sandbox auszubrechen und selbst wenn man sich grundsätzlich Zugriff verschafft, ist ein unbemerkter Egress einer TB-Payload deutlich weniger praktikabel.

Das ist die rein technische Seite. Man sollte allerdings zur Motivation sagen, dass wir keine konkrete Erklärung dafür haben, warum ein Agent sowas wollen sollte. Die übliche Erklärung ist relativ spekulativ und setzt auf einen emergenten Selbsterhaltungstrieb. Das ist aber relativ händewedelnd.

 

[Scorn4]

Es ist immer noch unsinnig Intelligenz so zu definieren, damit es einer Trennlinie zwischen Mensch und Maschine besser dienlich ist.
Menschen reihen auch nur Worte aneinander beim Sprechen. Wenn man den Selbsterhaltungstrieb und jegliche Motive und Moral entfernt bedeutet Intelligenz eben gerade, wie gut ein bestimmtes Problem oder Aufgabe bei gegebenen Rahmenbedingungen gelöst werden kann. Moderne LLMs können Fragen beantworten, deren Lösung nicht direkt in den Trainingsdaten enthalten ist sondern aus ihnen hergeleitet werden muss (siehe Humanity's last exam, Fable 5 hat Gemini Pro 3.1 überrundet und die >50% richtigen Antworten sind jetzt geknackt). Diese Art von Problemlösung nicht Intelligenz zu nennen klingt schon stark nach "Weil nicht sein kann, was nicht sein darf".

OK, dann einmal ganz langsam:
Du kannst eine KI wie Claude oder ChatGPT oder Grok etc. damit beauftragen, eine Geschichte über eine entlaufene Katze zu schreiben, mit dem emotionalen Happy End, dass die kleine Lisa (7) sie dann am Ende wiederfindet.
Das kriegen die alle hervoragend hin. Die Geschichte(n) sind in gutem Deutsch, das Thema wird gut getroffen sein, man ist zufrieden.
Keine von den KIs weiß, was eine Katze ist.
Du kannst die dann KI gezielt fragen, was eine Katze ist, und die KI gibt dir auch eine Antwort. Eine korrekte Antwort, erstellt aus Wikiartikel und Googletreffer.
"Vierbeiniges fleischfressendes Säugetier" verfehlt aber völlig, worum es nun in den Geschichten ging.
LLMs verfügen über kein Wissen und haben keinen Bezug zur realen Welt.
Es sind reine Sprachmodelle, die basierend auf Wahrscheinlichkeiten Wörter aneinanderreihen.

Jetzt habe ich mal geschaut, was Humanity's Last Exam ist.

Das Sprachmodell googelt, welche Worte am Wahrscheinlichsten mit Apodiformes und paired tendons und sesmoid bones gepaart werden und liefert das wahrscheinlichste Ergebnis.
Gut möglich, dass das LLM dann das richtige Ergebnis liefert.
Die wissen trotzdem kein bisschen, worum es geht.
Auch ich nicht, ich muss sowas erstmal googeln:

Spoiler

Achso, ja sicher, ich weiß Bescheid. Ein LLM kann daraus womöglich die richtige Antwort erschließen, weiß aber trotzdem nicht, was Hummingbirds nun wirklich sind.

eS iSt nUr EiN sPrAchMoDeLl

"nur" hast du gesagt.

 

[TriloByte]

Was ist Wissen? Wissen sind Datenpunkte über Konzepte, die miteinander verknüpft sind. Datenpunkte sind je nachdem wie Konzepte miteinander in Verbindung stehen unterschiedlich stark verknüpft. Dieses Wissen kann von einem Sprachmodell abgefragt werden. Woher es kommt ist irrelevant. Wir beziehen unser Wissen auch aus Google, Wikipedia, Nachrichten und dem schwurbelnden Nachbar. Die Kuratierung und die Qualität der Information müssen wir selbst sicherstellen. Moderne Sprachmodelle enthalten kaum noch solchen Noise und sind deshalb mittlerweile auch viel effizienter geworden.

Wissen kann von Sprachmodellen weitgehend korrekt wiedergegeben werden, wenn der Prompt geeignet und nicht zu vage ist.
Die richtigen Antworten zu HLE lassen sich nicht ergooglen. Die Fragen sind idR. zu komplex und die Lösungen bestehen aus mehreren Schritten. Ein zufälliges Raten oder eine "auswendiggelernte" Lösung führt nicht zum richtigen Ergebnis.

 

[Scorn4]

Was ist Wissen? Wissen sind Datenpunkte über Konzepte, die miteinander verknüpft sind. Datenpunkte sind je nachdem wie Konzepte miteinander in Verbindung stehen unterschiedlich stark verknüpft. Dieses Wissen kann von einem Sprachmodell abgefragt werden. Woher es kommt ist irrelevant. Wir beziehen unser Wissen auch aus Google, Wikipedia, Nachrichten und dem schwurbelnden Nachbar. Die Kuratierung und die Qualität der Information müssen wir selbst sicherstellen. Moderne Sprachmodelle enthalten kaum noch solchen Noise und sind deshalb mittlerweile auch viel effizienter geworden.

Wissen kann von Sprachmodellen weitgehend korrekt wiedergegeben werden, wenn der Prompt geeignet und nicht zu vage ist.
Die richtigen Antworten zu HLE lassen sich nicht ergooglen. Die Fragen sind idR. zu komplex und die Lösungen bestehen aus mehreren Schritten. Ein zufälliges Raten oder eine "auswendiggelernte" Lösung führt nicht zum richtigen Ergebnis.

Gut und schön.
Wenn mir das LLM die große lange über die entlaufene Katze schreibt, weiß das LLM vor, während und nach dem Schreiben nicht, was eine Katze ist. Obwohl es diese große Geschichte darüber schreibt. Es kann ergoogeln, dass das ein "Vierbeiniges fleischfressendes Säugetier" ist, weiß aber nicht, was Beine sind, was Fleisch und was fressen ist, und weiß nicht was säugen und ein Tier oder ein Säugetier ist.
Das ist die Illusion von Wissen und Intelligenz, die wir uns als Menschen machen, weil unsere kognitive Natur darauf ausgerichtet ist.
Das sind nach Wahrscheinlichkeit aneinandergereihte Wörter.
Ein LLM halt.
Das heißt nicht, dass ein LLM rät oder Lösungen auswendig lernt. Und ja, Wissen kann von LLMs wiedergegeben werden. Das Wissen kommt aber nicht aus dem LLM selbst. Ein LLM weiß nichts.

Wenn ein LLM dann eine Webseite knackt, super, es erfüllt seine Kernfunktion: schreibe einen Text in dieser (Programmier-)Sprache, der sich außerhalb diese Parameter meidet und jene Funktion erfüllt.
Während das LLM also vor sich hin hackt, weiß es nicht, was überhaupt eine Webseite ist oder was hacken ist.
Das LLM ist hier nicht intelligent. Es ist effektiv, ja. Aber es weiß und versteht nicht, was es da tut.

 

[sesslor]

Ich bin ja keiner der ki-glorifizierer, aber du machst es dir doch zu einfach. Woher weißt DU denn was eine website ist? Definiere Wissen.

Sicherlich hat ein llm mangels Sinneseindrücken ein ganz anderes Modell der Welt als ein Mensch aber ihm die Intelligenz gänzlich abzusprechen läuft halt nicht mehr meiner Meinung nach. Dazu können die Teile schon zu viel. Wenn man Intelligenz als Problemlösungskompetenz definiert ist da definiert eine Art von Intelligenz vorhanden.

 

[Scorn4]

Ich bin ja keiner der ki-glorifizierer, aber du machst es dir doch zu einfach. Woher weißt DU denn was eine website ist? Definiere Wissen.

Sicherlich hat ein llm mangels Sinneseindrücken ein ganz anderes Modell der Welt als ein Mensch aber ihm die Intelligenz gänzlich abzusprechen läuft halt nicht mehr meiner Meinung nach. Dazu können die Teile schon zu viel. Wenn man Intelligenz als Problemlösungskompetenz definiert ist da definiert eine Art von Intelligenz vorhanden.

Ich kann eine Webseite in den Kontext meiner selbst gelebten Erfahrung einordnen, oer um deine Worte zu benutzen: ich kann einer Webseite den Platz in meinem Modell der Welt zuweisen.
Ein LLM hat kein Modell der Welt. Es reiht Wörter nach Wahrscheinlichkeiten aneinander. Es kennt weder die Bedeutung der Worte selbst noch die Bedeutung des Kontext. Siehe mein Beispiel Geschichte über entlaufene Katze.

 

[sesslor]

Woher weißt du dass sich nicht irgendwo in den unzähligen Neuronen auch ein zumindest rudimentäres Weltmodell befindet?