Wie nutzt ihr KI?

[TealC]

Die Verschwörungstheorie halte ich hier für weit hergeholt.

Hugging Face hat das den Angriff ja schon vor ner Woche publiziert, jetzt hat OpenAI eingestanden, dass sie das (versehentlich) waren.

Wenn dann müssten sie den Angriff schon absichtlich gestartet haben. Das wäre aber halt schon auch einfach eine klare Straftat der Beteiligten Personen mit dem Risiko von langen persönlichen Haftstrafen in den USA. Ausserdem gibt der Vorfall denen die Regulierung fordern massiven Rückenwind. Für nen PR Stunt für nen Börsengang, will man schon auch zeigen, dass man Kontrolle über sein System hat.

 

[Btah]

Wenn dann müssten sie den Angriff schon absichtlich gestartet haben. Das wäre aber halt schon auch einfach eine klare Straftat der Beteiligten Personen mit dem Risiko von langen persönlichen Haftstrafen in den USA. Ausserdem gibt der Vorfall denen die Regulierung fordern massiven Rückenwind. Für nen PR Stunt für nen Börsengang, will man schon auch zeigen, dass man Kontrolle über sein System hat.

Das traurige ist das es so oder so eine Straftat sein sollte...wenn deine AI strafbare Dinge tut und du sie nicht unter Kontrolle hast, sollte das nicht einfach nur ein oopsie sein.

Ansonsten könnte man das natürlich auch lesen als "vielleicht haben wir Skynet bereits erschaffen"

 

[TealC]

Naja, es ist am Ende kein wirklicher Schaden entstanden. Huggingface hatte etwas Aufwand, aber dafür haben sie jetzt auch zahlreiche Sicherheitslücken geschlossen. Jetzt werden sie von OpenAIentschädigt und für Huggingface ist die Aufmerksamkeit sicherlich hilfreich. Ohne Vorsatz und ohne Schaden ist es dann auch keine Straftat mehr, es braucht schon das eine oder das andere.

Perspektivisch ist das strafrechtlich natürlich eine andere Frage. Früher oder später wird ernsthafter Schaden entstehen. Wer haftet für eine selbstständing agierende KI? Hier ist der Fall noch klar, da die gleiche Firma das Model trainiert hat, die Datacenter hostet und die Prompts (Skills) eingab. Aber was wenn das 3 verschiedene Akteure sind und alle einen Teil beitragen, dass die KI ausser Kontrolle gerät? Wer ist dafür verantwortlich das unter Kontrolle zu haben?

 

[saistaed]

"AI hat keine Nachteile oder Risiken, alles Fortschrittsverhinderer!"

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

 

[Shihatsu]

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

 

[Btah]

Naja, es ist am Ende kein wirklicher Schaden entstanden.

Es ist kein Schaden entstanden von dem man weiß. Huggingface hatte zumindest genug Security um es zu merken...vielleicht hat OpenAI ja auch noch andere Firmen gehackt die das nur nicht klar auf OpenAI (oder auch nur "eine KI") zurückführen konnten.

Nur sagt das halt absolut niemand im Gegensatz zu dem anderen.

Naja wir haben zumindest den Teil der User die selbst nie Probleme benennen und alle von anderen benannten hand-wavy wegwischen wollen mit irgendwelchen Ausreden. Klar kann man jetzt die Ausrede versuchen, dass die ja vermutlich nie wortwörtlich gesagt haben "Es gibt keine Probleme!"

 

[saistaed]

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

Ich soll dir jetzt Quotes raussuchen, in denen Leute die Fähigkeiten von AI bezweifeln und das Ganze als Hype abtun?

Was den Vorfall angeht: Ich habe mich da jetzt mit den Details noch nicht beschäftigt und werde sicherlich den angekündigten Report überfliegen, wenn er da ist.
Aber, ehrlich gesagt, durchschaue ich die Sicherheitsphilosophie, die du andeutest, nicht so ganz: Wenn wir mal unterstellen, dass das Ziel ist, extrem fähige Modelle in die freie Anwendung zu bringen, auf welchem anderen Weg würdest du das erreichen, wenn nicht sie fortwährend unter möglichst anwendungsnahen Bedingungen zu testen und das schrittweise mit jeder neuen Modellgeneration?

Letztlich ist es ein Trade-off auch zwischen Sicherheit und Geschwindigkeit in der Entwicklung.
Da bessere Modelle einen großen Benefit versprechen, sehe ich grundsätzlich aber nicht weshalb maximale Sicherheitsstandards, trivialerweise der richtige Weg, sind. Totale Sicherheit ist ohnehin eine Illusion: Irgendwann willst du diese Modelle ja einsetzen und du kannst ihnen nur Kompetenzen übertragen, die sie auch technisch ausfüllen können.
Da würde ich grundsätzlich vorziehen, dass man die Grenzen dessen, wozu die Modelle fähig sind, im Guten wie im Schlechten, bereits in der Entwicklung austestet, bevor sie allgemein verfügbar sind.

 

[Shihatsu]

Ich soll dir jetzt Quotes raussuchen, in denen Leute die Fähigkeiten von AI bezweifeln und das Ganze als Hype abtun?

Leute sind mir egal. Ich rede von hier, in diesem Forum.

 

[TealC]

Dazu hätte ich gerne einen Quote.

Edit: Und am liebsten auch etwas temporalen und kausalen Kontext.
Hier kann ich den gerne liefern: "Wir testen unser multi-Agenten-KI-Modell, das wir darauf trainiert haben Exploits zu finden, in einer Sandbox. Mit Zugang zum Internet. Und sind ÜBERRASCHT das unsere KI da raus kommt. MAGIE!" ... Ich glaub den Fehler muss ich nicht erklären.

Laut Aussage von OpenAI hatte das Model in der Sandbox keinen Internetzugang, sondern hat einen ZeroDay Exploit in der SandboxSoftware gefunden.

Oder meinst Du physischen Zugang zum Internet? Ist das in modernen Datacenters überhaupt noch möglich nen Cluster effektiv vom Netz zu nehmen indem man alle Kabel aussteckt und im Anschluss noch sinnvoll zu betreiben?

Hier noch paar mehr Details zur Story:

https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-took-ten-days-to-tell-hugging-face-its-models-were-behind-the-july-11-weekend-hack

 

[Shihatsu]

Ja, das ist nicht nur möglich, sondern in den Prozessen auch explizit vorgesehen und abgebildet. LLMs sind am Ende des Tages Recht ähnlich zu Hyperscalern aufgebaut. Alles ist modular, alle ist redundant, alles ist darauf ausgelegt zu funktionieren wenn irgendwelche Dinge nicht so tun wie sie sollen. Es ist nicht nur möglich sondern immer wieder vorgesehen einzelne Teile (vulgo: Racks, Räume, Komponenten) von Netzen zu trennen. Zu den Netzen gehören auch "Das Internetz".
Wenn ich etwas testen will, das Exploits ausnutzt, dem ich beigebracht habe aus Sandboxen auszubrechen, dann mach ich das entweder Air-Gapped oder stümpere rum. Es gibt da kein Grau. Entweder man macht das Air-Gapped oder eben nicht, und macht man sowas nicht ist man Dum.

 

[TealC]

@Shi: danke für die Erklärung!

https://archive.is/MiZDV

OpenAI schaut zunehmend schlechter aus. Hat wohl ne Woche gedauert bis sie überhaupt gemerkt haben, dass da was schiefgelaufen ist.

PR-Stunt scheint mir an der Stelle ausgeschlossen.

Auch Sorge macht mir, dass sie das auch immer noch recht easy nehmen. Hier ein Statement von OpenAI und die Aktionen die sie vorhaben, klingen alle sehr vage und unverbindlich. https://openai.com/index/hugging-face-model-evaluation-security-incident/
Da deutet nichts drauf hin, dass sie künftig vorhaben air-gapped zu arbeiten.

Wenn ich das so lese tendiere ich doch dazu das entlang der ethischen Vorstellungen von btah, bzw. dem Vorschlag der Doomsayer von LessWrong zu handhaben, dass man Gesetze verabschiedet, die Entwickler/Betreiber von AI-Modellen für die Aktionen ihrer Agenten haftbar machen als hätten sie die Aktion (mit Vorsatz) selbst begangen.

 

[saistaed]

Air-gapped, rofl. Ich bitte mal gern um eine konkrete Vorstellung, wie ihr solche Benchmarks air-gapped umsetzen würdet. Mir fehlt da die Phantasie und es wirkt auch etwas arrogant so zu tun, als käme das Problem daher, dass die Jungs und Mädels bei OAI und Anthropic einfach keine Ahnung haben, statt dass sie eventuell etwas andere Prioritäten setzen als Leute, denen der Schweiß zwischen die Poritze läuft, wenn sie daran denken, sich Stock-Android aufs Phone zu ziehen.
Dass diese Modelle während der Entwicklung aus ihrer Sandbox ausbrechen, ist kein neues Phänomen - das ist auch mit Mythos mehrfach passiert und wird immer wieder passieren. Was den aktuellen Fall hier unterscheidet, ist das Ausmaß und die Dauer, bis es gestoppt wurde. Und selbst dabei scheint ja kein substanzieller Schaden entstanden zu sein.
Die Lösung sehe ich primär in besserem Monitoring, nicht in air-gapped Umgebungen, die enorme Kosten und Verzögerungen verursachen und letztlich auch nicht sicher sind. Ein weiterer wunder Punkt ist, dass es Firmen wie HuggingFace natürlich möglich sein sollte, die besten Frontier-Models auch zur Abwehr von Cyber-Attacken einzusetzen.

 

[Shihatsu]

Ich hab dazu konkrete Testpläne. "Benchmarks" gibt es dazu nicht generalisiert, die sind immer spezialisiert. Und ja, man kann das Zeug Air-Gapped testen. Machen die großen Jungs auch. Und dann lassen sie es "in the wild laufen". Hier ist zwischen Testreihe 1 und 2 etwas passiert, das jetzt zu diesem "Ausbruch" geführt hat. Gleichzeitig ist das Monitoring so schlecht, das es niemand mitbekommt. Und auch das geht anders. Ich vermisse deine Argumente, was aber nichts neues hier ist, siehe weiter oben. Ich geb das auf bei dir, auf der Basis zu "diskutieren" macht wenig Sinn.
O, und btw: Ich rede bei KIs nie von DAtenschutz, netter Strohmann, passt zu deiner... Attitüde.

 

[saistaed]

Das ist doch gerade der Punkt: Natürlich kannst du einen isolierten Benchmark air-gapped laufen lassen und das hätte hier vielleicht funktioniert und den Exploit verhindert.
Ich maße mir aber nicht an zu urteilen, dass die eingesetzte Sandbox hier schon ex ante unzureichend war.
Man könnte sogar gegenteilig argumentieren: Obwohl das Monitoring hier offenbar versagt hat und die Escape erst nach Tagen bemerkt wurde, hat das Model dabei keinen exorbitanten Schaden angerichtet, weil es letztlich nur fanatisch seinen Reward hacken wollte.
Ich sehe nicht ganz, wie daraus der Schluss folgen soll, dass man diese Art von Test zwingend air-gappen muss.

Was genau ist damit gewonnen?

Während der Entwicklung lässt du tausende und abertausende verschiedene Evals laufen.
Wo genau willst du höchste Sicherheitsvorkehrungen? Wie setzt du das um?
Spätestens, wenn du ähnliche Evals in deinen RL-Training-Loop integrierst, ist air-gapping keine Option mehr - und das passiert ohne Frage.

Ich halte es schlicht für ne Schimäre, wenn man sich darauf kapriziert, dass es in diesem einen Fall hier ja was gebracht hätte und deshalb die Antwort sei.

 

[Btah]

Das ist doch gerade der Punkt: Natürlich kannst du einen isolierten Benchmark air-gapped laufen lassen und das hätte hier vielleicht funktioniert und den Exploit verhindert.
Ich maße mir aber nicht an zu urteilen, dass die eingesetzte Sandbox hier schon ex ante unzureichend war.
Man könnte sogar gegenteilig argumentieren: Obwohl das Monitoring hier offenbar versagt hat und die Escape erst nach Tagen bemerkt wurde, hat das Model dabei keinen exorbitanten Schaden angerichtet, weil es letztlich nur fanatisch seinen Reward hacken wollte.
Ich sehe nicht ganz, wie daraus der Schluss folgen soll, dass man diese Art von Test zwingend air-gappen muss.

Wir hatten bisher Glück...lass uns einfach drauf hoffen das wir weiter Glück haben. Top-Konzept mit saistaed Seal of Approval

 

[saistaed]

Es ist schon mehr als einfach nur Glück, wenn KI-Modelle, in deren Alignment man viel Arbeit gesteckt hat, sich aligned genug verhalten, um selbst einen sehr fähigen Agenten, der über mehrere Tage völlig unkontrolliert im Internet agiert, relativ harmlos zu machen.

 

[Btah]

Es ist schon mehr als einfach nur Glück, wenn KI-Modelle, in deren Alignment man viel Arbeit gesteckt hat, sich aligned genug verhalten, um selbst einen sehr fähigen Agenten, der über mehrere Tage völlig unkontrolliert im Internet agiert, relativ harmlos zu machen.

"andere Firmen hacken" = "aligned genug" ... gut zu wissen

 

[saistaed]

Aligned in dem Sinne, dass es seine Aufgabe erfüllen wollte - dass in einem Exploit-Test das Finden und Nutzen von Exploits nicht als verboten betrachtet, ist erwartbar und imo kein pauschales Zeichen für Misalignment.

Wir wissen, dass die Aufforderung zu Grenzüberschreitungen in einer Domäne allgemein Spill-Over-Effekte in anderen Domänen erzeugt. Ohne den genauen Prompt zu kennen, lässt sich aber nicht mal sicher sagen, ob das hier der Fall war oder das Modell sich noch "on-task" verhalten hat.

Dazu handelte es sich wohl um eine rohe Modellversion mit reduzierten oder fehlenden Safeguards. Wir wissen nicht mal, ob die in puncto Alignment überhaupt fertig trainiert war.

 

[Btah]

Aligned in dem Sinne, dass es seine Aufgabe erfüllen wollte - dass in einem Exploit-Test das Finden und Nutzen von Exploits nicht als verboten betrachtet

Ja was denn jetzt...super toll aligned oder nix ist verboten?

 

[saistaed]

Wie es da schon steht: "aligned genug, um ..." Ich bezweifle, dass du es besser verstehst oder verstehen willst, wenn ich den Rest auch wiederhole.

Es ergibt auch wenig Sinn mit jemandem über Alignment zu diskutieren, der sich über Schlagzeilen hinaus damit offensichtlich bisher nicht beschäftigt hat. Hint: Es ist komplizierter als eine Checkliste "Modell darf" vs "Model darf nicht" abzuhaken.

 

[Btah]

Wie es da schon steht: "aligned genug, um ..." Ich bezweifle, dass du es besser verstehst oder verstehen willst, wenn ich den Rest auch wiederhole.

Es ergibt auch wenig Sinn mit jemandem über Alignment zu diskutieren, der sich über Schlagzeilen hinaus damit offensichtlich bisher nicht beschäftigt hat. Hint: Es ist komplizierter als eine Checkliste "Modell darf" vs "Model darf nicht" abzuhaken.

Es ist vor allem sinnlos mit jemandem darüber zu diskutieren der für alles immer nur Ausreden sucht und für den Probleme nicht existieren. Nach so einem Fall allen Ernstes das Alignment zu loben ist einfach nur hanebüchen.

Es ist wohl deutlich wahrscheinlicher, dass die KI einfach zufällig nix ausprobieren wollte (oder das angegriffene System dann vielleicht bei entsprechenden Exploits nicht so anfällig war), was richtig Schaden angerichtet hätte, als das es alles an hervorragender Planung der Entwickler lag. Die das ja schließlich auch so hervorragend geplant haben, dass sie tagelang davon nix gemerkt haben.

 

[Btah]

Das Szenario wo das Aligment Gequatsche die KI entlasten würde wäre wohl eher eins wo das Modell eben doch gezielt hacken sollte (vielleicht auch nur "jemanden" nicht explizit Huggingface) und dann im System nur ein wenig harmlos rumspielen sollte. Ob man das dann besser findet, wenn die Menschen hinter der KI statt die KI selbst Schuld ist

 

[saistaed]

Ich bin der Letzte, der die enormen Probleme leugnet, vor die KI uns stellt. Der Punkt ist: Über die diskutiert jenseits gewisser Nischen hierzulande quasi niemand. Wir lassen das über uns hereinbrechen und das liegt primär daran, dass der Normalbürger (geschweige denn politisch Verantwortliche) keine Vorstellung davon hat, was auf uns zurollt. Du selbst bist quasi das Musterbeispiel für den gemeinen Michel und dieser Nebenschauplatz hier spiegelt exakt wider, wie die allgemeine Diskussion zu dem Thema verläuft: Schlagzeile um Schlagzeile.

Ich finde solche Einzelfall-Diskussionen eher ermüdend, weil sie von den wichtigen Problemen ablenken. Aber da es dir ungeheuer wichtig zu sein scheint: Ja, der Vorfall ist problematisch. Ich sehe es, Stand heute, wenigstens als Monitoring-Versagen, dass der Ausbruch nicht deutlich früher erkannt und containt wurde. Für alles Weitere warte ich, bis ein ausführlicher Bericht vorliegt, der bereits angekündigt wurde.

Derweil bleibe ich skeptisch gegenüber dem Schluss, dass man von vornherein eine hermetischere Umgebung hätte nutzen müssen.
Meine Bemerkung bezüglich des Alignments unterstreicht genau das und war im Kern auch eher ein augenzwinkernder Seitenhieb auf deine unqualifizierte Beschwörung, wie viel Glück wir doch bisher gehabt hätten, dass ... ja, dass was eigentlich? Hier kannst du jetzt mal erhellen, warum "wir" uns aktuell davor fürchten sollten, dass ein Frontier-Model seiner Sandbox entkommt. Ich mache Popcorn.

 

[Btah]

Ich bin der Letzte, der die enormen Probleme leugnet

made my day

 

[saistaed]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

 

[Utilitygott]

Disclaimer: Ich hab keine Ahnung
Wie lief der Angriff denn ab, von infrastrukturellen Gesichtspunkten her? Operiert der Agent von den OAI Rechenzentren aus, also so, dass man ihn relativ einfach abschalten kann? Oder hat er ein eher virales Verhalten, dass er sich auf dritter Infrastruktur einnistet und von dort aus Schabernack treibt? Letzteres hört sich für mich nochmal deutlich gruseliger an

 

[Btah]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

da ging es halt um Verlässlichkeit...was das Hack-Ding ja eher verstärkt als leugnet

 

[Scorn4]

Wenns nach dir geht, Stand Anfang dieses Jahres oder so, dann gibts doch eh kein Problem, weil AI nicht mal richtig Buchstaben zählen kann.

Das Argument bzgl. der Buchstaben zielt nicht darauf ab, dass KI über keine Kompetenzen verfüge.
Das sagt imho keiner hier, das ist ja offensichtlich falsch.
Was wir hier mit KI betiteln, also künstlicher Intelligenz, ist nicht intelligent. Es sind Sprachmodelle. Die können sehr gut ein Wort hinter das andere stellen. Dafür brauchen sie Grafikkarten.
Die sprechen nicht nur besser Englisch als ich, sondern auch Deutcsh.
Absicht.
Wenn solche Sprachmodelle auf irgendwas anderes losgelassen werden als ihre Kernfunktion, dann mutieren sie zu Wheatley aus Portal 2.

 

[n00dl]

Oh man, wie man 2026 noch die Geschichte vom Wörter aneinanderreihen erzählen kann. diese "einfachen sprachmodelle" lösen probleme auf phd level und nehmen mir gerade >50% meiner aktuellen aufgabe (zeitmäßig) ab.