Wie nutzt ihr KI?

[BaBaUTZ]

3. The Bitter Lesson

Bitter lesson - Wikipedia

en.wikipedia.org

Zsfg: Die großen Fortschritte in der KI kamen bisher meist daher, dass man heute das 100-fache der Rechenleistung auf das Problem werfen kann als gestern, während Forschung und Entwicklung im klassischen Sinne weniger effektiv und teils sogar hinderlich waren.

Ich möchte den Punkt nochmal hervorheben. Jeder der seit einigen Jahrzehnten die Hardware-Entwicklung verfolgt, weiß, dass die Geschwindigkeitszuwächse pro Zeit langsamer werden und Performance per Price sich schon seit einer Weile eher ernüchternd entwickelt. Die Zeiten der 90er und 00er, wo ein aktueller PC nach 3 Jahren kaum noch für moderne Spiele zu gebrauchen war, sind lange vorbei. Es gibt aber nach wie vor prominente (ich würde sagen: hängengebliebene) Figuren, die auf ein Weiterbestehen von "Moore's law" beharren oder bis vor kurzem beharrt haben. Ich denke Teil des Monetarisierungsplans vieler AI-Unternehmen war auch, das mit der voranschreitenden Hardwareentwicklung die Modelle schnell weitaus günstiger werden. Diese Entwicklung findet zwar statt, aber sie wird vermutlich weitaus länger dauern, als die optimistischen Prognosen von Techbros vorhergesagt haben.

Das Internet war in den 90ern der große Hype, trotzdem gab es den Dotcom-Crash. Das Internet blieb bestehen, aber viele Unternehmen sind Pleite gegangen. So wird es wohl auch diesmal laufen. AI bleibt, aber einige Unternehmen werden Pleite gehen. AI wird vermutlich auch teurer (oder dümmer in der kostenlosen Variante) werden. Von AGI sind wir noch weit entfernt, da "langsam wachsende Rechenleistung" in Combo mit "The Bitter Lesson".

 

[Btah]

Das wäre, wie gesagt, auch eine etwas naive Erwartung. Wenn wir in 1830 wären und gerade das gesamte Know-how für elektrische Eisenbahnen vom Himmel gefallen wäre, dann würde ich es auch für vernünftiger halten, sofort alles zu investieren, was an Kapital verfügbar gemacht werden kann, um so früh wie möglich die Benefits zu kriegen.
Super-powerful AI bietet potentiell größere Benefits als so ziemlich jede andere Technologie der Geschichte, darum hielte ich es für tendenziell unvernünftig, da auf die Bremse zu treten: Es gibt sehr viele große Probleme, die wir mit Hilfe von AI gerne lösen würden und es wäre ne Schande, wenn wir die ewig lang queuen müssten, weil wir so compute-constrained sind.

der Vergleich hinkt aber schon sehr...es ist jetzt nicht einfach mal gute AI vom Himmel gefallen, sondern man hofft dahin zu kommen

bei den Summen die da viele Firmen grad investieren redet man ja auch nicht von einem stinknormalen R&D-Projekt (wie zB als viele sich mal an VR versucht haben), wenn in ein paar Jahren der Kram entweder doch nicht die ganzen erhofften Wunder vollbringen kann oder die Konkurrenz einfach schneller/cooler/besser war, dann steht die entsprechende Firma (oder vermutlich einige davon) vor einem deutlich größeren Scherbenhaufen als das sonst vielleicht der Fall war wenn R&D eher in einem Fehlschlag endete

 

[YesNoCancel]

werf denn gerne das noch mal in den raum. für bitcoin gings dann irgendwie weiter (als spekulationsobjekt), die altcoins sind irgendwie nie richtig aus dem quark gekommen. ai ist sicher noch mal anders zu bewerten als crypto, aber viel von der damaligen euphorie finde ich auch in den posts von saistaed. für jede kritik dann gleich fünf gegenpunkte, warum das alles quatsch ist und AI die welt revolutionieren wird.

 

[saistaed]

Ich möchte den Punkt nochmal hervorheben. Jeder der seit einigen Jahrzehnten die Hardware-Entwicklung verfolgt, weiß, dass die Geschwindigkeitszuwächse pro Zeit langsamer werden und Performance per Price sich schon seit einer Weile eher ernüchternd entwickelt. Die Zeiten der 90er und 00er, wo ein aktueller PC nach 3 Jahren kaum noch für moderne Spiele zu gebrauchen war, sind lange vorbei. Es gibt aber nach wie vor prominente (ich würde sagen: hängengebliebene) Figuren, die auf ein Weiterbestehen von "Moore's law" beharren oder bis vor kurzem beharrt haben. Ich denke Teil des Monetarisierungsplans vieler AI-Unternehmen war auch, das mit der voranschreitenden Hardwareentwicklung die Modelle schnell weitaus günstiger werden. Diese Entwicklung findet zwar statt, aber sie wird vermutlich weitaus länger dauern, als die optimistischen Prognosen von Techbros vorhergesagt haben.

Das Internet war in den 90ern der große Hype, trotzdem gab es den Dotcom-Crash. Das Internet blieb bestehen, aber viele Unternehmen sind Pleite gegangen. So wird es wohl auch diesmal laufen. AI bleibt, aber einige Unternehmen werden Pleite gehen. AI wird vermutlich auch teurer (oder dümmer in der kostenlosen Variante) werden. Von AGI sind wir noch weit entfernt, da "langsam wachsende Rechenleistung" in Combo mit "The Bitter Lesson".

Bullshit-Alarm. Moore's Law ist seit mindestens 15 Jahren over and done. NVIDIAs Aufstieg wurde gerade dadurch und den damit einhergehenden Paradigmenwechsel von sequential auf parallel compute ermöglicht. AI/ML profitieren, weil dadurch Deep Learning at scale überhaupt erst ermöglicht wurde.
Auch der Rest ist Quatsch: Die Effizienzgewinne der letzten 2 bis 3 Jahre sind erheblich, Ballpark: Faktor 100 und mehr, wenn man z.B. GPT-4 als Referenz nimmt. Und nur ein winziger Teil davon ist auf Hardware zurückzuführen - viel fand da auch nicht statt, außer dem Wechsel von A100 auf H100. Der Großteil war Modell-Architektur und cleveres Engineering.

Und ich sags nochmal: Die bitter lesson hat mit diesem Thema absolut gar nichts zu tun. Sie sagt letztlich nur, dass skaliertbare Methoden cleveren, aber manuell entwickelten Algorithmen und Features langfristig immer überlegen sind.

Könntest du das näher erläutern?

Bei aktuellen LLMs ist die Performance nicht nur eine Funktion der Modell-Architektur und des Trainings, wie das bis GPT-4o der Fall war, sondern auch der Rechenkapazität, die man dem Modell zur Inferenzzeit zur Verfügung stellt - wie viel es "nachdenken" darf.
Aus heutiger Sicht ist es deshalb plausibel, dass das Modell, das erstmals das Kriterium "superhuman intelligence" erfüllt, sehr viel Rechenkapazität erfordern wird, um diese Leistung zu erreichen und daher erstmal nicht allgemein verfügbar sein wird.

der Vergleich hinkt aber schon sehr...es ist jetzt nicht einfach mal gute AI vom Himmel gefallen, sondern man hofft dahin zu kommen

Naja, wenn man der Meinung ist, dass "gute AI" aktuell noch eine Hoffnung ist, dann kommen wir tatsächlich nicht zusammen.

Deswegen ist ja die Eingangsfrage so relevant, wofür man KI aktuell nutzt.

 

[n00dl]

Ich finds total abwägig jetzt noch von einer Bubble zu sprechen. Klar werden sich nicht alle Unternehmen durchsetzen. Aber selbst die "verbrannten" Investments der "Versager" sind ja ein Puzzel für den globalen Erfolg. Für den Aktienmarkt könnte es natürlich ungemütlich werden, wenn 3 der Magnificent 7 das Rennen nicht machen.

Dass KI profitabel wird, steht für mich außer Frage. Ich nutze das Ding jetzt schon täglich auf Arbeit (anspruchsvolle, gut-bezahlte, nicht Coding Aufgaben) und sehr häufig im Privaten. Bis jetzt kann die KI mich zwar nicht ersetzen, aber auf jeden Fall schon deutlich meine Effizienz erhöhen. Die Leute denke oft, dass die KI ja nicht die komplette Position wegen Tätigkeit XY übernehmen könne, aber du brauchst halt Anfangs 9, dann 5 und irgendwann nur noch 1 statt 10 Entwickler/Mitarbeiter.

Das geilste sind dann die, die meinen, dass das ja kein Problem sei, da die Produktivität dann so hoch ist, dass ja auch nur wenige arbeiten müssen, um den Wohlstand zu erhalten... Als ob ein Musk oder Altman hier Steuern und damit die nächste Schule oder Straße finanzieren würde, geschweige denn das Bürgergeld.

 

[BaBaUTZ]

Bullshit-Alarm. Moore's Law ist seit mindestens 15 Jahren over and done. NVIDIAs Aufstieg wurde gerade dadurch und den damit einhergehenden Paradigmenwechsel von sequential auf parallel compute ermöglicht. AI/ML profitieren, weil dadurch Deep Learning at scale überhaupt erst ermöglicht wurde.
Auch der Rest ist Quatsch: Die Effizienzgewinne der letzten 2 bis 3 Jahre sind erheblich, Ballpark: Faktor 100 und mehr, wenn man z.B. GPT-4 als Referenz nimmt. Und nur ein winziger Teil davon ist auf Hardware zurückzuführen - viel fand da auch nicht statt, außer dem Wechsel von A100 auf H100. Der Großteil war Modell-Architektur und cleveres Engineering.

Und ich sags nochmal: Die bitter lesson hat mit diesem Thema absolut gar nichts zu tun. Sie sagt letztlich nur, dass skaliertbare Methoden cleveren, aber manuell entwickelten Algorithmen und Features langfristig immer überlegen sind.

Warum so aggressiv? Ich habe überhaupt keine Angaben bzgl. ab wann Moores Law vorbei gemacht. Ich würde sagen da streiten sich die Geister, kann mich erinnern das Jim Keller vor ca. 5 Jahren noch meinte "nicht dead". Ich stimme dir hier allerdings zu, ich denke auch es ist schon länger "tot". Parallel Compute tangiert Moores law afaik aber nur bedingt, da es nur Aussagen über die Transistorzahl pro Fläche macht. Ob diese nun in Form von monolithischen CPUs oder Chiplets/CUs oder was auch immer vorliegen, ist egal. Und im Profi-Bereich war das jetzt auch nicht sooo der Paradigmenwechsel oder? Die schalten schon seit Jahrzehnten CPUs und später GPUs zusammen. Für den LLM-Ansatz brauchte es dann aber trotzdem erstmal eine gewisse Rechenpower. Am ehesten sehe ich noch dass durch CUDA das ganze auch für Privatanwender einfacher zugänglich wurde und damit eine neue Generation von Forschern niedrigschwellig Zugang zu viel paralleler Rechenpower hatte.

Sind OpenAI denn mittlerweile profitabel? Wieviel Effizienzgewinne brauchen sie denn noch, damit sich das Ganze bei der derzeitigen Kostenstruktur rentiert? Denkst du da kommt nochmal Faktor 100?

Im Übrigen: Ich finde LLMs 'ne tolle Sache und nutze sie eigentlich täglich. Bin überhaupt kein Hater. Ich habe aber auch in Erinnerung wie Google Jahre brauchte, um Youtube profitabel zu bekommen, und wie sehr der Service letzten Endes darunter litt. Ähnliches - nur ins stärkerem Ausmaß - befürchte ich bei den großen LLMs. Kleinere kann man ja auch daheim selber hosten.

 

[YesNoCancel]

Ich finds total abwägig jetzt noch von einer Bubble zu sprechen.

"jetzt noch". AI sind keine reine software-unternehmen, deren finanzbedarf misst sich in hardware-verbrauch. und da gibts halt derzeit ein paar gatekeeper wie nvidia, die 50% gewinn nach ebita machen. fünzig fuckin prozent. trotzdem sind ranzbuden wie xAI mit 250 milliarden dollar bewertet. openAI mit 500 miliarden. bei derzeit nach wie vor zero profits und 1/20 revenues ihrer eigenen bewertung. alle lachen über den irrsinnigen PE von tesla von 380. von den ganzen AI buden hat derzeit wohl google mit gimini die besten chancen, eigene chipproduktion, genügend cashflow aus anderen zweigen um das ne weile durchzuhalten. xAI flüchtet sich von merger in merger, openAI investmentzusagen von microsoft, oracle und nvidia hörten sich zulässt weniger verlässlich an.

don't know bob. hat pontential für eine prima blase und dürfte auch ein paar andere, der aberwitzigen bewertungen wieder auf ein normales niveau runterziehen. weiss halt nur kein schwein, wann das kartenhaus nun konkret einstürzt. außer du bist in irgend einer obskuren chatgruppe mit der orangenen kartoffel.

 

[saistaed]

Ihr redet bzw. wir reden hier von unterschiedlichen Dingen. n00dl geht es, würd ich mal sagen, genau wie mir, um die Kerntechnologie und was sie kann und das ist in vielerlei Hinsicht einfach unglaublich: AI revolutioniert grad Software-Engineering und ist in einzelnen Bereichen bereits auf Research-Level produktiv, während hier von Hoffnungen und Wunschvorstellungen gesprochen wird.
Dieser Disconnect ist doch bemerkenswert.

Die ökononische Frage, wie viel Hype im Markt ist, wie viel Kapital dabei verbrannt wird usw. ist da eher ein Nebenschauplatz, der mich persönlich weniger interessiert. Obwohl ichs Recht sportlich finde mit galaktischen Argumenten wie "NVIDIA schöpft doch 50 Prozent Profit ab, wie soll das gehen?" mal eben zu eyeballen, was da los ist.

Warum so aggressiv? Ich habe überhaupt keine Angaben bzgl. ab wann Moores Law vorbei gemacht. Ich würde sagen da streiten sich die Geister, kann mich erinnern das Jim Keller vor ca. 5 Jahren noch meinte "nicht dead". Ich stimme dir hier allerdings zu, ich denke auch es ist schon länger "tot". Parallel Compute tangiert Moores law afaik aber nur bedingt, da es nur Aussagen über die Transistorzahl pro Fläche macht. Ob diese nun in Form von monolithischen CPUs oder Chiplets/CUs oder was auch immer vorliegen, ist egal. Und im Profi-Bereich war das jetzt auch nicht sooo der Paradigmenwechsel oder? Die schalten schon seit Jahrzehnten CPUs und später GPUs zusammen. Für den LLM-Ansatz brauchte es dann aber trotzdem erstmal eine gewisse Rechenpower. Am ehesten sehe ich noch dass durch CUDA das ganze auch für Privatanwender einfacher zugänglich wurde und damit eine neue Generation von Forschern niedrigschwellig Zugang zu viel paralleler Rechenpower hatte.

Sind OpenAI denn mittlerweile profitabel? Wieviel Effizienzgewinne brauchen sie denn noch, damit sich das Ganze bei der derzeitigen Kostenstruktur rentiert? Denkst du da kommt nochmal Faktor 100?

Im Übrigen: Ich finde LLMs 'ne tolle Sache und nutze sie eigentlich täglich. Bin überhaupt kein Hater. Ich habe aber auch in Erinnerung wie Google Jahre brauchte, um Youtube profitabel zu bekommen, und wie sehr der Service letzten Endes darunter litt. Ähnliches - nur ins stärkerem Ausmaß - befürchte ich bei den großen LLMs. Kleinere kann man ja auch daheim selber hosten.

Parallel Compute gab es auch schon vorher, aber nicht auf einem Chip und als integrierte Plattform. Das war um Größenordnungen weniger effizient. Du kannst halt nur so und so viele Supercomputer für 100 Mio. bauen und Wissenschaftlichern Zugang dazu gewähren.
Mit Cuda konntest du dir für relativ kleines Geld nen Supercomputer ins Zimmer stellen und tatsächlich wurden die ersten Durchbrüche in Deep Learning mit Consumer-GPUs von NVIDIA gemacht.
Das ist aber alles nicht der Punkt, sondern dass das mit der Frage, um die es eigentlich geht (AI Bubble) quasi nichts zu tun hat.

 

[Btah]

Ihr redet bzw. wir reden hier von unterschiedlichen Dingen. n00dl geht es, würd ich mal sagen, genau wie mir, um die Kerntechnologie und was sie kann und das ist in vielerlei Hinsicht einfach unglaublich: AI revolutioniert grad Software-Engineering und ist in einzelnen Bereichen bereits auf Research-Level produktiv, während hier von Hoffnungen und Wunschvorstellungen gesprochen wird.
Dieser Disconnect ist doch bemerkenswert.

die ballern aber die Datacenter nicht raus um ganz viel Coding zu vereinfachen...da stecken eben noch viele andere Dinge hinter, die bisher noch Träume sind.

Bisher brauchen die die Kapazitäten um irgenwelche Slopvideos zu generieren, die Leute dann auf Social Media rausballern...hui, super Use-Case

 

[YesNoCancel]

nur falls noch jemand HDDs für sein NAS braucht:

Western Digital says 2026 HDD capacity 100% sold out, hyperscaler AI data center cloud 89% of revenue, consumer 5%, long term deals to 2028​

Western Digital Has No More HDD Capacity Left, as CEO Reveals Massive AI Deals; Brace Yourself For Price Surges Ahead!

HDD capacity from one of the world's largest manufacturers has started to run dry, according to WD's CEO, as major LTAs have been signed out.

wccftech.com