Wie nutzt ihr KI?

[BaBaUTZ]

3. The Bitter Lesson

Bitter lesson - Wikipedia

en.wikipedia.org

Zsfg: Die großen Fortschritte in der KI kamen bisher meist daher, dass man heute das 100-fache der Rechenleistung auf das Problem werfen kann als gestern, während Forschung und Entwicklung im klassischen Sinne weniger effektiv und teils sogar hinderlich waren.

Ich möchte den Punkt nochmal hervorheben. Jeder der seit einigen Jahrzehnten die Hardware-Entwicklung verfolgt, weiß, dass die Geschwindigkeitszuwächse pro Zeit langsamer werden und Performance per Price sich schon seit einer Weile eher ernüchternd entwickelt. Die Zeiten der 90er und 00er, wo ein aktueller PC nach 3 Jahren kaum noch für moderne Spiele zu gebrauchen war, sind lange vorbei. Es gibt aber nach wie vor prominente (ich würde sagen: hängengebliebene) Figuren, die auf ein Weiterbestehen von "Moore's law" beharren oder bis vor kurzem beharrt haben. Ich denke Teil des Monetarisierungsplans vieler AI-Unternehmen war auch, das mit der voranschreitenden Hardwareentwicklung die Modelle schnell weitaus günstiger werden. Diese Entwicklung findet zwar statt, aber sie wird vermutlich weitaus länger dauern, als die optimistischen Prognosen von Techbros vorhergesagt haben.

Das Internet war in den 90ern der große Hype, trotzdem gab es den Dotcom-Crash. Das Internet blieb bestehen, aber viele Unternehmen sind Pleite gegangen. So wird es wohl auch diesmal laufen. AI bleibt, aber einige Unternehmen werden Pleite gehen. AI wird vermutlich auch teurer (oder dümmer in der kostenlosen Variante) werden. Von AGI sind wir noch weit entfernt, da "langsam wachsende Rechenleistung" in Combo mit "The Bitter Lesson".

 

[Btah]

Das wäre, wie gesagt, auch eine etwas naive Erwartung. Wenn wir in 1830 wären und gerade das gesamte Know-how für elektrische Eisenbahnen vom Himmel gefallen wäre, dann würde ich es auch für vernünftiger halten, sofort alles zu investieren, was an Kapital verfügbar gemacht werden kann, um so früh wie möglich die Benefits zu kriegen.
Super-powerful AI bietet potentiell größere Benefits als so ziemlich jede andere Technologie der Geschichte, darum hielte ich es für tendenziell unvernünftig, da auf die Bremse zu treten: Es gibt sehr viele große Probleme, die wir mit Hilfe von AI gerne lösen würden und es wäre ne Schande, wenn wir die ewig lang queuen müssten, weil wir so compute-constrained sind.

der Vergleich hinkt aber schon sehr...es ist jetzt nicht einfach mal gute AI vom Himmel gefallen, sondern man hofft dahin zu kommen

bei den Summen die da viele Firmen grad investieren redet man ja auch nicht von einem stinknormalen R&D-Projekt (wie zB als viele sich mal an VR versucht haben), wenn in ein paar Jahren der Kram entweder doch nicht die ganzen erhofften Wunder vollbringen kann oder die Konkurrenz einfach schneller/cooler/besser war, dann steht die entsprechende Firma (oder vermutlich einige davon) vor einem deutlich größeren Scherbenhaufen als das sonst vielleicht der Fall war wenn R&D eher in einem Fehlschlag endete

 

[YesNoCancel]

werf denn gerne das noch mal in den raum. für bitcoin gings dann irgendwie weiter (als spekulationsobjekt), die altcoins sind irgendwie nie richtig aus dem quark gekommen. ai ist sicher noch mal anders zu bewerten als crypto, aber viel von der damaligen euphorie finde ich auch in den posts von saistaed. für jede kritik dann gleich fünf gegenpunkte, warum das alles quatsch ist und AI die welt revolutionieren wird.

 

[saistaed]

Ich möchte den Punkt nochmal hervorheben. Jeder der seit einigen Jahrzehnten die Hardware-Entwicklung verfolgt, weiß, dass die Geschwindigkeitszuwächse pro Zeit langsamer werden und Performance per Price sich schon seit einer Weile eher ernüchternd entwickelt. Die Zeiten der 90er und 00er, wo ein aktueller PC nach 3 Jahren kaum noch für moderne Spiele zu gebrauchen war, sind lange vorbei. Es gibt aber nach wie vor prominente (ich würde sagen: hängengebliebene) Figuren, die auf ein Weiterbestehen von "Moore's law" beharren oder bis vor kurzem beharrt haben. Ich denke Teil des Monetarisierungsplans vieler AI-Unternehmen war auch, das mit der voranschreitenden Hardwareentwicklung die Modelle schnell weitaus günstiger werden. Diese Entwicklung findet zwar statt, aber sie wird vermutlich weitaus länger dauern, als die optimistischen Prognosen von Techbros vorhergesagt haben.

Das Internet war in den 90ern der große Hype, trotzdem gab es den Dotcom-Crash. Das Internet blieb bestehen, aber viele Unternehmen sind Pleite gegangen. So wird es wohl auch diesmal laufen. AI bleibt, aber einige Unternehmen werden Pleite gehen. AI wird vermutlich auch teurer (oder dümmer in der kostenlosen Variante) werden. Von AGI sind wir noch weit entfernt, da "langsam wachsende Rechenleistung" in Combo mit "The Bitter Lesson".

Bullshit-Alarm. Moore's Law ist seit mindestens 15 Jahren over and done. NVIDIAs Aufstieg wurde gerade dadurch und den damit einhergehenden Paradigmenwechsel von sequential auf parallel compute ermöglicht. AI/ML profitieren, weil dadurch Deep Learning at scale überhaupt erst ermöglicht wurde.
Auch der Rest ist Quatsch: Die Effizienzgewinne der letzten 2 bis 3 Jahre sind erheblich, Ballpark: Faktor 100 und mehr, wenn man z.B. GPT-4 als Referenz nimmt. Und nur ein winziger Teil davon ist auf Hardware zurückzuführen - viel fand da auch nicht statt, außer dem Wechsel von A100 auf H100. Der Großteil war Modell-Architektur und cleveres Engineering.

Und ich sags nochmal: Die bitter lesson hat mit diesem Thema absolut gar nichts zu tun. Sie sagt letztlich nur, dass skaliertbare Methoden cleveren, aber manuell entwickelten Algorithmen und Features langfristig immer überlegen sind.

Könntest du das näher erläutern?

Bei aktuellen LLMs ist die Performance nicht nur eine Funktion der Modell-Architektur und des Trainings, wie das bis GPT-4o der Fall war, sondern auch der Rechenkapazität, die man dem Modell zur Inferenzzeit zur Verfügung stellt - wie viel es "nachdenken" darf.
Aus heutiger Sicht ist es deshalb plausibel, dass das Modell, das erstmals das Kriterium "superhuman intelligence" erfüllt, sehr viel Rechenkapazität erfordern wird, um diese Leistung zu erreichen und daher erstmal nicht allgemein verfügbar sein wird.

der Vergleich hinkt aber schon sehr...es ist jetzt nicht einfach mal gute AI vom Himmel gefallen, sondern man hofft dahin zu kommen

Naja, wenn man der Meinung ist, dass "gute AI" aktuell noch eine Hoffnung ist, dann kommen wir tatsächlich nicht zusammen.

Deswegen ist ja die Eingangsfrage so relevant, wofür man KI aktuell nutzt.

 

[n00dl]

Ich finds total abwägig jetzt noch von einer Bubble zu sprechen. Klar werden sich nicht alle Unternehmen durchsetzen. Aber selbst die "verbrannten" Investments der "Versager" sind ja ein Puzzel für den globalen Erfolg. Für den Aktienmarkt könnte es natürlich ungemütlich werden, wenn 3 der Magnificent 7 das Rennen nicht machen.

Dass KI profitabel wird, steht für mich außer Frage. Ich nutze das Ding jetzt schon täglich auf Arbeit (anspruchsvolle, gut-bezahlte, nicht Coding Aufgaben) und sehr häufig im Privaten. Bis jetzt kann die KI mich zwar nicht ersetzen, aber auf jeden Fall schon deutlich meine Effizienz erhöhen. Die Leute denke oft, dass die KI ja nicht die komplette Position wegen Tätigkeit XY übernehmen könne, aber du brauchst halt Anfangs 9, dann 5 und irgendwann nur noch 1 statt 10 Entwickler/Mitarbeiter.

Das geilste sind dann die, die meinen, dass das ja kein Problem sei, da die Produktivität dann so hoch ist, dass ja auch nur wenige arbeiten müssen, um den Wohlstand zu erhalten... Als ob ein Musk oder Altman hier Steuern und damit die nächste Schule oder Straße finanzieren würde, geschweige denn das Bürgergeld.