Right. Nur irgendwo muss man auch zeigen, was es rein theoretisch auf dem Kasten hat. Vor allem dann, wenn der Use-Case fernab jedweder Standardnutzung liegt, aber dennoch logisch und vorwärtsorientiert ist.
Interessanter könnte hier allerdings vor allem das entsprechende Tokenlimit werden. Das, was im Hintergrund bei diesem Use-Case verarbeitet werden muss, sind z.B. bei mir rund 614.200 Tokens. Jedes Mal. Bildhaft gesprochen: das ist fast die Bibel oder eine halbe Harry-Potter-Reihe. Ich denke aber, dass hierfür keine Hunderttausenden Tokens notwendig sein werden, sodass auch eine Free-Tier-Nutzung möglich sein dürfte (32k bis 128k).
Da der Inhalt entsprechend eingekürzt wird, bleibt er für das LLM lesbar, ist für den Menschen jedoch derart komprimiert, dass er wie Hieroglyphen wirkt. Also: kein Vorwort, keine unnötigen Erläuterungen, kein Buchroman, keine Abschnitte wie Kapitel 1., kein Blabla.
Hier wird als Obergrenze das stabile Zeichenlimit des GPT-Builders genutzt. Ich glaube, das liegt bei etwa 8.000–10.000 Zeichen, also rund 2.500 Tokens. Dadurch bleibt Raum für alles Weitere im Chat bzw. LLM-übergreifend und im Free-Tier.
Sorry, ich musste mich schon lange nicht mehr mit dem Zeichenlimit auseinandersetzen, weiß aber, dass insbesondere ein ChatGPT dazu in der Lage ist “nur” diese Zeichenzahl im Custom-GPT/Builder stabil zu halten. Auch wenn man beachten sollte, dass das Wort komprimieren dort nicht verwendet werden sollte. Mein Hinweis/Systemprompt ist beispielsweise von rund 12.000 Zeichen auf etwa 4.700 geschrumpft. “Sauber”.
Wichtig ist dabei, es streicht unter Umständen Passagen, die letztlich relevant wären.
Hier zeigt sich meine große Skepsis gegenüber Unternehmen, die anfangen, GPTs zu integrieren. Ich halte das nicht grundsätzlich für schlecht. Es bietet viele Vorteile durch Kreativität, aber wenn aus 2 + 2 plötzlich 4,1 wird, wird’s einfach absurd. Einsen und Nullen und bei Mathematik betreibt es Mustererkennung? Wtf?!
Bei allem, was mit Daten und Zahlen zu tun hat, kann leider niemand Google mit Gemini etwas vormachen.
Wobei der Beitrag mit SOL zeigt, dass auch Gemini kreativ sein kann und dadurch auf Ideen wie MIS oder LIS kommt. Ich verstehe die Rechnung selbst nicht ganz: wieso sie funktioniert, weshalb sie greift und warum jedes LLM versucht, seine Antworten daran anzupassen oder irgendetwas dazu zu halluzinieren.
Meine Neugier bleibt dabei groß genug, um weiter zu beobachten, ob es Sinn ergibt, das beizubehalten oder wieder rauszuschmeißen. MIS und LIS waren so ein Fall, der geblieben ist.
Was ich damit zeigen will ist, das ich genau weiß wo die stärken und schwächen der großen LLMs liegt. Wie es bei Claude ist, oder Grok kann ich nicht mit Gewissheit sagen. Und ganz im Ernst, @Marc696 hatte schon etwas erwähnt… Es wird zuerst zum “Jobkiller” bei Verwaltungsaufgaben, und das Szenario bei mir ist meiner Meinung nach noch absolute Speerspitze. Ich wollte wissen “was kann’s unter der Haube”.
Wieso es also nicht beginnen übergreifend für andere Use-Cases zu nutzen? Hier sitzen vermutlich etliche Ernährungswissenschaftler, Buchautoren usw dran… Aber es ist alles da und liegt in unserer Verantwortung es vollständig zu nutzen und das ohne noch hunderte Bücher, Threads, Wissenschaftsberichte und Google zu nutzen und lesen.