Teil 3: Problem überzogener Versprechen bei LLMs

▶ Serie: Was jeder CEO über Generative KI wissen sollte

Erkenntnisse aus Teil 2: Wie LLMs funktionieren

In Teil 2: Wie LLMs funktionieren habe ich die zentralen Merkmale von Large Language Models (LLMs) dargestellt, die ihr Verhalten definieren:

• Sprachfokus: LLMs analysieren Muster in großen Datenmengen und sagen das nächste Wort voraus, um "menschenähnlichen" Text zu erzeugen

• Nicht-deterministisch: Derselbe Eingabebefehl (Prompt) kann zu unterschiedlichen Ausgaben führen, was LLMs weniger zuverlässig macht als traditionelle Software.

• Halluzinationen: Falsche oder erfundene Ausgaben sind keine Ausnahme, sondern ein grundlegendes und typisches Verhalten der LLM-Architektur.

• Veraltetes Wissen: LLMs basieren auf vorab trainierten Daten, die oft Monate oder Jahre alt sind. Um aktuelle Informationen zu nutzen, müssen diese explizit im Eingabe-Prompt hinzugefügt werden.

Diese Einschränkungen beeinflussen die Brauchbarkeit und Präzision von LLMs und machen sie für bestimmte Aufgaben ungeeignet oder fehleranfällig. Industrievertreter blenden diese Schwächen jedoch oft aus und präsentieren LLMs als nahezu perfekte Technologie.

Science or Sales? Das Problem überzogener LLM-Versprechungen

Interviews mit führenden Vertretern von KI-Unternehmen zeichnen häufig ein über-optimistisches Bild von LLMs. Diese Technologien werden oft als universale Werkzeuge dargestellt, die Effizienz steigern und den Personaleinsatz drastisch reduzieren könnten.

Viele dieser Führungskräfte stilisieren sich als Wissenschaftler, sind in ihrer Rolle aber stärker als Verkäufer zu sehen. Sie übertreiben häufig die Leistungsfähigkeit ihrer Produkte, um Verkäufe zu steigern und den Unternehmenswert zu erhöhen.

Solche überzogenen Versprechungen können jedoch reale Folgen haben: Wenn Unternehmensleiter es versäumen, zwischen Marketinghype und Realität zu unterscheiden, können teure und peinliche Fehltritte die Folge sein.

Fallstudie: Eric Schmidt über Programmierer und KI

• Behauptung: Im April 2025 erklärte der ehemalige Google-CEO Eric Schmidt: „Wir glauben als Branche, dass in einem Jahr die meisten Programmierer durch KI-Programmierer ersetzt werden.“

• Realität: Eine im Juli 2025 veröffentlichte Studie (Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity) widerlegte diese Behauptung. Die Untersuchung ergab, dass Entwickler mit Unterstützung von KI-Tools 19 % länger für ihre Aufgaben brauchten als ohne.

Aus meiner eigenen täglichen Erfahrung mit LLMs in der Softwareentwicklung ergibt sich ein ähnliches Bild: Der von LLMs generierte Code ist selten direkt nutzbar und erfordert meist umfangreiche Überarbeitung. Trotzdem bieten LLMs in spezialisierten Anwendungsfällen, wie der Entwicklung von Prototypen oder Projektgerüsten, echten Mehrwert.

Fallstudie: OpenAIs Behauptung über die Lösung von 10 mathematischen Problemen

• Behauptung: Vor etwa einem Monat erklärte OpenAI-Manager Kevin Well in einem (inzwischen gelöschten) Tweet, dass GPT-5 zehn zuvor ungelöste Erdös-Probleme gelöst und bei elf weiteren erhebliche Fortschritte gemacht habe.

• Realität: Tatsächlich hat GPT-5 lediglich bestehende Lösungen zu Problemen gefunden, die auf der Erdös-Website als „ungelöst“ markiert waren. Der LLM suchte im Internet nach relevanten Forschungspapieren, die diese Probleme bereits behandelt hatten. Das zeigt zwar die Stärke von LLMs bei der Textanalyse und Informationssuche, aber keine echte Innovations- oder Problemlösungsfähigkeit.

Überzogene Versprechen führen zu falschen Erwartungen und Fehlern

Die oben aufgeführten Beispiele, in denen Behauptungen und Realität stark auseinanderklaffen, sind keine Einzelfälle. Ähnliche Szenarien gibt es viele.

Es zeichnet sich ein klarer Widerspruch ab: Marketingoptimismus von Branchenvertretern trifft auf realistische Einschätzungen von Experten, die vor überhöhten Erwartungen warnen. Schlagzeilengenerierte Behauptungen verdrängen oft geprüfte Ergebnisse, was bei Entscheidern unrealistische Vorstellungen weckt. Dies führt nicht nur zu unsachgemäßen Einsätzen von LLMs, sondern auch zu nachlässiger Prüfung ihrer Ergebnisse mit kostspieligen Konsequenzen.

Reale Fehlschläge durch die Überschätzung von LLMs

Wenn die spezifischen Eigenheiten und Schwächen von LLMs nicht berücksichtigt werden, drohen finanzielle, rechtliche, betriebliche aber auch Reputationsschäden. Hier sind einige bekannte Beispiele:

• Fehlinformation bei Air Canada: Ein Passagier wurde von einem Chatbot der Fluggesellschaft falsch über Tarife informiert, was den schriftlichen Richtlinien der Airline widersprach. Ein Gericht machte die Airline für die irreführende Chatbot-Ausgabe haftbar.

  
  

• Strafen für falsche juristische Schriftsätze in den USA: Anwälte erhielten Geldstrafen, nachdem sie Gerichtsunterlagen mit Referenzen auf nicht existierenden Präzedenzfälle eingereicht hatten, die von AI-Tools erstellt wurden. Das verdeutlicht, wie kritisch die Prüfung von LLM-Ausgaben in regulierten Branchen ist.

  
  

• Fehlerhafter Bericht von Deloitte Australien: Ein KI-erstellter Bericht für die Regierung enthielt erfundene Quellenangaben und referenzierte nicht existierende Studien. Der öffentliche Druck zwang Deloitte, Teile der Beraterhonorare zurückzuerstatten. Zudem litt die Glaubwürdigkeit des Unternehmens unter diesem Vorfall.

  
  

• IBM Watson for Oncology: Watson, bewarb ihr Produkt als revolutionäres Tool zur Krebsbehandlung. Dieses schlug aber häufig nicht-verifizierte, unsichere und ungeeignete Behandlungen vor. Die Pilotprojekte wurden eingestellt, und IBMs Ruf wurde geschädigt. Anwendungen im Gesundheitswesen erfordern umfassende klinische Validierungen, die hier fehlten.

So finden Sie geeignete Anwendungsfälle für LLMs

Die Architektur und Funktionsweise von LLMs machen sie für bestimmte Aufgaben äußerst nützlich, während sie für andere weniger geeignet sind. LLMs glänzen in Bereichen, die menschenähnliche Fähigkeiten erfordern, übernehmen jedoch auch einige menschliche Schwächen wie Fehleranfälligkeit, Vorurteile und Unvorhersehbarkeit.

Hier sind einige Kriterien, um einzuschätzen, ob LLM-basierte Lösungen für ein Problem geeignet sind:

✅ Sprachintensive Aufgaben: LLMs sind besonders effektiv bei Aufgaben, die ein tiefes Verständnis und die Generierung von natürlicher Sprache erfordern. Beispiele: Zusammenfassungen, Übersetzungen, kreatives Schreiben, Code-Generierung, Suche und Beantwortung von Fragen.

✅ Unstrukturierte Daten: LLMs sind gut für die Verarbeitung von unstrukturierten Daten wie Texten, Gesprächen oder Logdateien geeignet.

✅ Offene Problemstellungen: Aufgaben, die kreative Ansätze, Ideenfindung oder die Generierung von mehreren potenziellen Lösungen erfordern, bieten LLMs Mehrwert.

✅ Komplexes Schlussfolgern: Bei Aufgaben, die Mustererkennung, mehrschrittige Schlussfolgerungen oder komplexere logische Analysen erfordern, können LLMs wertvolle Einblicke liefern.

✅ Personalisierte, menschenähnliche Nutzer-Interaktion: LLMs sind gut geeignet für Aufgaben, die eine menschenähnliche Kommunikation erfordern, wie Chatbots, virtuelle Assistenten oder andere personalisierte Interfaces.

Beispiele für weniger geeignete Anwendungsbereiche:

Während LLMs in vielen Szenarien glänzen, sind sie für folgende Aufgaben weniger geeignet oder erfordern zumindest eine sorgfältige Überprüfung der Ergebnisse:

❌ Deterministische und hochpräzise Aufgaben: Wenn absolute Genauigkeit erforderlich ist, wie z. B. bei grundlegenden mathematischen Berechnungen, Buchhaltung oder sicherheitskritischen Vorgängen, sind LLMs nicht sehr geeignet. Beispiel: Validierung mathematischer Daten oder Buchhaltungssoftware.

❌ Regelbasierte Prozesse: Aufgaben, die ohne probabilistisches Denken durch einfache regelbasierte Systeme gelöst werden können, sind für LLMs ungeeignet. Beispiel: Parsing von klar definierten Eingabe-Ausgabe-Formaten oder Steuerberechnungen.

❌ Black-box Einschränkungen: LLMs arbeiten als Black-Box. Für Anwendungen, bei denen Entscheidungen transparent und nachvollziehbar sein müssen ist dies problematisch. LLMs können überzeugend klingende aber ungenaue Ergebnisse liefern, ohne den Entscheidungsweg offenzulegen, wodurch die Vertrauenswürdigkeit der Resultate leidet. Beispiel: KI-basierte Behandlungsempfehlungen im Gesundheitswesen ohne klare Begründung.

❌ Hochkritische und sicherheitsrelevante Anwendungen: Bei Aufgaben, bei denen Fehlentscheidungen großen Schaden anrichten könnten, ist Vorsicht geboten. Fehler bei solchen Anwendungen können physische Schäden, erhebliche finanzielle Verluste oder Rufschäden verursachen. Beispiel: Systeme zur Steuerung autonomer Fahrzeuge, bei denen selbst kleinere Fehler Menschenleben gefährden könnten.

❌ Echtzeit- und Latenzempfindliche Anwendungen: Anwendungen, die geringe Latenzzeiten oder Echtzeitverarbeitung erfordern, sind aufgrund des hohen Rechenbedarfs von LLMs ungeeignet. Beispiel: Hochfrequenzhandel oder Echtzeit-Verkehrssteuerung.

Realistische Ziele setzen, Qualitätsstandards und Leistungsindikatoren festlegen

Bei der Entwicklung von Anwendungen, die auf Large Language Models (LLMs) basieren, ist es entscheidend, realistische Erwartungen an ihre Fähigkeiten und Grenzen zu setzen. LLMs zeigen spezifische Verhaltensweisen, die bei der Konzeption und Implementierung sorgfältig berücksichtigt werden müssen.

Ebenso essentiell ist es, eine offene Kommunikation mit den Stakeholdern über das, was LLMs leisten können und was nicht zu führen. LLMs können viele Aufgaben effizient erledigen, aber ihre Ergebnisse erfordern häufig zusätzliche Überprüfung, Kontextanpassung oder Nachbearbeitung, um den nötigen Qualitätsanforderungen zu entsprechen.

Da LLM-Ergebnisse nicht immer korrekt sind, sollten Sie die erforderliche Genauigkeit für Ihre Anwendung festlegen. Definieren Sie messbare Leistungsindikatoren, um zu bestimmen, wann die Anwendung einen echten Mehrwert und eine akzeptable Genauigkeit und Zuverlässigkeit bietet. Dies hängt natürlich vom jeweiligen Anwendungsfalls ab. Bei manchen Aufgaben sind kleine Fehler vertretbar, bei anderen jedoch nicht.

Darüber hinaus sollten klare Richtlinien für die Überprüfung und Validierung der Ergebnisse entwickelt werden, basierend auf den zuvor definierten Kriterien. Integrieren Sie robuste Qualitätssicherungsprozesse und Teststrategien, um sicherzustellen, dass die Anwendung zuverlässig funktioniert und die gesetzten Erwartungen sowohl kurz als auch langfristig erfüllt.

Wesentliche Schritte bei der Planung von LLM-basierten Applikationen

Um den Erfolg LLM-basierter Anwendungen sicherzustellen, ist sorgfältige Planung entscheidend. Diese zentralen Schritte helfen dabei, sowohl die Möglichkeiten als auch die Grenzen dieser Systeme effektiv zu berücksichtigen:

▶ Erwartungen steuern: Kommunizieren Sie klar und eindeutig mit allen Stakeholdern, dass LLMs zwar leistungsstarke Werkzeuge sind, ihre Ergebnisse aber häufig geprüft und überarbeitet werden müssen, um die gewünschte Genauigkeit und Zuverlässigkeit zu gewährleisten.

▶ Anforderungen an Genauigkeit und Zuverlässigkeit, sowie Leistungsindikatoren festlegen: Analysieren Sie, wie präzise die Anwendung für den jeweiligen Anwendungsfall sein muss, um echten Mehrwert zu liefern. Definieren Sie messbare Leistungsindikatoren, die den Anforderungen des Einsatzbereichs gerecht werden. Weniger kritische Aufgaben bieten Spielraum für Ungenauigkeiten, während sicherheitskritische Anwendungen höchste Genauigkeit erfordern

▶ Qualitätssicherung und -Monitoring planen und implementieren: Definieren Sie transparente Prozesse für die Prüfung, Validierung und kontinuierliche Überwachung der Ergebnisse. Integrieren Sie umfassende Testverfahren, um eine gleichbleibend hohe Leistung sicherzustellen und zu garantieren, dass die Anwendung die festgelegten Leistungsindikatoren erfüllt.

Durch die Umsetzung dieser Schritte können Unternehmen die Stärken von LLMs nutzen und gleichzeitig ihre Schwächen minimieren, sodass Anwendungen echten Mehrwert liefern, ohne an Zuverlässigkeit und Vertrauen einzubüßen.