Warum KI am Kontext-Engineering scheitert - nicht am Modell

Ihr KI-Modell überzeugt in Workshops und Demos, liefert im operativen Alltag jedoch unvollständige oder widersprüchliche Ergebnisse. Auch die neuesten KI-Modelle kranken an sog. Halluzinationen, die häufig als Hauptursache für unzuverlässige Ergebnisse angesehen werden. Diese lassen sich heute durch geeignete Verfahren und verlässliche Datenquellen weitgehend kontrollieren. Das eigentliche Hindernis für den erfolgreichen KI-Einsatz liegt meist woanders: im fehlenden Kontext.

In der Immobilienentwicklung erleben wir das häufig bei der Bewertung von Projektrisiken: Relevante Informationen, z.B. zu Genehmigungsständen, sind vorhanden, liegen jedoch verteilt in unterschiedlichen Systemen. Obwohl das Wissen im Unternehmen vorhanden ist, steht dieser Kontext der KI im entscheidenden Moment nicht zur Verfügung. Daraus entsteht eine Herausforderung beim Einsatz von KI im Unternehmen: nicht im Modell selbst, sondern im fehlenden Kontext.

Wie Sie in Ihrem Unternehmen Kontext-Engineering effektiv einsetzen und Ihre Ergebnisse nachhaltig verbessern können, erfahren Sie in diesem Artikel.

Wie Sprachmodelle lernen und Informationen ausgeben

Um zu verstehen, warum Kontext-Engineering für den erfolgreichen KI-Einsatz entscheidend ist, hilft ein Blick auf die Funktionsweise moderner Sprachmodelle.

Das Prätraining

Moderne Large Language Models (LLMs) basieren auf Transformer–Modellen und werden durch ein umfangreiches Prätraining aufgebaut. Dabei lernen sie aus großen Mengen öffentlich verfügbarer Daten wie Webseiten, Fachartikeln, Büchern oder Code.

Im Rahmen dieses Deep Learning-Prozesses speichert das Modell keine Fakten wie eine Datenbank. Stattdessen erkennt es statistische Muster in Sprache und erzeugt daraus passende Antworten.

In vielen KI-Projekten beobachten wir: Unternehmenswissen gehört in der Regel nicht zu den Trainingsdaten. Informationen aus Projekten, Dokumentenmanagement-Systemen, Unternehmensdatenbanken oder operativen Prozessen fehlen.

Hinzu kommt der sogenannte Knowledge Cutoff. Nach Abschluss des Trainings wird das Wissen des Modells nicht automatisch aktualisiert.

Fine-Tuning als erste Lösung

Viele Unternehmen versuchen diese Lücke durch nachträgliches Fine-Tuning zu schließen. D.h. sie fügen unternehmensbezogenen Daten in bestehende Modelle nachträglich ein.

Für dynamische Unternehmensdaten ist Fine-Tuning jedoch keine nachhaltige Lösung. Bereits gelerntes Wissen lässt sich im Modell nicht einfach überschreiben. Neue Informationen werden lediglich über bestehende Wissensstrukturen gelegt. Daraus entstehen widersprüchliche oder fehlerhafte Antworten der KI-Modelle.

Von Modellwissen zu effizientem Kontext-Engineering

Während das Prätraining das allgemeine Wissen eines Modells definiert, entscheidet die Inferenz darüber, wie das Modell dieses Wissen auf eine konkrete Anfrage anwendet und daraus eine Antwort erzeugt. Erst durch gezieltes KI-Kontext-Engineering entsteht die notwendige Informationsbasis für LLMs, damit diese im Unternehmensumfeld zuverlässig und aktuell informiert arbeiten können.

Praktisch wird werden relevante Informationen zur Inferenzzeit bereitgestellt – etwa Projektdaten, Dokumente oder Prozesswissen. Damit verschiebt sich der Fokus vom Modell auf den Kontext.

Was Kontext-Engineering bedeutet

Was ist Kontext?

Kontext umfasst sämtliche Informationen, die einem Modell während der Inferenz zur Verfügung gestellt werden. Er bildet einen wesentlichen Bezugspunkt bei der  Antwortgenerierung und erhält bei der Verarbeitung besondere Aufmerksamkeit. In der Praxis werden Anfragen daher primär auf Basis des bereitgestellten Kontexts beantwortet.

Dazu zählen insbesondere:

• • die Nutzeranfrage
  • der Systemprompt (Verhaltensregeln und Anweisungen)
  • die Gesprächshistorie
  • relevante Informationen aus Dokumenten, Datenbanken, Wissensdatenbanken oder Fachsystemen

Die Qualität der Sprachmodellausgabe hängt unmittelbar von der Qualität und Vollständigkeit des bereitgestellten Kontexts ab. Mehr Kontext resultiert jedoch nicht automatisch in bessere Ergebnisse. Das sog. Kontextfenster (der für den Kontext vorgesehene Speicherplatz) ist begrenzt und die Verarbeitung großer Informationsmengen verursacht einen hohen Rechenaufwand.

Das Kontextfenster als technische Begrenzung

Moderne Systeme können zwar große Informationsmengen berücksichtigen, dennoch bleibt das Kontextfenster eine wesentliche technische Restriktion.

Es ist mit dem Arbeitsgedächtnis eines Projektleiters vergleichbar: Obwohl darin zahlreiche Daten enthalten sind, kann bei einer konkreten Entscheidung nur ein begrenzter Teil berücksichtigt werden. Mit zunehmender Informationsmenge steigen Aufwand und Komplexität. Entscheidungen dauern länger und wichtige Details gehen möglicherweise unter.  

Ähnlich verhält es sich mit KI-Systemen: Mit zunehmender Kontextgröße steigen Rechenaufwand, Speicherbedarf, Kosten und Antwortzeiten. 

Darüber hinaus beeinflusst die Position von Informationen innerhalb des Kontextes deren Wahrnehmung durch das Modell: 

• Primacy-Effekt: Informationen am Anfang des Kontextes werden stärker berücksichtigt. 

• Recency-Effekt: Informationen am Ende des Kontextes erhalten ebenfalls eine erhöhte Gewichtung. 

Informationen im mittleren Bereich verlieren mit zunehmender Kontextgröße häufig an Relevanz. 

Ein größerer Kontext führt daher nicht zwangsläufig zu besseren Ergebnissen. Entscheidend ist vielmehr, dass die zur Beantwortung einer Anfrage jeweils relevanten Informationen gezielt ausgewählt und bereitgestellt werden.

Wie wird Kontext-Engineering eingesetzt?

Kontext-Engineering gestaltet den gesamten Informationsraum, auf dessen Grundlage die Antwort entsteht. Das markiert den Hauptunterschied zum Prompt Engineering, das die Formulierung einer Anfrage optimiert. 

Ein zentrales Werkzeug für KI-Kontext-Engineering ist Retrieval-Augmented Generation (RAG). Ein Prozess, der relevante Informationen aus Quellen wie einer Wissens-, Vektordatenbank oder einem Knowledge Graph während der Laufzeit abruft und zielgenau als Kontext bereitstellt. 

Der beim Kontext zugrunde liegende Mechanismus ist das sogenannte In-Context Learning: Sprachmodelle passen ihre Antworten dynamisch an die bereitgestellten Informationen an. Das Modell lernt nicht dauerhaft, sondern situativ.  

Besonders deutlich wird dies bei modernen Reasoning Models (RMs). Diese generativen Modelle denken Anfragen in mehreren Schritten durch, bevor sie eine Antwort formulieren. Je präziser der bereitgestellte Kontext, desto zuverlässiger die mehrstufige Schlussfolgerung und desto höher die Qualität der Ausgabe.

Ist Ihr Unternehmen bereit für KI?

Beispiel-Herausforderung aus der Immobilienentwicklung

Gerade in der Immobilienentwicklung sind relevante Informationen über viele Systeme verteilt: Projektdaten im ERP, Genehmigungen in E-Mail-Verläufen, Pläne in Dokumentenablagen. Dadurch entstehen Daten-Silos aus strukturierten und unstrukturierten Informationen. Für eine künstliche Intelligenz reicht es nicht aus, dass Daten irgendwo vorhanden sind. Sie müssen konsistent und zum richtigen Zeitpunkt verfügbar sein.

Ein typisches Beispiel: Das ERP weist 80 % Baufortschritt aus, aktuelle E-Mails zeigen Verzögerungen durch ausstehende Genehmigungen. Beide Informationen sind korrekt, erzeugen jedoch gemeinsam einen widersprüchlichen Kontext, der zu fehlerhaften Antworten führt.

Der intuitive Gegenreflex zur Fehlerbehandlung – der KI mehr Informationen bereitzustellen – verschärft das Problem. Es entsteht der sog. Context Bloat: ungefilterte Dokumente, unnötige MCP-Server-Beschreibungen, lange und irrelevante Interaktionshistorien verdrängen Informationen, die für die Anfrage eigentlich entscheidend wären.

Kontext-Engineering erfolgreich umsetzen

Die systematische Bereitstellung des relevanten Kontexts für KI-Modelle ist Teil einer umfangreichen KI-Transformation. Aus mehreren Projekten sehen wir, dass die Umsetzung sowohl operativ als auch strategisch fundiert ist.

Operativ: So entsteht relevanter Kontext

Schritt 1: Anwendungsfall und Informationsbedarf definieren
Zuerst wird klar festgelegt, welche Informationen ein Anfragetyp wirklich benötigt. Eine Risikoanalyse im Projektmanagement braucht andere Daten als eine Statusabfrage oder eine Entscheidungsvorlage. Ohne diese Definition entsteht kein sauberes KI Kontext-Engineering, sondern Datenüberladung. Deshalb korrespondieren Anfragetypen bzw. Verwendungskontexte meist mit spezialisierten KI-Assistenten oder KI-Agenten. 

Schritt 2: Daten entsilosieren und verbinden
Im nächsten Schritt werden Daten-Silos aufgelöst. In den meisten Unternehmen existieren relevante Informationen bereits, sie sind jedoch kaum miteinander verknüpft. Projektdaten, Kundenkommunikation und operative Berichte liegen in getrennten Strukturen, die unabhängig voneinander gewachsen sind. Ziel ist eine konsistente Informationsbasis, die für KI-Systeme strukturiert ist. Die Komponenten dieses Informationsgefüges (z.B. Datenquellen, Schnittstellen, Formate etc.) werden systematisch erfasst und verbunden. 

Schritt 3: KI-gestützte Aufbereitung des Kontexts
Damit KI-Systeme effektiv arbeiten können, müssen Informationen vorverarbeitet werden: filtern, verdichten, priorisieren. Dabei gilt ein Grundsatz, den wir in der Praxis konsequent anwenden: KI bereitet den Kontext für KI vor. Bestehende Datenstrukturen müssen durch KI-gestützte Vorverarbeitung erst entsilosiert und rekontextualisiert werden, bevor ein Sprachmodell zuverlässig darauf zugreifen kann. 

Die Orchestrierung dieser Schritte und das koordinierte Zusammenspiel aller Kontextquellen und Verarbeitungsschritte sind zentrale Bestandteile moderner KI-Architekturen. 

Strategisch: Architektur statt Einzelmodell

Je komplexer die Organisation, desto stärker verschiebt sich die Lösungsebene von einzelnen Modellen hin zu Systemarchitekturen. Multi-Agenten-Systeme werden relevant, wenn Prozesse mehrstufig, verteilt oder stark spezialisiert sind. Statt einer einzelnen KI arbeiten mehrere spezialisierte Agenten zusammen – etwa für Datenextraktion, Bewertung und Entscheidungsvorbereitung. Entscheidend bleibt dabei immer: Jeder Agent benötigt sauber definierten Kontext.

Gleichzeitig entsteht ein strategisches Risiko, das in der digitalen Entwicklung von Unternehmen oft unterschätzt wird: AI-Vendor Lock-in.

Wenn Sie Ihren gesamten Kontext in geschlossene Blackbox-Systeme externer Anbieter auslagern, riskieren sie, langfristig die Kontrolle über Ihr Unternehmenswissen zu verlieren. Darüber hinaus werden Systeme auf anbieterseitige Kontextspezifika hin optimiert. Das erschwert einen späteren Modellwechsel erheblich und schränkt die strategische Flexibilität Ihres Unternehmens langfristig ein. Externe Unterstützung für künstliche Intelligenz im Unternehmen senkt dieses Risiko.

FAQ