Künstliche Intelligenz

AI Quality Assurance

Qualitätssicherung für KI-Systeme

Die wichtigste Frage an jedes KI-Feature ist nicht, was es kann – sondern ob man ihm trauen darf. Unsere Antwort ist ein Satz von Architekturmustern, die Vertrauen nicht versprechen, sondern erzwingen.

Das erste Muster ist die zweite Meinung: Ein unabhängiges Modell liest die selbstbewussten Ergebnisse eines anderen Systems quer – auch die scheinbar perfekten Treffer – und prüft, ob die Bedeutung wirklich passt. Dabei gilt: Der Prüfer darf Konfidenz senken, nie Ergebnisse ändern. Ein bezweifelter Treffer verliert sein Grün in der Konfidenz-Ampel und trägt eine Begründung – die Entscheidung bleibt beim Menschen.

Das zweite Muster ist Structured Output mit letztem Wort beim Code: Modelle antworten typisiert und schema-validiert, und deterministische Anwendungslogik prüft jeden Vorschlag gegen die Regeln des Systems – mit protokollierten Overrides, versionierten Prompts und Entscheidungen, die bis zur exakten Instruktion rückverfolgbar bleiben.

Und weil Vertrauen auch Kostenkontrolle heißt: Ein Token-Ledger macht den Verbrauch über mehrere Modelle und Anbieter hinweg pro Geschäftsobjekt abrechenbar – jeder Lauf trägt seinen aufgeschlüsselten Kostenbeleg.

AI Quality Assurance

Drei Muster, die KI-Ergebnisse prüfbar machen

Vertrauen als Architektur

Die unsichtbare zweite Meinung

Ein Review-Modell liest jede automatische Zuordnung quer, wie es jemand vom Fach täte. Es darf nur Konfidenz senken – mit Begründung und Alternativvorschlag. Kein KI-Badge, sondern eine ehrliche Zahl.

Code hat das letzte Wort

Modelle schlagen vor – deterministische Logik auditiert jeden Vorschlag gegen die Regeln des Systems und kann ihn overriden. Jeder Override wird mit Vorschlag, Wirkung und Grund protokolliert.

Der aufgeschlüsselte Kostenbeleg

Ein Token-Ledger bucht Verbrauch je Quelle und Modell; Preise entstehen erst bei der Anzeige aus einer konfigurierten Preistabelle. Ein Modell ohne Preis wird sichtbar markiert – statt still mit null bewertet.

QA-Muster in der Praxis

Drei Systeme, die den eigenen KI-Ergebnissen systematisch misstrauen – by design.

Die 100 %, der man trauen kann
Die 100 %, der man trauen kann
Die Stimme bewertet nie die Antworten
Die Stimme bewertet nie die Antworten
Was hat dieser Lauf gekostet?
Was hat dieser Lauf gekostet?
Second Opinion

Die 100 %, der man trauen kann

Im Budget-Import eines regionalen Filmförderfonds prüft ein LLM nach dem deterministischen Auto-Mapping jede Zuordnung – auch die scheinbar perfekten String-Treffer – wie ein Produktionsbuchhalter: Passt die Bedeutung der Zeile wirklich zum Konto? Nur Beschriftungen und Kontenpfade erreichen das Modell, nie Beträge. Ein repräsentativer Fang: Eine Sound-Postproduktions-Zeile, die per Namensähnlichkeit selbstbewusst auf ein Probeaufnahmen-Konto der Vorproduktion gemappt war, verlor ihr Grün – mit dem korrekten Konto als Vorschlag.

Structured Output

Die Stimme bewertet nie die Antworten

In unserer Voice-Interview-Plattform entscheidet nie das Gesprächsmodell, ob eine Antwort genügt: Nach jeder Antwort liefert ein separates Evaluator-Modell ein typisiertes Urteil – Abdeckung je Kriterium, fehlende Punkte, vorgeschlagene nächste Aktion. Deterministischer Code auditiert jeden Vorschlag gegen die Regeln des Interviews und kann ihn overriden – protokolliert mit Vorschlag, Wirkung und Grund. Prompts sind versioniert; jede Entscheidung trägt Prompt-Version und Hash und überlebt so sogar die Löschung des Transkripts.

Cost Governance

Was hat dieser Lauf gekostet?

Jeder Lauf der Plattform trägt einen itemisierten Token-Beleg über mehrere Modelle und Provider hinweg. Der Browser meldet nur Token-Zähler, nie Modell-Identitäten – welcher Preis gilt, entscheidet immer die Server-Konfiguration, ein manipulierter Client kann nichts umpreisen. Geld wird nie gespeichert: Der Ledger sammelt Tokens, bepreist wird erst bei der Anzeige – eine Preiskorrektur repariert die gesamte Historie, ein Modellwechsel bepreist alte Läufe nie um.

KI-Skepsis als Feature

Warum wir so bauen

Das sichtbare Produkt ist bei uns oft gar kein „KI-Feature“, sondern eine ehrliche Zahl, ein prüfbarer Vorschlag, ein nachvollziehbarer Beleg. Wer KI in Geschäftsprozesse bringt, in denen Zahlen stimmen müssen, braucht Systeme, die ihren eigenen Ergebnissen misstrauen – und genau dafür bauen wir die Architektur: zweite Meinungen, letztes Wort beim Code, lückenlose Rückverfolgbarkeit und Kosten, die sich pro Geschäftsobjekt erklären lassen.

Highlights

  • Ein zweites Modell prüft, was das erste behauptet – auch die perfekten Treffer
  • Warn-only: KI darf Vertrauen senken, nie Ergebnisse ändern
  • Structured Output: typisierte, schema-validierte Antworten statt Freitext
  • Prompt-Versionierung: Jede Entscheidung ist bis zur Instruktion rückverfolgbar
  • Token-Ledger: Jeder Lauf trägt seinen aufgeschlüsselten Kostenbeleg

Aus dem AI Spotlight

Das Production-Finance-Team eines großen Studios Vom Posteingang zum fertigen Budget Ein Agent holt Budgets aus dem Postfach, importiert und mappt sie – und ein zweiter prüft das Ergebnis. Was dabei entsteht, ist bewusst ein Entwurf, kein Fakt. Ein regionaler Filmförderfonds Die unsichtbare zweite Meinung Ein zweites Modell prüft jedes Import-Ergebnis, ohne die Begründungen des ersten zu kennen. Es warnt, es überschreibt nie: Angezeigte 100 Prozent müssen echte 100 Prozent sein. Unsere Voice-Interview-Plattform Die Stimme benotet nie Wer gut zuhört, urteilt milde. Deshalb bewertet ein zweites Modell jede Antwort mit Belegstellen pro Kriterium – und das letzte Wort hat deterministischer Code.

Softwareentwicklung in Hamburg!

Starten Sie ein neues Projekt mit uns oder verbessern Sie ein bestehendes auf das nächste Level
Projekt anfragen Dem Team beitreten