Ein Dokument, ein Modell, neun Prüfungen

Der Fall

Eingabe ist Kapitel 4 der Arbeit, gedruckte Seiten 19 bis 34: „Leistungsrelevante Planungsparameter im Überblick“. Der Text geht unverändert und vollständig an das Modell, mit einer Marke [Seite N] vor jeder Seite. Ohne diese Marke könnte kein Modell eine Seitenzahl nennen, und die Belegprüfung hätte nichts zu prüfen.

Ein Datensatz, wie er zurückkommt

Aus dem Lauf von Claude Sonnet 5, unverändert. Rechts steht, was die Prüfung damit macht.

Alle 52 Datensätze prüfen lassen Extraktionstabelle (CSV)

Die neun Prüfungen

Keine davon fragt ein Modell. Alle neun vergleichen Zeichenketten mit dem Dokument oder zählen. Rechts steht die Fehlerklasse, die ein Befund auslöst.

Fehlerlogbuch

16 Befunde über vier Läufe und 52 Datensätze. Sie gruppieren sich in sieben Muster. Alle sind aufgezeichnet und im Browser nachprüfbar – keiner ist nacherzählt, keiner erfunden.

• F1 · Die Seitenzahl wandert nach hinten

  E3 · hoch 10 Fälle · Haiku 4.5, beide Läufe

  Das Zitat steht wörtlich im Dokument, aber eine Seite weiter als angegeben: „nicht auf Seite 32 – sondern auf 33“. Immer in dieselbe Richtung, und immer erst in der zweiten Hälfte des Kapitels. Die Marken [Seite N] sind für alle Modelle dieselben; Opus 5 und Sonnet 5 trafen mit denselben Marken 13 von 13.

  Gegenmaßnahme: P4 vergleicht seitengenau, nicht nur dokumentweit. Ohne P4 wäre der Fehler unsichtbar – das Zitat ist ja echt.

• F2 · Aus dem Zitat verschwindet die Quellenangabe

  E5 · mittel 1 Fall · Haiku 4.5

  Das Zitat lautete: „… für weniger als 10 % der Gesamtwasserbilanz verantwortlich ist, werden während der Wachstumsperiode …“. Im Dokument steht dazwischen „(Dagenais et al. 2018)“. Die Klammer fiel weg – das Zitat gibt sich als wörtlich aus und hat die Zuschreibung verloren.

  Gegenmaßnahme: P9 sucht Anfang und Ende des Zitats getrennt auf der Seite. Liegen beide da und ist der Abstand größer als das Zitat, benennt die Prüfung die weggelassene Stelle im Wortlaut.

• F3 · Aus „drei bis fünf“ wird „3 bis 5“

  E1 · hoch 1 Fall · Haiku 4.5

  Das Zitat schreibt die Zahl aus: „jährlich drei bis fünf Prozent der Herstellungskosten“. Das Modell trug 3 bis 5 ein. Inhaltlich richtig – und trotzdem ein Wert, der sich am Zitat nicht nachprüfen lässt. Genau dafür ist P5 da: Sie sagt nicht „falsch“, sie sagt „ansehen“.

• F4 · … und aus „drei bis fünf“ wird „drei bis fünf“

  E1 · hoch 2 Fälle · Opus 5 und Sonnet 5

  Dieselbe Stelle, umgekehrtes Verhalten: Opus 5 und Sonnet 5 blieben beim Wortlaut und schrieben neun bis zwölf beziehungsweise drei bis fünf in ein Feld, das einen Zahlenwert verlangt. P5 meldet „enthält keine Zahl“.

  Das ist ein Befund über meine Aufgabenstellung, nicht über die Modelle. Drei von vier Läufen stolpern an derselben Stelle, weil das Feld kennwert nicht sagt, was zu tun ist, wenn das Dokument eine Zahl ausschreibt. Der Befund bleibt stehen und die Feldbeschreibung ebenfalls – korrigiert wäre das eine Zeile, und ein Beleg dafür, wie eine unscharfe Spezifikation aussieht, wäre weg.

• F5 · Ohne Schema kommt eine nackte Liste zurück

  E6 · niedrig–mittel 1 Fall · Lauf ohne erzwungenes Schema

  Der vierte Lauf stellte dieselbe Frage ohne output_config.format. Zurück kam eine Liste statt des Objekts, das die Weiterverarbeitung erwartet – das Feld datensaetze fehlte. Die Aufgabenstellung nennt dieses Feld nirgends; das tut sonst das Schema. Genau das ist der Punkt: Ohne Schema muss die Weiterverarbeitung raten, wo die Daten stehen.

• F6 · … und ein Markdown-Codeblock drumherum

  E6 · niedrig–mittel 1 Fall · derselbe Lauf

  ```json vorn, ``` hinten. Das Skript entfernt beides – aber es vermerkt, dass es das tun musste. Stillschweigend zu reparieren hieße, den Unterschied zwischen den beiden Läufen zu verwischen.

• F7 · Ein großgeschriebener Anfangsbuchstabe

  kein Fehler 1 Fall · Lauf ohne Schema

  Das Zitat begann mit „Während“, im Dokument steht an der Stelle „während“ – Satzmitte. Das ist normale Zitierpraxis und keine Halluzination. Die Prüfung stuft es deshalb nicht als E2 ein, zählt den Datensatz aber auch nicht als belegt: Er bekommt den Status „nicht wörtlich“. Zeichengenau war verlangt, zeichengenau ist es nicht.

Zwei Klassen traten nicht auf – deshalb wurden sie erzeugt

In keinem der vier Läufe gab es eine echte Halluzination (E2) oder eine erfundene Quelle (E4). Eine Prüfung, die nie anschlägt, sieht aber wie eine bestandene Prüfung aus und ist keine. Fünf Fehler wurden deshalb absichtlich in einen sonst sauberen Datensatz eingebaut. Diese fünf Zeilen sind keine Modellfehler – sie tragen in jeder Ausgabe die Herkunft „bewusst erzeugter Testfall“ und werden nirgends mitgezählt.

Fehlerlog (CSV) Testfälle im Browser

Modellvergleich

Dieselbe Anfrage an drei Modelle, dazu ein vierter Lauf ohne erzwungenes Schema. Der thinking-Parameter wurde bewusst nicht gesetzt: So ist der Request bei allen dreien zeichengleich. Dass Opus 5 und Sonnet 5 dabei von sich aus denken und Haiku 4.5 nicht, ist eine Eigenschaft der Modelle und keine Einstellung dieses Vergleichs – man sieht es an den Ausgabetokens.

Vollständigkeit ist keine Spalte, weil sie nichts unterscheidet: Alle vier Läufe lieferten 13 von 13 Unterkapitel. Bei „Quelle im Verzeichnis“ sind die fehlenden Fälle keine falschen Quellen, sondern Datensätze ohne Quellenangabe – an der zitierten Stelle steht keine.

Vergleichstabelle (CSV)

Wo ich kein Modell einsetze

Nicht als allgemeine Warnung, sondern als vier Entscheidungen, die in genau diesem Projekt gefallen sind – jede mit dem, was stattdessen geschah.

Der Ablauf

Fünf Schritte, ein Skript. Der Punkt ist Schritt 4: Eine Extraktion, die alles übernimmt, was zurückkommt, ist keine Automatisierung, sondern eine Weitergabe des Risikos.

Ergebnis mit Körben (CSV) Ablaufprotokoll (TXT)