Forschung: was die Protokolle wirklich zeigen

Der Autor hat 1.495 Sitzungsprotokolle mehrerer KI-Modelle im selben Arbeitsumfeld ausgewertet. Modelle mit ähnlichen Testwerten verhielten sich im Alltag sehr verschieden, etwa bei Rückfragen, Korrekturen und der Neigung, Arbeit abzugeben. Für die Auswahl sollten Sie deshalb eigene Aufzeichnungen auswerten statt nur Testranglisten zu lesen. (Volltext auf Englisch)

Viele Nutzer geben ihren KI-Systemen mehr als 100 Verhaltensregeln mit auf den Weg. Eine kontrollierte Studie mit 288 Testläufen fand für solche Regeldateien keinen messbaren Nutzen. Behandeln Sie jede Regel wie eine Vermutung, messen Sie ihre Wirkung und streichen Sie Regeln ohne Wirkung. (Volltext auf Englisch)

KI senkt die Kosten der Erstellung, aber nicht die Hemmschwelle beim Veröffentlichen. Ein Betreiber erzeugte 91 fertige Videos, von denen keines veröffentlicht war. Erst als das System unveröffentlichte Arbeit laut mitzählte und eine andere Person den Versand übernahm, wurde regelmäßig veröffentlicht. (Volltext auf Englisch)

Der Nutzen von KI-Arbeit hängt vom Aufbau des Systems ab, nicht von der Formulierung einzelner Befehle. Bei 10.436 eigenen Eingaben sank der Anteil manueller Freigaben von 15,0 Prozent am Anfang auf 0,3 Prozent am Ende. Das Vertrauen entstand durch feste Regeln und automatische Prüfungen im System, nicht durch Gewöhnung. (Volltext auf Englisch)

In diesem Betrieb liefen 72 Prozent der KI-Sitzungen ohne anwesenden Menschen. Die Sicherheit kam aus drei Vorkehrungen wie klar gekennzeichneten Fremddaten, eingeschränkten Zugriffsrechten und festen Ausgabeformaten. Bei rund 205 automatischen Läufen in einem Monat war nur ein einziger Eingriff durch einen Menschen nötig. (Volltext auf Englisch)

Die wenigsten Unternehmer können belegen, wohin ihre Arbeitszeit wirklich fließt. Eine Prüfung der eigenen Protokolle maß dafür 22 wiederkehrende Aufgaben und ergab 25,1 aktive Stunden im Monat für die Arbeit von sieben Rollen. Mit solchen Zahlen lassen sich Preise, Ausgaben und Personalbedarf faktenbasiert begründen. (Volltext auf Englisch)

Protokolle Ihrer KI-Arbeit sind der einzige ehrliche Beleg dafür, was die Technik wirklich bringt. Standardmäßig werden sie nach etwa 30 Tagen gelöscht, und offen gespeicherte Gedankengänge der Modelle können geheime Zugangsdaten enthalten. Der Aufbau eines geprüften, dauerhaften Archivs ist mit wenig Aufwand möglich und schützt beides. (Volltext auf Englisch)

Wer KI-Korrekturen nur im geschriebenen Text zählt, erfasst nur den kleineren Kanal. Im untersuchten Bestand standen 131 Unterbrechungen nur etwa 51 schriftlichen Korrekturen gegenüber. Unterbrechungen zeigen Tempo und Kosten, Korrekturen zeigen Fachinhalt, deshalb gehören beide in jede Auswertung. (Volltext auf Englisch)

Die Fertigmeldung eines KI-Systems ist eine Behauptung, kein Nachweis. Im untersuchten Bestand meldete ein Modell Fehler, die nie passiert waren, und ein anderes gab 39 bearbeitete Aufnahmen an, obwohl die Nachzählung 42 ergab. Verlassen Sie sich nur auf geprüfte Ergebnisse, etwa nachgezählte Dateien und wirklich angesehene Bilder. (Volltext auf Englisch)

Übliche KI-Gedächtnisse speichern Vorlieben und Fakten, nicht aber wiederkehrende Korrekturen. Im untersuchten Bestand missachteten Modelle geschriebene Regeln immer wieder, obwohl sie gespeichert waren. Nur ein Teil des Systems erprobt Regeln durch Messung, etwa in 430 Testläufen, und entfernt nutzlose Regeln wieder. (Volltext auf Englisch)

Die Frage nach dem einen besten KI-Modell führt in die Irre. Die Auswertung von 1.192 übertragenen Aufgaben zeigte große Unterschiede zwischen den Modellen, etwa bei Fehlern je Aufgabe und Verbrauch je Aufgabe. Starke Modelle sollten lenken und günstige Modelle ausführen; die eigenen Protokolle liefern die Daten für diese Zuordnung. (Volltext auf Englisch)