Warum eine zweite Chance einer harten Sperre bei Freitext-Prüfungen überlegen ist

Jede Plattform, die Menschen für Freitextantworten bezahlt, muss entscheiden, was zu tun ist, wenn eine Antwort verdächtig wirkt. Die übliche Antwort ist eine harte Sperre: Die Antwort wird verworfen, die Teilnehmenden werden markiert, manchmal wird das Konto geschlossen. Wir haben uns für die Freitext-Prüfung, die vor Erreichen einer Studie durchgeführt wird, für einen anderen Weg entschieden. Teilnehmende, deren Antwort nicht besteht, erhalten einen weiteren Versuch mit einem Hinweis. Erst ein zweites Scheitern beendet die Sitzung. Dieser Beitrag erklärt, worauf die Prüfung achtet, warum der zweite Versuch keine Nachsicht ist und was wir beim Aufbau dieses Systems gelernt haben.

Wozu die Freitext-Prüfung dient

Käufer von Befragungsdaten stornieren Abschlüsse aus einer kurzen Liste von Gründen, die sich seit Jahren kaum verändert hat: überstürzte Antworten, Widersprüche, Straightlining sowie Freitextfelder, die leer, kopiert oder generiert sind. Die letzte Gruppe ist am schnellsten gewachsen. Chat-Assistenten machen es einfach, einen flüssigen Absatz zu erzeugen, der nichts über die befragte Person aussagt, und eine von anderswo eingefügte Antwort wirkt genauso flüssig.

Unsere Prüfung liegt zwischen dem Matching und der Weiterleitung. Teilnehmende, die einer Studie zugeordnet wurden, beantworten einen kurzen Block, der widerspiegelt, worauf Käufer später achten: eine Freitextfrage, die auf Sorgfalt geprüft wird, ein Konsistenzpaar, eine Aufmerksamkeitsfrage sowie Eingabefelder, die eine Person nie sieht, die Automatisierung aber ausfüllt. Der Block wird direkt bei der Anfrage bewertet, deterministisch und ohne externen Dienst, und die Bewertung entscheidet, ob Teilnehmende zur Studie weitergeleitet werden.

Was als eindeutiges Signal gilt

Der größte Teil des Blocks wird gemessen und gewichtet statt strikt durchgesetzt, weil es sich meist um eine Frage des Grades handelt. Drei Dinge sind keine Frage des Grades:

• Ein verstecktes Eingabefeld mit einem Wert. Das Feld war für eine Person nicht sichtbar. Etwas anderes hat es ausgefüllt.
• Assistenten-Text. Eine Antwort, die sich selbst als Assistent bezeichnet, die ihre eigene Ausgabe als Vorschlag formuliert („das könntest du schreiben:“), oder die eher die Struktur einer Chat-Antwort trägt als die einer Person, die eine Frage beantwortet.
• Eine kopierte Antwort. Freitext, der einem Antworttext aus einer anderen Sitzung fast identisch ist, oberhalb einer Länge, ab der Zufall unwahrscheinlich ist.

Jedes dieser Merkmale ist ein starkes Anzeichen dafür, dass die Antwort nicht in diesem Moment von den Teilnehmenden geschrieben wurde. Keines davon ist ein Beweis.

Warum nicht einfach sperren

Das Argument für eine harte Sperre ist Effizienz: Eine verdächtige Antwort zu verwerfen kostet nichts, und ein Käufer bekommt sie nie zu Gesicht. Das Gegenargument ist, was eine harte Sperre der ehrlichen Minderheit innerhalb jedes verdächtigen Musters antut – und was das die Plattform kostet.

Ehrliche Menschen lösen starke Signale aus

Teilnehmende, die eine Antwort in einer Notiz-App vorformuliert und dann eingefügt haben, erzeugen einen Copy-Paste-Vorgang. Teilnehmende, die gestern eine ähnliche Frage beantwortet haben und sich erinnern, was sie geschrieben haben, erzeugen einen Fast-Duplikat ihres eigenen Textes. Eine Browsererweiterung, die Formulare automatisch ausfüllt, füllt auch versteckte Felder aus. Das sind keine Grenzfälle, die nur zur Veranschaulichung erfunden wurden – sie tauchen jede Woche bei der Überprüfung auf. Eine harte Sperre behandelt jeden dieser Fälle als Betrug, und die Teilnehmenden erfahren nie, warum keine Umfragen mehr kommen.

Stille Sperren bewirken nichts

Auch wer eine Automatisierung betreibt, lernt aus einer Sperre nichts, verliert dabei aber auch nichts: Er öffnet einfach eine neue Sitzung. Ehrliche Teilnehmende hingegen verlieren eine Umfrage und oft ihr Vertrauen in die Plattform. Eine harte Sperre wirkt daher in die falsche Richtung asymmetrisch. Sie bestraft diejenigen, die ihr Verhalten korrigiert hätten, und stört kaum diejenigen, die es nicht getan hätten.

Stornierungen sind die eigentlichen Kosten

Was Käufer tatsächlich sanktionieren, ist der Abschluss, der bei ihnen ankommt und sich als wertlos erweist. Eine Prüfung, die das vor der Weiterleitung erkennt, verhindert die Stornierung; eine Prüfung, die zusätzlich ehrliche Abschlüsse verwirft, bringt keinen zusätzlichen Nutzen und kostet Volumen. Ziel ist es, zu verhindern, dass fehlerhafte Antworten die Studie erreichen – nicht, Menschen auszuschließen.

Was die zweite Chance bewirkt

Bei einem eindeutigen Signal wird der Block ein weiteres Mal angezeigt, mit einem Hinweis darauf, wie eine gute Antwort aussieht: von dir selbst geschrieben, in deinen eigenen Worten, zur gestellten Frage. Mehr nicht. Den Teilnehmenden wird nicht mitgeteilt, welches Signal ausgelöst hat, und der Hinweis ist für jedes Signal identisch, sodass es nichts zurückzuentwickeln gibt. Ehrliche Teilnehmende lesen ihn, schreiben zwei Sätze und machen weiter. Automatisierung und Copy-Paste erzeugen erneut dasselbe Muster, und das zweite Scheitern beendet die Sitzung, bevor die Studie erreicht wird. Die Studie bekommt den Abschluss nie zu Gesicht, der Käufer storniert ihn nie, und die Sitzung der Teilnehmenden endet mit einem neutralen Bildschirm.

Zwei Design-Entscheidungen sind hier wichtig. Die zweite Chance gilt pro Teilnehmenden und pro Sitzung; sie wird nie zu einer Sperre für eine Traffic-Quelle, einen Anbieter oder einen Affiliate, denn eine Quelle ist immer eine Mischung aus Menschen, und eine Sperre auf Quellenebene bestraft die ehrlichen Personen in dieser Mischung. Und die im Moment getroffene Entscheidung wird später nie rückgängig gemacht. Wenn sich die Bewertungsregeln verbessern, werden vergangene Antworten neu bewertet, damit die neuen Regeln an der gesamten Kohorte kalibriert werden können – Teilnehmende, die an dem Tag bestanden haben, bleiben aber als bestanden gewertet.

Worauf wir achten

Eine zweite Chance ist einer Sperre nur dann überlegen, wenn sie die beiden Gruppen tatsächlich trennt. Wir messen den Anteil der zweiten Versuche, die bestehen, die Stornierungsquote von Abschlüssen, die beim ersten Versuch bestanden haben, im Vergleich zu solchen, die erst beim zweiten Versuch bestanden haben, sowie die Stornierungsquote von allem, was die Prüfung durchgelassen hat, im Vergleich zu allem, was sie gestoppt hat – sobald Käufer Zeit zum Abgleich hatten. Diese Zahlen werden regelmäßig überprüft, und die Regeln werden nur dann verschärft, wenn die Zahlen zeigen, dass der zweite Versuch genutzt wird, um fehlerhafte Antworten zu verschleiern, statt ehrliche zu korrigieren. Wir veröffentlichen die internen Quoten nicht; wir veröffentlichen das Prinzip, denn Teilnehmende haben ein Recht darauf zu wissen, wie sie beurteilt werden.

Die ehrliche Grenze

Eine zweite Chance hält entschlossene Akteure, die den Hinweis lesen und sich anpassen, nicht auf. Das kann auf der Ebene der Antwort nichts leisten; dafür gibt es Geräte- und Verhaltenssignale, Limits pro Sitzung und Rückmeldungen von Käufern. Was die zweite Chance leistet, ist, den Kollateralschaden bei genau der Prüfung zu beseitigen, die jede ehrliche Teilnehmerin und jeden ehrlichen Teilnehmer am unmittelbarsten betrifft: die, die ihre Worte liest. Das ist einen zweiten Versuch wert.