Wie kann ich Hunderte individueller Prompts über mehrere LLMs hinweg überwachen?
Modul
Das Question-Analysis-Modul von Bikma baut das Prompt-Set aus der Art auf, wie Menschen tatsächlich fragen, und gewichtet es mit dem Prompt Probability Index, statt Keywords in Fragen umzuschreiben.
Wie das Prompt-Set entsteht
Bikma geht von der expliziten und latenten Nachfrage des Markts aus, segmentiert in Branded- und Non-Branded-Cluster und nach Themen geordnet. Jede Suchintention wird mit mehreren Formulierungen abgefragt, denn die Antwort eines Modells ändert sich stärker, wenn die Frage umformuliert wird, als wenn sie wiederholt wird. Ein typisches Set für eine B2B-Branche umfasst 60–120 gut gewählte Fragen und ist bearbeitbar: Manuell hinzugefügte Fragen bleiben gekennzeichnet, damit sie die historische Datenreihe nicht verfälschen.
Der Prompt Probability Index
Bikma weist jeder Frage eine angegebene Wahrscheinlichkeit zu, gestellt zu werden – kein beobachtetes Volumen –, und nutzt dafür ein Inferenzmodell, das mit der Universität Pisa und der Universität Insubria validiert wurde. Die Metrik wird je Suchintention aggregiert statt je einzelner Formulierung, sodass das Gewicht widerspiegelt, wie viel eine Frage im Markt wirklich zählt.
Warum es wichtig ist
Die Qualität des Fragen-Sets bestimmt die Qualität von allem anderen: Die falschen Fragen zu messen oder sie schlecht zu gewichten, liefert präzise, aber nutzlose Zahlen.