Come posso monitorare centinaia di prompt personalizzati su più LLM?
Modulo
Il modulo Question Analysis di Bikma costruisce il set di prompt dal modo in cui le persone chiedono davvero e lo pesa con il Prompt Probability Index, invece di riscrivere keyword come domande.
Come nasce il prompt set
Bikma parte dalla domanda esplicita e latente del mercato, segmentata in cluster brand e non-brand e organizzata per topic. Ogni intento è campionato con più formulazioni, perché la risposta di un modello cambia più riformulando la domanda che ripetendola. Un tipico set per una verticale B2B è di 60–120 domande ben scelte, editabile: le domande aggiunte manualmente restano marcate per non contaminare la serie storica.
Il Prompt Probability Index
A ogni domanda Bikma assegna una probabilità dichiarata di essere posta, non un volume osservato, con un modello di inferenza validato con l'Università di Pisa e dell'Insubria. La metrica è aggregata per intento, non per singola frase, così il peso riflette quanto una domanda conta davvero nel mercato.
Perché conta
La qualità del set di domande decide la qualità di tutto il resto: misurare le domande sbagliate, o pesarle male, produce numeri precisi ma inutili.