Comment suivre des centaines de prompts personnalisés sur plusieurs LLM ?
Module
Le module Question Analysis de Bikma construit le prompt set à partir de la façon dont les gens posent réellement leurs questions et le pondère avec le Prompt Probability Index, au lieu de réécrire des mots-clés sous forme de questions.
Comment le prompt set est construit
Bikma part de la demande explicite et latente du marché, segmentée en clusters de marque et hors marque et organisée par thème. Chaque intention est échantillonnée avec plusieurs formulations, car la réponse d’un modèle change davantage quand la question est reformulée que quand elle est répétée. Un set typique pour un secteur B2B compte 60 à 120 questions bien choisies, et il est modifiable : les questions ajoutées manuellement restent signalées afin de ne pas contaminer la série historique.
Le Prompt Probability Index
Bikma attribue à chaque question une probabilité déclarée d’être posée, et non un volume observé, à l’aide d’un modèle d’inférence validé avec l’Université de Pise et l’Université de l’Insubrie. La métrique est agrégée par intention plutôt que par formulation, de sorte que le poids reflète ce qu’une question compte réellement sur le marché.
Pourquoi c’est important
La qualité du set de questions détermine la qualité de tout le reste : mesurer les mauvaises questions, ou mal les pondérer, produit des chiffres précis mais inutiles.