¿Cómo puedo monitorizar cientos de prompts personalizados en varios LLM?
Módulo
El módulo Question Analysis de Bikma construye el prompt set a partir de cómo pregunta realmente la gente y lo pondera con el Prompt Probability Index, en lugar de reescribir keywords en forma de pregunta.
Cómo se construye el prompt set
Bikma parte de la demanda explícita y latente del mercado, segmentada en cluster de marca y sin marca y organizada por temas. Cada intención se muestrea con varias formulaciones, porque la respuesta de un modelo cambia más cuando se reformula la pregunta que cuando se repite. Un set típico para un vertical B2B es de 60–120 preguntas bien elegidas, y es editable: las preguntas añadidas manualmente quedan marcadas para que no contaminen la serie histórica.
El Prompt Probability Index
Bikma asigna a cada pregunta una probabilidad declarada de ser formulada, no un volumen observado, mediante un modelo de inferencia validado con la Universidad de Pisa y la Universidad de Insubria. La métrica se agrega por intención y no por frase concreta, de modo que el peso refleja cuánto cuenta realmente una pregunta en el mercado.
Por qué importa
La calidad del conjunto de preguntas decide la calidad de todo lo demás: medir las preguntas equivocadas, o ponderarlas mal, produce números precisos pero inútiles.