Un porcentaje junto a una respuesta parece rigor. "94% de confianza" sugiere que alguien midió algo y la respuesta pasó la prueba.
Decidimos desde el principio no mostrar uno. En su lugar, cada respuesta nombra el pasaje del que salió, y este post explica por qué, porque la decisión es menos obvia de lo que parece y muchos productos toman la contraria.
Qué mide en realidad un número de confianza
Cuando un asistente muestra un porcentaje de confianza, casi siempre está informando una de dos cosas: la estimación del propio modelo sobre qué tan probable es su redacción, o un score de similitud de la recuperación convertido en algo que parece una probabilidad.
Ninguna de las dos mide si la respuesta es verdadera. La primera describe qué tan fluida es la frase, y un modelo puede ser fluido y estar equivocado al mismo tiempo. La segunda describe qué tan cerca en significado está un pasaje de la pregunta, lo cual sirve, pero no es lo mismo que el pasaje contenga la respuesta.
La similitud no es corrección
Dos pasajes sobre el mismo tema pueden tener casi el mismo score, y solo uno responde la pregunta. Un score te dice que el pasaje habla de reembolsos. No puede decirte que el pasaje dice catorce días.
Esta es la misma pregunta respondida de las dos formas. Abre cada una y mira sobre qué se construyó la respuesta.
El porcentaje de la izquierda es el peligroso, y no porque el número sea inventado. Podría calcularse con total honestidad. El problema es que invita al lector a quedarse ahí, cuando lo único que habría detectado el error es mirar la fuente.
Qué le permite hacer cada uno al lector
La última fila fue la que lo decidió. Un asistente obligado a citar no tiene forma de responder desde la nada: si ningún pasaje es lo bastante fuerte, no hay nada que poner debajo de la respuesta, y lo único honesto que queda es decir que el material no lo cubre.
Dónde sí van los scores de similitud
No tiramos los números. Cada pasaje recuperado sigue llevando su score de similitud, y ese score es el diagnóstico más rápido que tiene un equipo cuando una respuesta sale mal.
La diferencia está en dónde se ubica. Un score junto a un pasaje con nombre es evidencia sobre la que se puede razonar: este pasaje, así de cerca, para esta pregunta. Un único porcentaje estampado sobre la respuesta esconde los pasajes y te pide que aceptes el resumen.
welcomeai.devCómo mejorar recuperación cambiando tamaño de chunksPor qué las citas importan para que las respuestas sigan siendo correctas con el tiempo es otro argumento, y lo explicamos por separado. Este post trata sobre la alternativa que descartamos.
Preguntas frecuentes
Si estás evaluando un asistente que muestra un porcentaje de confianza, hazle una pregunta cuya respuesta sabes que no está en su material, y mira qué hace el número.
welcomeai.devCómo evitar que tu chatbot de IA alucine
