Una alucinación no es el modelo mintiéndote. Es el modelo haciendo exactamente aquello para lo que fue construido — producir la continuación más plausible — en un lugar donde nadie le dio nada con qué trabajar.
Ese cambio de encuadre importa, porque mueve el arreglo hacia antes. Casi toda alucinación en un sistema de recuperación es un hueco en lo que se recuperó, no un defecto del modelo que escribió la frase.
Las tres formas en que pasa
Identifica cuál estás mirando antes de cambiar nada. Tienen arreglos distintos, y el arreglo equivocado empeora las otras.
La tercera ni siquiera es una alucinación, y los equipos pasan semanas ajustando la recuperación antes de darse cuenta. El asistente está siendo perfectamente consistente con una fuente que discrepa con otra.
Cómo se ve una buena respuesta cuando no hay respuesta
Lo más útil que hace un asistente es negarse. Prueba la tercera pregunta de acá abajo: está a propósito fuera del material indexado.
El rechazo nombra su mejor coincidencia y su score. No es decoración: te dice que la pregunta se hizo, que la recuperación corrió, y que el resultado fue demasiado débil para construir encima. Ahora sabes que falta una página.
Un asistente que responde todo no es más capaz. Es menos honesto, y lo vas a descubrir en una pregunta que importa.
Anclar no es una garantía
La recuperación quita la causa más común y no quita todas. Un modelo al que le das un fragmento que cubre la pregunta a medias igual tiende a cerrar el hueco en vez de detenerse.
Por eso importan tanto el umbral como la instrucción. El umbral decide qué llega al modelo; la instrucción decide qué hace cuando lo que llegó es poco.
Un cliente al que le dicen el plazo de devolución equivocado actúa en consecuencia. El costo no es una mala conversación: es un reembolso que ahora tienes que honrar o un reclamo que ahora tienes que perder. El silencio se recupera; un error seguro, no.
Qué lo reduce de verdad
En el orden en que conviene hacerlo, de lo más barato a lo más caro.
- Lee los fragmentos detrás de tus respuestas malas. Una respuesta mala sobre un fragmento fuerte significa que el documento está mal. Sobre uno débil, falló la recuperación. No puedes elegir el arreglo sin saber cuál es.
- Sube el umbral hasta que empiece a negarse. Después baja un paso. La mayoría de las configuraciones están ajustadas para responder de más, porque en una demo un rechazo parece un fracaso.
- Recorta la profundidad de recuperación. Pocos fragmentos precisos le ganan a muchos donde la mitad son marginales, y de paso baja el costo.
- Escribe la página que falta. Si una pregunta sigue llegando y nada la responde, ningún ajuste va a inventar el contenido.
- Arregla las contradicciones. Dos versiones vivas de una política no es algo que un asistente pueda resolver por ti.
Preguntas frecuentes
Empieza por abrir tres respuestas que sabes que están mal y leer los fragmentos detrás. Lo que sea que ibas a cambiar, esa hora te va a decir si era lo correcto.
