Cómo mejorar recuperación cambiando tamaño de chunks
Cuando el asistente cita la página incorrecta, generalmente es por el tamaño de chunks, no por el modelo. Aprende a leer los scores y elegir uno mejor.
Cuando tu asistente da una respuesta confiada basada en un fragmento que puntuó 0.61, ese es un fallo de chunking, no un fallo del modelo. El modelo está haciendo su trabajo. Los fragmentos incorrectos llegan a él.
Lee los scores de recuperación, no solo las respuestas
Cada respuesta en WelcomeAI te muestra los fragmentos que usó y cuán similar era cada uno a la pregunta. Ese score de similitud es el diagnóstico más rápido que tienes. Casi nadie lo mira.
Abre una conversación donde la respuesta falló. Si el fragmento superior puntuó arriba de 0.80 y la respuesta sigue siendo incorrecta, tu contenido es incorrecto o está incompleto. Si el fragmento superior puntuó 0.6 y el asistente respondió de todas formas, la recuperación falló. El modelo rellenó vacíos en lugar de pedir ayuda.
Los valores por defecto comienzan así:
{
"chunk_size": 800,
"overlap": 120,
"threshold": 0.78,
"top_k": 6
}Estos funcionan para centros de ayuda y documentación de productos, que es lo que la mayoría indexa primero. No son reglas fijas.
Diagnostica el fallo por su patrón
Antes de cambiar nada, identifica qué se está rompiendo.
La respuesta es correcta pero cita la página equivocada. Tus chunks son demasiado grandes. Un fragmento cubre tres temas. El que coincidió con la pregunta no es el que la respondió.
La respuesta pierde un detalle que está escrito. Tus chunks son demasiado pequeños, o el overlap es muy bajo. Una oración se cortó por la mitad entre dos chunks, así que ninguno contiene la idea completa.
El asistente dice que no lo sabe, y debería saberlo. El contenido puede no estar indexado, o tu threshold es demasiado alto para tus documentos. Verifica si el documento terminó de indexarse primero. Generalmente terminó.
Cambia el tamaño de chunks según tu contenido
Los documentos más largos con encabezados claros toleran chunks más grandes. Un encabezado da contexto a cada fragmento bajo él. Una FAQ donde cada respuesta tiene dos oraciones necesita chunks más pequeños.
El overlap importa más de lo que la gente espera. Con 120 tokens, una oración que cae en un límite todavía aparece completa en el siguiente fragmento. Con 20 tokens, no.
Para probar un número nuevo: cambia una configuración, re-indexa, y haz las mismas cinco preguntas que hiciste antes. Cinco preguntas reales superan cualquier cantidad de razonamiento sobre el tamaño ideal.
Re-indexa sin tiempo de inactividad
La re-indexación reescribe cada vector en tu base de conocimiento. En mil documentos tarda alrededor de cuatro minutos. El widget sigue respondiendo desde el índice antiguo hasta que termina el nuevo, así que tu sitio permanece en línea.
Esto es deliberado. Deberías sentirte libre de probar un número, ver los scores, y probar otro. El costo de las pruebas es bajo.
Preguntas frecuentes
¿Qué score de recuperación es lo suficientemente bueno?
Por encima de 0.80 significa que el fragmento es altamente relevante. Entre 0.70 y 0.80 es límite; el modelo puede o no encontrar la respuesta correcta. Por debajo de 0.70 significa que la recuperación está fallando.
¿Siempre debo usar el tamaño de chunk más grande?
No. Los chunks más grandes funcionan cuando tus documentos tienen estructura (encabezados, secciones) que dan contexto. El contenido sin estructura o las FAQs a menudo necesitan chunks más pequeños para que cada fragmento se mantenga enfocado.
¿Cuánto tarda la re-indexación?
En una base de conocimiento típica, la re-indexación tarda algunos minutos. Tu widget continúa respondiendo desde el índice antiguo hasta que termine, así que puedes probar cambios sin estar sin conexión.
¿Puedo cambiar configuraciones sin perder el historial?
Sí. La re-indexación solo reconstruye los vectores. Tu historial de conversaciones y documentos fuente permanecen igual.
Comienza verificando los scores de recuperación en tus respuestas incorrectas, diagnostica el patrón, y prueba un nuevo tamaño de chunk antes de cambiar cualquier otra cosa.