Cuando tu asistente da una respuesta confiada basada en un fragmento que puntuó 0.19, mientras que las respuestas en las que confías se apoyan en fragmentos de alrededor de 0.55, eso es un fallo de chunking y no un fallo del modelo. El modelo está haciendo su trabajo. Lo que llegan son los fragmentos equivocados.
Lee los scores de recuperación, no solo las respuestas
Cada respuesta en WelcomeAI te muestra los fragmentos que usó y cuán similar era cada uno a la pregunta. Ese score de similitud es el diagnóstico más rápido que tienes. Casi nadie lo mira.
Abre una conversación donde la respuesta falló. Después compara su score más alto contra los scores detrás de las respuestas que sí salieron bien en la misma base de conocimiento.
Si el primer fragmento puntuó tan alto como puntúan tus respuestas buenas y la respuesta sigue siendo incorrecta, tu contenido está mal o incompleto. Si puntuó muy por debajo de ellas y el asistente respondió de todas formas, la recuperación falló y el modelo rellenó el vacío en lugar de pedir ayuda.
Un umbral copiado de un tutorial no sobrevive al contacto con contenido real. En documentos reales, un fragmento genuinamente relevante suele caer entre 0.35 y 0.60, no el 0.80 que sugieren los ejemplos. Lee tus propios números antes de decidir cuáles cuentan como bajos.
Los valores por defecto comienzan así:
{
"chunk_size": 800,
"overlap": 120,
"threshold": 0.78,
"top_k": 6
}Estos funcionan para centros de ayuda y documentación de productos, que es lo que la mayoría indexa primero. No son reglas fijas.
Qué es un chunk en realidad
Un chunk es una ventana sobre tu documento, y las ventanas consecutivas comparten sus bordes a propósito.
Ese borde compartido es el overlap, y importa más de lo que la gente espera. Con 120 tokens, una oración que cae sobre un límite todavía aparece completa dentro del siguiente fragmento. Con 20 tokens no, y ninguno de los dos chunks contiene la idea completa.
Diagnostica el fallo por su patrón
Antes de cambiar nada, identifica qué se está rompiendo.
La tercera fila atrapa a más gente que las otras dos. Verifica si el documento terminó de indexarse antes de tocar un ajuste. Generalmente terminó, pero la comprobación cuesta diez segundos.
Cambia el tamaño de chunks según tu contenido
Los documentos más largos con encabezados claros toleran chunks más grandes. Un encabezado da contexto a cada fragmento bajo él. Una FAQ donde cada respuesta tiene dos oraciones necesita chunks más pequeños.
Prueba un número a la vez
Re-indexa sin tiempo de inactividad
La re-indexación reescribe cada vector en tu base de conocimiento. En mil documentos tarda alrededor de cuatro minutos. El widget sigue respondiendo desde el índice antiguo hasta que termina el nuevo, así que tu sitio permanece en línea.
Ese comportamiento es deliberado. Deberías sentirte libre de probar un número, leer los scores, y probar otro la misma tarde.
Preguntas frecuentes
¿Qué score de recuperación es lo suficientemente bueno?
No hay un número único. Los rangos dependen de tu modelo de embeddings y de cómo están escritos tus documentos, así que la comparación útil es contra tu propia línea base: ¿cuánto puntúan los fragmentos detrás de tus respuestas correctas? Cualquier cosa muy por debajo de eso es la recuperación fallando.
¿Siempre debo usar el tamaño de chunk más grande?
No. Los chunks más grandes funcionan cuando tus documentos tienen estructura, como encabezados y secciones, que da contexto a cada fragmento. El contenido sin estructura y las FAQs suelen necesitar chunks más pequeños para que cada fragmento se mantenga enfocado en una idea.
¿Cuánto tarda la re-indexación?
Unos minutos en una base de conocimiento típica. Tu widget continúa respondiendo desde el índice antiguo hasta que termine, así que puedes probar cambios sin estar sin conexión.
¿Puedo cambiar configuraciones sin perder el historial?
Sí. La re-indexación solo reconstruye los vectores. Tu historial de conversaciones y tus documentos fuente permanecen igual.
Empieza revisando los scores de recuperación en tus respuestas incorrectas, identifica el patrón en la tabla de arriba, y cambia un solo número antes de tocar cualquier otra cosa.
