Qué es un embedding, y por qué dos frases sin palabras en común caen juntas

"¿Puedo recuperar mi dinero?" y "Las devoluciones se aceptan dentro de los 30 días" no comparten ninguna palabra útil para comparar. Un cliente ve la misma pregunta dos veces. Un índice por palabras clave ve dos cadenas sin relación.

Un embedding es lo que cierra ese hueco, y es menos misterioso de lo que suena. Convierte un texto en una posición, y una vez que todo es una posición, "relacionado" pasa a ser una distancia que se puede medir.

El mapa, y dónde cae una pregunta

Elige una pregunta. El mapa no se mueve; solo se mueve la pregunta.

El mapa de arriba tiene dos dimensiones porque una página las tiene. Un embedding real tiene muchas más, y esa es la única parte que hay que aceptar sin ver. Todo lo demás, incluido que la pregunta en inglés caiga al lado de los pasajes en español, funciona tal como se ve.

Qué son realmente esos números

Un modelo de embeddings lee un pasaje y produce una lista larga de números. No palabras, no un resumen, no un hash: coordenadas.

El modelo se entrenó con suficiente texto como para que los pasajes que se usan de forma parecida terminen con coordenadas parecidas. Nadie escribió una regla que diga que "recuperar mi dinero" se relaciona con "devolución". Salió del entrenamiento, que es también la razón por la que a veces tiene opiniones que nadie le pidió.

De ahí se desprenden tres propiedades que explican casi todo lo que verás en el día a día.

• El mismo texto siempre da los mismos números. El embedding es determinista, así que reindexar contenido sin cambios no cambia nada.
• Los números de un modelo no significan nada para otro. Las coordenadas son relativas al espacio de ese modelo, así que cambiar de modelo obliga a volver a generar todo.
• El largo no cambia el formato. Una frase y una página se convierten en una lista del mismo tamaño, y por eso una página promediada en un solo punto es un punto peor que cuatro pasajes enfocados.

Por qué la distancia no es relevancia

El número al lado de un pasaje es una similitud, y la forma honesta de leerlo es como una señal de orden, no como un veredicto.

Dos cosas confunden. La primera es que la similitud siempre devuelve algo: pregunta por el clima y recibirás tu pasaje menos irrelevante, y por eso existe un umbral y por eso un asistente necesita permiso para decir que no encontró nada.

La segunda es la escala. En este producto, las coincidencias genuinas caen más o menos entre 0.33 y 0.58. Un puntaje de 0.45 es una buena coincidencia, no una mediocre, y quien ponga el umbral en 0.8 porque suena riguroso acaba de apagar su recuperación.

El regalo gratis: los idiomas

La segunda pregunta del mapa es la que vale la pena mirar con calma. "Can I return it?" cae al lado de pasajes en español sobre devoluciones porque un modelo de embeddings multilingüe pone el significado en el mismo lugar sin importar el idioma que lo transporte.

Para quien vende en más de un país, esa es la diferencia entre mantener una base de conocimiento y mantener cuatro. Escribe la política de devoluciones una vez, y una pregunta en inglés o en portugués igual la encuentra; la respuesta vuelve en el idioma que usó el visitante.

No es magia ni es parejo: el efecto es más fuerte en los idiomas que el modelo vio más, y un término técnico o un nombre de producto puede comportarse raro en cualquiera. Pero el punto de partida es bastante mejor de lo que casi todos los equipos esperan antes de probarlo.

Qué cambia esto en tu contenido

Si la recuperación es geometría, escribir es ubicar cosas en un mapa.

Una página sobre cuatro temas es un punto en el medio de cuatro barrios, cerca de ninguno. Cuatro páginas cortas son cuatro puntos, cada uno cerca de las preguntas que responde. Esa es la razón mecánica detrás del consejo de un tema por página, y por eso ese consejo hace más por la calidad de las respuestas que cualquier ajuste de la pestaña de recuperación.

Preguntas frecuentes

La conclusión práctica es chica y poco vistosa. Tu contenido es un conjunto de puntos, las preguntas de tus clientes también son puntos, y el trabajo es lograr que quien pregunte con sus propias palabras caiga justo al lado del párrafo que lo responde.