es el patr¨®n preferido por nuestros equipos para mejorar la calidad de las respuestas generadas por un modelo de lenguaje de gran tama?o (LLM). Lo hemos utilizado con ¨¦xito en muchos proyectos, incluyendo la . Con RAG, la informaci¨®n sobre documentos relevantes y confiables se almacena en una base de datos. Para un prompt dado, se consulta la base de datos, se recuperan los documentos relevantes y se ampl¨ªa el prompt con el contenido de los documentos, proporcionando as¨ª un contexto m¨¢s completo al LLM. Esto resulta en una salida de mayor calidad y reduce considerablemente las alucinaciones. La ventana de contexto ¡ªque determina el tama?o m¨¢ximo de la entrada del LLM¡ª ha crecido significativamente con los modelos m¨¢s nuevos, pero seleccionar los documentos m¨¢s relevantes sigue siendo un paso crucial. Nuestra experiencia indica que un contexto m¨¢s peque?o y cuidadosamente construido puede generar mejores resultados que un contexto amplio y grande. Utilizar un contexto grande tambi¨¦n es m¨¢s lento y costoso. Antes depend¨ªamos ¨²nicamente de incrustaciones almacenadas en una base de datos vectorial para identificar el contexto adicional. Ahora estamos viendo re-ranking y b¨²squeda h¨ªbrida: herramientas de b¨²squeda como Elasticsearch Relevance Engine, as¨ª tambi¨¦n enfoques como que utilizan grafos de conocimiento creados con la ayuda de un LLM. El enfoque basado en grafos ha funcionado particularmente bien en nuestro trabajo sobre la comprensi¨®n de bases de c¨®digo heredado con GenAI.
es el patr¨®n preferido por nuestros equipos para mejorar la calidad de las respuestas generadas por un modelo ling¨¹¨ªstico grande (LLM por sus siglas en ingl¨¦s). Lo hemos utilizado con ¨¦xito en varios proyectos, incluyendo el popular . Con RAG, la informaci¨®n sobre documentos relevantes y fiables -en formatos como HTML y PDF- se almacena en una base de datos que admita un tipo de datos vectorial o una b¨²squeda eficiente de documentos, como pgvector, Qdrant o Elasticsearch Relevance Engine. Para una consulta determinada, la base de datos se consulta para recuperar documentos relevantes, que luego se combinan con la consulta para proporcionar un contexto m¨¢s enriquecido al LLM. De este modo se obtienen resultados de mayor calidad y se reducen considerablemente las alucinaciones. La ventana de contexto -que determina el tama?o m¨¢ximo de entrada del LLM- es limitada, lo que significa que seleccionar los documentos m¨¢s relevantes es crucial. Mejoramos la relevancia del contenido que se a?ade a la consulta mediante re-ranking. Del mismo modo, los documentos suelen ser demasiado grandes para calcular una incrustaci¨®n, lo que significa que deben dividirse en fragmentos m¨¢s peque?os. Suele ser un problema dif¨ªcil, y una soluci¨®n es que los fragmentos se solapen hasta cierto punto.
es una t¨¦cnica que combina memoria param¨¦trica y no-param¨¦trica, previamente entrenadas, para la generaci¨®n de lenguaje. Nos permite tomar el conocimiento que poseen los LLMs pre-entrenados y aumentarlo con el conocimiento privado y contextual de nuestro dominio o industria. Con RAG, primero obtenemos un conjunto de documentos relevantes a partir de la memoria no-param¨¦trica (usualmente a trav¨¦s de una b¨²squeda similar en un almacenamiento de datos vectorial) para despu¨¦s usar la memoria param¨¦trica de los LLMs y generar una salida que es consistente con los documentos obtenidos inicialmente. Concluimos que RAG es una t¨¦cnica efectiva para una variedad de tareas que requieren un intenso conocimiento sobre procesamiento de lenguaje natural ¨C incluyendo responder preguntas, resumir y generar historias.
