La longitud de contexto es una de las especificaciones más malinterpretadas de la IA. Este artículo explica qué son los tokens, cómo funciona por dentro la ventana de contexto, por qué algunos modelos tienen problemas con entradas largas y qué buscar cuando necesitas un modelo capaz de tener presente a la vez una conversación completa, un escrito jurídico o una base de código entera.
La mayoría de la gente juzga un modelo de IA por su número de parámetros o por su puntuación en un benchmark de razonamiento. Esas cifras importan, pero no te dicen si el modelo puede leer de verdad tu contrato de 80 páginas, recordar lo que dijiste hace doce mensajes o tener en mente un proyecto de software entero a la vez. El dato que determina todo eso es la longitud de contexto, también llamada ventana de contexto, y es, aunque pase desapercibida, la especificación más práctica de toda la ficha técnica.
La longitud de contexto se mide en tokens, no en palabras ni en caracteres. Un token equivale más o menos a 0,75 palabras en inglés, así que 1.000 tokens son unas 750 palabras. Pero los tokens también cuentan cada signo de puntuación, cada espacio, cada fragmento de código y cada elemento de tu prompt de sistema. En cuanto la ventana de contexto de un modelo se llena, simplemente no puede ver nada más antiguo. No se ralentiza ni te avisa. Olvida.
La palabra "tokenización" suena técnica, pero el concepto es sencillo. Los modelos de lenguaje grandes no leen caracteres sueltos. Leen fragmentos de texto llamados tokens, determinados por un vocabulario con el que se entrenó el modelo. Las palabras comunes, como "the" o "is", suelen ser un solo token. Las palabras poco frecuentes, los nombres propios o los símbolos de código a menudo se dividen en dos, tres o más tokens.
Esto importa en la práctica:
Todos esos costos salen del mismo presupuesto. Si un modelo tiene una ventana de 4.096 tokens y tu prompt de sistema ocupa 400, te quedan 3.696 para todo lo demás: tu mensaje, el historial de la conversación y la respuesta del modelo.
Aquí es donde la mayoría de los usuarios tiene problemas. Empiezas una conversación con un chatbot, todo parece rápido y preciso, y veinte mensajes después parece haber olvidado lo que dijiste al principio. No es un fallo. El modelo literalmente ya no puede ver esos mensajes iniciales, porque la ventana de contexto se llenó y el contenido más antiguo quedó fuera.
Los sistemas lo gestionan de formas distintas. Algunos truncan (eliminan en silencio los mensajes más antiguos). Otros resumen los turnos anteriores e inyectan una versión comprimida. Algunos te piden que empieces una sesión nueva. Ninguna de estas opciones sustituye de forma perfecta a una ventana de contexto más grande.
💡 Consejo práctico: Ten siempre en cuenta tu prompt de sistema, los ejemplos few-shot y la longitud esperada de la respuesta al estimar cuánto contexto te queda realmente para la entrada del usuario.
Las longitudes de contexto varían muchísimo entre los modelos actuales. Hace unos años, 4.096 tokens se consideraba generoso. Hoy existen modelos con 1 millón de tokens o más, aunque hay contrapartidas reales en los dos extremos.
Las ventanas de contexto más cortas no siempre son una debilidad. Para tareas naturalmente breves, una ventana de 4K u 8K es perfectamente adecuada:
En estos escenarios, un modelo optimizado para la velocidad y el costo con un contexto pequeño puede superar, en la práctica, a un modelo más grande. Obtienes respuestas más rápidas y costos de API más bajos sin una pérdida de calidad significativa.
La ecuación cambia por completo en estos casos:
| Tarea | Recuento aproximado de tokens |
|---|---|
| Novela completa (80.000 palabras) | ~110.000 tokens |
| Base de código empresarial (más de 100 archivos) | 200.000 a 500.000 tokens |
| Revisión de un contrato legal (50 páginas) | ~35.000 tokens |
| Transcripción de una hora | ~30.000 tokens |
| Entrevista de investigación de 3 horas | ~80.000 tokens |
| Manual de producto completo | ~60.000 tokens |
Cuando trabajas con material de esta escala, una ventana de 4K no solo se queda corta, se rompe. El modelo no puede ver el contexto que necesita para responder con precisión, y reformular tu prompt una y otra vez no lo arregla.
Para entender por qué escalar la longitud de contexto es tan costoso, hace falta echar un vistazo rápido a lo que hace el modelo cuando lee tu prompt.
Los modelos de lenguaje modernos usan un mecanismo llamado autoatención. Cada token del contexto mira a todos los demás para construir una representación del significado y de las relaciones. Esto es lo que hace que los LLM sean tan buenos captando matices y dependencias de largo alcance en el texto.
El costo de este cálculo es cuadrático respecto al número de tokens. Si duplicas la longitud de contexto, el cómputo no se duplica: se cuadruplica. Por eso entrenar y ejecutar modelos con ventanas de contexto muy largas exige bastante más hardware, y por eso muchos modelos eficientes usan trucos como la atención de ventana deslizante, la atención dispersa o aproximaciones de atención lineal para reducir ese costo.
💡 Por qué te importa: Un modelo con una ventana de 1M tokens no es lo mismo que un modelo que funciona bien con 1M tokens. Busca benchmarks como la prueba "needle in a haystack", que mide si un modelo puede recuperar un dato concreto enterrado en lo profundo de un documento largo.
Una investigación publicada en 2023 identificó un patrón de fallo recurrente en varias familias de modelos: el rendimiento cae cuando la información relevante está en medio de un contexto largo. Los modelos tienden a recordar con mucha más fiabilidad la información colocada al principio o al final del contexto que la enterrada en el centro.
Esto tiene implicaciones prácticas:
El problema ha mejorado con las generaciones nuevas de modelos, pero no ha desaparecido por completo. Es motivo para desconfiar de cualquier afirmación de que un modelo "maneja 200K tokens a la perfección" sin benchmarks de recuperación reales que la respalden.
La carrera por la longitud de contexto se ha acelerado rápidamente. Esta es la situación actual de varios modelos importantes.
Varios modelos disponibles en PicassoIA son especialmente adecuados para trabajar con contexto largo.
Kimi K2.6 de Moonshotai se diseñó con el procesamiento de contexto largo como objetivo central. Maneja el razonamiento sobre varios documentos con una precisión de recuperación sólida y es una de las mejores opciones cuando necesitas introducir varios archivos o un hilo de conversación muy largo en una sola sesión.
Gemini 3.1 Pro y Gemini 2.5 Flash de Google admiten ventanas muy grandes y están optimizados para mantener la calidad del razonamiento con recuentos altos de tokens, lo que los hace muy adecuados para flujos de trabajo con mucho documento.
Claude Opus 4.7 y Claude 4 Sonnet de Anthropic se han probado a fondo en tareas con documentos largos y son conocidos por su alta precisión de recuperación en evaluaciones de estilo "needle in a haystack".
IBM Granite 8B Code Instruct 128K ofrece 128.000 tokens de contexto optimizados específicamente para código, lo que lo hace muy adecuado para proyectos de software grandes en los que necesitas que el modelo tenga varios archivos a la vista a la vez.
IBM Granite 4.0 H Small es un modelo compacto de contexto largo diseñado para la eficiencia. Funciona bien incluso con cómputo limitado y ofrece una recuperación sólida en presupuestos de tokens extensos.
Meta Llama 4 Scout Instruct y Llama 4 Maverick Instruct de Meta llegan a ventanas de contexto muy largas y son opciones de pesos abiertos muy populares entre desarrolladores que quieren transparencia y flexibilidad.
No todas las tareas necesitan una ventana de contexto enorme. Para tareas cortas y muy frecuentes, estos modelos sacrifican algo de capacidad de contexto a cambio de un rendimiento mucho más rápido:
La revisión jurídica, la diligencia debida financiera, la investigación académica y las auditorías de cumplimiento tienen algo en común: implican leer documentos de decenas de miles a cientos de miles de palabras. Un modelo con una ventana de 8K ni siquiera puede contener un contrato largo completo. Tienes que dividirlo en fragmentos, con el riesgo de perder el contexto que cruza de un documento a otro, o usar un modelo con una ventana realmente grande.
Para este trabajo, Grok 4, GPT 5 Pro y Claude Opus 4.7 siempre están entre los mejores. No solo aceptan entradas largas. Mantienen un razonamiento coherente sobre esas entradas desde el primer token hasta el último.
Las conversaciones largas acumulan contexto muy rápido. Un chatbot de soporte que atraviesa una sesión de solución de problemas de 45 minutos genera miles de tokens de historial. Una sesión de escritura creativa en la que refinas una historia durante muchas rondas llega muy pronto a los límites de contexto.
💡 Táctica: En implementaciones de producto, guarda un resumen estructurado y actualizado del estado de la conversación e inclúyelo al principio de cada sesión nueva, en lugar de pasar el historial completo del chat. Así el presupuesto de tokens queda disponible para contenido nuevo, no para repasar turnos antiguos.
GPT 5.4, GPT 5 y Kimi K2.6 manejan bien las sesiones extensas de varios turnos, manteniendo la coherencia y siguiendo los detalles introducidos al principio de la conversación, que la mayoría de los modelos de ventana más corta ya habría descartado.
Aquí es donde la longitud de contexto más importa a los desarrolladores. Cuando le pides a un modelo de IA que refactorice una función, necesita ver cómo se llama esa función en otras partes del código. Cuando le pides que escriba un módulo nuevo, necesita ver las interfaces con las que debe integrarse. Un modelo de contexto de 4K lee un archivo cada vez. Un modelo de 128K puede contener una base de código pequeña entera y razonar sobre ella de forma global.
IBM Granite 8B Code Instruct 128K se creó precisamente para este caso de uso. Con 128K tokens puede contener de una vez entre 500 y 800 archivos de código fuente típicos, lo que cubre por completo la mayoría de las aplicaciones pequeñas y medianas.
Meta Llama 3.1 405B Instruct añade una enorme profundidad de parámetros a una ventana de contexto larga, y lo convierte en una de las opciones más sólidas cuando necesitas tanto amplitud de comprensión de código como precisión para seguir instrucciones.
Incluso con el mejor modelo de contexto largo disponible, habrá tareas que superen lo que cualquier ventana de contexto puede contener. Estas son las dos estrategias más fiables.
El enfoque más sencillo consiste en dividir los documentos grandes en fragmentos que quepan en la ventana de contexto, procesar cada fragmento por separado y después sintetizar los resultados. El riesgo es perder conexiones que atraviesan fragmentos. Para reducirlo:
Este enfoque funciona bien con documentos en los que cada sección es relativamente independiente, como un informe largo con capítulos diferenciados.
La generación aumentada por recuperación (RAG) es la arquitectura adecuada para bases de conocimiento muy grandes. En lugar de volcar todo en el contexto de una vez, haces lo siguiente:
Así el contexto activo se mantiene pequeño y enfocado. La contrapartida es que necesitas un sistema de recuperación que de verdad muestre los fragmentos correctos. RAG funciona mal cuando la respuesta exige sintetizar información repartida entre muchas partes alejadas de un documento grande, que es justo el caso en el que gana un modelo de contexto largo de verdad.
Los dos enfoques suelen combinarse: usa RAG para identificar las secciones más relevantes y después pasa un extracto más amplio de esas secciones a un modelo de contexto largo para la síntesis final.
La longitud de contexto no es lo único que importa en un modelo, pero a menudo es la especificación que determina si un modelo puede hacer lo que de verdad necesitas. Elegir un modelo sin revisar su ventana de contexto es como contratar a un consultor y descubrir después de la reunión que solo recuerda los últimos cinco minutos de la conversación.
En PicassoIA puedes probar directamente en el navegador todos los modelos mencionados en este artículo, sin configuración ni ajustes de API. Sube un documento largo. Pega una base de código de varios archivos. Mantén una conversación que llegue a fondo. Verás exactamente cómo responde cada modelo bajo presión.
Más allá de los LLM, PicassoIA te da acceso a más de 90 modelos de texto a imagen, entre ellos PicassoIA Image Editor Pro y PicassoIA Image, además de generación de video, síntesis de voz, eliminación de fondo y herramientas de superresolución, todo en un mismo lugar.
Prueba GPT 5, Claude Opus 4.7 o Kimi K2.6 hoy. Pega algo largo y mira qué pasa.
Elige tu idioma
