Procesar en una sola pasada un contrato legal de 200 páginas, un informe de investigación de 500 páginas o una base de código completa no es algo que la mayoría de los modelos de IA puedan garantizar sin tomar atajos en algún punto. DeepSeek V5 cambia esa ecuación de forma notable. Construido sobre decisiones de arquitectura pensadas específicamente para la coherencia en contextos largos, procesa documentos de cientos de miles de tokens y mantiene la precisión en posiciones alejadas del inicio de la entrada. Este artículo explica con detalle cómo funciona, dónde rinde mejor V5 y cómo ponerlo a trabajar con documentos reales hoy mismo, usando los modelos disponibles en PicassoIA.
Qué hace difícil procesar documentos largos
La primera idea de la mayoría de la gente es suponer que "ventana de contexto más grande" significa simplemente que el modelo lee más texto. La realidad es mucho más complicada. Leer más texto no significa automáticamente retener información sobre todo él. Hay dos problemas concretos que hacen que procesar documentos largos sea técnicamente muy exigente a gran escala.
El problema cuadrático de la atención
La autoatención estándar calcula las relaciones entre cada token y todos los demás de la secuencia. Para un documento de 1.000 tokens, son 1.000.000 de operaciones. Para un documento de 128.000 tokens, la cifra supera los 16.000 millones de operaciones. El costo de cómputo crece de forma cuadrática con la longitud de la secuencia, lo que significa que cada vez que duplicas el contexto, los recursos necesarios se cuadruplican.
Por eso los modelos que amplían su ventana de contexto de forma ingenua se vuelven lentos y caros de manera prohibitiva. Un modelo que anuncia "un contexto de 1 millón de tokens" sin cambios de arquitectura que resuelvan este problema funciona en hardware carísimo o sacrifica precisión por rendimiento, algo que se nota con claridad en la práctica.
💡 Implicación práctica: Un modelo que procesa un documento de 100K tokens con atención completa ingenua cuesta aproximadamente 10.000 veces más cómputo que uno que procesa un documento de 1K tokens. Esto no escala sin soluciones de arquitectura serias.
Por qué la mayoría de los modelos fallan a partir de 32K tokens
Más allá del costo de cómputo, existe un problema de degradación de la información. Las codificaciones posicionales estándar se diseñaron para secuencias más cortas. Cuando las obligas a codificar la posición 95.000 en un contexto de 100K, la señal posicional se vuelve poco fiable. El modelo, en la práctica, pierde la pista de dónde apareció cada información en el documento.
El resultado es el fenómeno de "perdido en el medio" (lost-in-the-middle): los modelos responden con precisión preguntas sobre el principio y el final de un documento, pero rinden mal con la información enterrada en el centro. Es un modo de fallo fundamental, no un caso excepcional. Las investigaciones sobre modelos transformer estándar han encontrado caídas de precisión del 30-50% en preguntas sobre las secciones centrales de documentos largos, lo que los hace poco fiables para flujos de trabajo profesionales con documentos.
La arquitectura de DeepSeek V5 para contextos largos
DeepSeek V5 aborda ambos problemas mediante tres pilares arquitectónicos: Atención Latente Multicabezal (MLA), Mezcla de Expertos (MoE) y codificación posicional RoPE extendida. Juntos, hacen que la coherencia en contextos largos sea económicamente viable y no solo teóricamente posible.
Atención latente multicabezal (MLA)
MLA es el cambio arquitectónico más significativo respecto a los transformers estándar. En lugar de almacenar en caché los pares clave-valor (KV) completos de cada cabezal de atención a lo largo de toda la secuencia, MLA comprime la caché KV en una representación latente de bajo rango.
En la práctica, esto significa:
- La memoria de la caché KV baja entre 5 y 13 veces frente a la atención multicabezal estándar
- Los modelos mantienen secuencias más largas en la memoria de la GPU sin descargarlas en almacenamiento más lento
- La velocidad de inferencia en documentos largos mejora de forma notable, porque el cuello de botella pasa del ancho de banda de memoria al rendimiento de cómputo
MLA logra esto proyectando los pares KV en un espacio latente más pequeño y reconstruyéndolos cuando hacen falta. La pérdida de calidad por esta compresión es mínima a la escala en la que opera DeepSeek V5, pero el ahorro de memoria es enorme y se traduce directamente en un contexto más largo con el mismo costo de hardware.
Mezcla de expertos por dentro
DeepSeek V5 utiliza una arquitectura de Mezcla de Expertos (MoE) en la que solo una fracción de los parámetros totales se activa para cada token. Para un modelo con 671.000 millones de parámetros totales, se activan unos 37.000 millones en cada pasada hacia adelante.
¿Por qué importa esto en los documentos largos? Por dos motivos:
- El cómputo por token se mantiene constante sea cual sea la posición del documento que se procese. El token número 100.000 cuesta lo mismo de procesar que el número 100.
- El enrutamiento especializado hace que distintos grupos de expertos desarrollen mayor precisión en diferentes tipos de contenido, como lenguaje jurídico, prosa científica y código, sin necesitar modelos especializados por separado.
Codificación posicional extendida RoPE
La codificación posicional rotatoria (RoPE) codifica la información posicional rotando los vectores de consulta y clave de una forma relativa a la distancia y no absoluta. DeepSeek V5 extiende RoPE con interpolación YaRN (Yet another RoPE extensioN), que escala la frecuencia base de la codificación posicional para seguir siendo estable en longitudes de secuencia muy superiores a las que el modelo vio durante su entrenamiento original.
En términos prácticos: un token en la posición 120.000 recibe una señal posicional estable y significativa, en lugar de una extrapolada que se derrumba a larga distancia. Esto aborda directamente la degradación de "perdido en el medio" que afecta a otros modelos sin estas modificaciones de codificación.
La ventana de 128K en la práctica
La ventana de contexto de 128.000 tokens de DeepSeek V5 es lo bastante grande como para albergar documentos reales de tamaño considerable sin dividirlos en fragmentos. Pero ¿qué representan realmente 128K tokens?
Qué cabe realmente
| Tipo de documento | Recuento aproximado de tokens | ¿Cabe en 128K? |
|---|
| Novela promedio (80.000 palabras) | ~107.000 tokens | Sí |
| Sección completa del código tributario de EE. UU. | ~15.000 tokens | Sí (varias) |
| Acuerdo de fusión típico (150 páginas) | ~85.000 tokens | Sí |
| Revisión de literatura académica de 50 artículos | ~60.000 tokens | Sí |
| Base de código mediana (50k líneas de Python) | ~120.000 tokens | Justo |
| Tesis doctoral completa | ~95.000 tokens | Sí |
El límite de 128K cubre la mayoría de los casos de uso profesionales sin necesidad de dividir los documentos, y eso importa mucho. Dividir en fragmentos destruye el contexto entre documentos. Un modelo que lee un contrato en tres fragmentos separados no puede establecer conexiones entre la cláusula 3 de la página 2 y la cláusula 47 de la página 89. DeepSeek V5 sí puede, porque mantiene el documento entero en contexto activo al mismo tiempo.
Resultados de aguja en un pajar
El benchmark estándar para medir la precisión en contextos largos es la prueba Needle-in-a-Haystack (NIAH): se oculta un dato concreto en lo profundo de un documento extenso y se pide al modelo que lo recupere. DeepSeek V5 obtiene más del 95% en las tareas NIAH con el contexto completo de 128K, superando a versiones anteriores de modelos competidores que muestran una degradación notable a partir de 64K tokens.
Lo más relevante es que mantiene una precisión constante en todas las posiciones. La información en la posición 70.000 se recupera con la misma exactitud que la información en la posición 5.000, lo que contradice directamente el comportamiento de "perdido en el medio" habitual en los modelos sin MLA ni RoPE extendida.
Cómo mantiene la atención su precisión a distancia
Además de los pilares arquitectónicos, hay dos mecanismos a nivel de ejecución que mantienen alta la calidad de la atención en secuencias largas.
Patrones de atención dispersa
No todos los tokens necesitan atender a los demás con el mismo peso. DeepSeek V5 utiliza patrones de atención dispersa aprendidos que permiten al modelo centrar la atención en los tokens relevantes según el contexto y saltarse los irrelevantes, sin reglas explícitas sobre cuáles son.
Piénsalo así: al leer un contrato legal, no vuelves a leer toda la sección de definiciones cada vez que aparece un término definido. Construyes una referencia interna y la consultas cuando hace falta. La atención dispersa imita ese comportamiento: reduce el cómputo efectivo de forma sustancial y conserva la precisión que daría la atención completa para los tokens que importan.
Compresión de la caché KV por capa
La compresión de la caché KV de MLA se aplica por capa, no de forma global. Cada capa de atención comprime su propia caché KV de forma independiente, lo que significa que la compresión no crea un único punto de pérdida de información. Los errores quedan localizados y no se acumulan entre capas como ocurriría en un esquema de compresión con un único cuello de botella.
💡 Para lectores técnicos: La caché KV de un modelo de clase GPT-4 con un contexto de 128K necesita unos 16 GB de VRAM por elemento del lote. MLA reduce esa cifra a aproximadamente 1,5-3 GB por elemento del lote, lo que hace viable la inferencia de 128K en hardware A100 estándar en lugar de requerir clústeres de H100.
V5 frente a otros modelos de contexto largo
¿Cómo se compara DeepSeek V5 con otros LLM de contexto largo sólidos disponibles hoy?
La naturaleza de código abierto de DeepSeek v3 y de sus sucesores es un factor diferencial importante. Usar estos modelos a través de plataformas como PicassoIA significa que ningún dato sale de tu infraestructura, lo que importa mucho en flujos de trabajo con documentos legales, médicos y financieros, donde los requisitos de residencia de datos son estrictos.
3 casos de uso reales que funcionan
Revisión de contratos completos
Los LLM de contexto largo han cambiado la forma en que los equipos jurídicos trabajan con contratos. Un contrato de fusión y adquisición estándar tiene entre 80 y 150 páginas. Los flujos de trabajo anteriores obligaban a los abogados junior a leer cada página a mano o a dividir el documento en secciones revisadas por personas distintas, lo que añadía sobrecarga de coordinación y hacía perder referencias cruzadas que solo se ven al leer el documento completo.
Con DeepSeek V5, el contrato completo entra en un solo prompt. Le pides que:
- Identifiques todas las cláusulas de indemnización y resumas su alcance
- Señales las declaraciones que entren en conflicto con definiciones anteriores
- Extraigas todas las fechas límite y obligaciones en orden cronológico
- Anotes las disposiciones inusuales que se desvíen del lenguaje estándar
El modelo resuelve todo esto en una sola pasada porque mantiene el documento entero en contexto activo al mismo tiempo, algo que ningún enfoque por fragmentos puede replicar con fidelidad.
Síntesis de artículos científicos
La síntesis de investigación consume mucho tiempo. Leer 30 artículos sobre un mismo tema para elaborar una revisión de literatura puede llevar semanas. El contexto largo de DeepSeek V5 te permite cargar varios artículos a la vez y hacer preguntas de síntesis que requieren razonamiento entre artículos.
Cargando de 5 a 8 artículos sobre el mismo tema (que juntos no superen los 128K tokens) y preguntando:
- "¿Qué artículos coinciden en el mecanismo? ¿Cuáles discrepan y cuáles son sus objeciones concretas?"
- "¿Qué métodos experimentales aparecen en todos los artículos y en qué puntos divergen de forma significativa los tamaños de muestra?"
- "¿Qué lagunas de investigación aparecen en esta colección que ningún artículo ha abordado directamente?"
Este tipo de razonamiento entre documentos es donde los modelos de contexto largo demuestran de verdad su valor. Consultar cada artículo por separado y pedirle al modelo que sintetice los resultados es, en esencia, más débil, porque el modelo solo puede razonar sobre lo que cabe en una ventana de contexto cada vez.
Revisiones completas de bases de código
Los analizadores estáticos detectan errores de sintaxis. No detectan problemas de arquitectura, abstracciones mal nombradas ni lógica de negocio que contradiga los requisitos declarados. DeepSeek V5 puede recibir una base de código de tamaño mediano completa (menos de 120K tokens en proyectos típicos de Python) y responder preguntas como:
- "¿En qué puntos se desvía esta base de código de la especificación de la API REST del README?"
- "Identifica todas las funciones que modifican estado compartido sin adquirir un bloqueo"
- "¿Qué pasa con las excepciones no gestionadas en el pipeline de procesamiento de pagos?"
Son preguntas que exigen tener toda la base de código presente a la vez. No puedes responderlas con fiabilidad leyendo un archivo cada vez.
DeepSeek V5 y las transcripciones de audio
Una de las aplicaciones menos obvias, pero muy prácticas, de los LLM de contexto largo es trabajar con audio transcrito. Una reunión grabada de 2 horas, una vez transcrita, produce un documento de unos 25.000-40.000 tokens. Una conferencia de un día completo (8 horas de contenido) produce una transcripción de 100.000-150.000 tokens.
Transcribir el audio y procesarlo después
El flujo de trabajo es sencillo:
- Usa un modelo de voz a texto para convertir la grabación en una transcripción (PicassoIA ofrece modelos de voz a texto en picassoia.com/en/all-models)
- Introduce la transcripción sin procesar en DeepSeek V5 con un prompt estructurado
- Pide resúmenes, puntos de acción, desgloses por hablante o un desglose por temas
Este flujo elimina la necesidad de que una persona escuche las grabaciones y redacte a mano las notas de la reunión, lo que ahorra horas a la semana a los equipos que trabajan con llamadas, entrevistas o clases grabadas.
Flujos de trabajo con grabaciones de reuniones
En equipos que dedican de 4 a 6 horas diarias a reuniones, la transcripción completa supera los 60.000 tokens, muy por debajo de la ventana de contexto de DeepSeek V5. Un prompt estructurado así:
"Esta es la transcripción de la reunión general de hoy. Para cada decisión tomada, identifica: la decisión, quién la tomó, qué alternativas se consideraron y los puntos de acción asignados. Presenta el resultado en una tabla estructurada."
...produce un resultado que a una persona que toma notas le llevaría 90 minutos elaborar a partir de una grabación de reunión de 3 horas.
💡 Consejo de flujo de trabajo: Las transcripciones de reconocimiento automático de voz suelen incluir muletillas, arranques en falso y repeticiones. Un paso de preprocesamiento que elimine "eh", "mm" y los fragmentos repetidos reduce el número de tokens entre un 15 % y un 25 %, lo que permite que grabaciones más largas quepan en la misma ventana de contexto.
Usar DeepSeek en PicassoIA
PicassoIA aloja varios modelos potentes de contexto largo de la familia DeepSeek, accesibles sin configurar infraestructura ni gestionar credenciales de API.
Qué modelo elegir
| Caso de uso | Modelo recomendado |
|---|
| Preguntas y respuestas sobre documentos largos, trabajo jurídico | DeepSeek v3.1 |
| Razonamiento paso a paso sobre documentos | DeepSeek R1 |
| Resúmenes rápidos y a menor costo | DeepSeek v3 |
| Trabajo técnico con código | DeepSeek v3.1 |
DeepSeek v3.1 es la opción más sólida para el trabajo con documentos de propósito general. Su arquitectura MLA gestiona los contextos largos de forma eficiente y produce resultados estructurados y bien organizados que son fáciles de procesar después.
DeepSeek R1 encaja mejor en tareas que requieren cadenas de razonamiento visibles, como comparar cláusulas contradictorias en un contrato o seguir un error a través de varios archivos de una base de código. Muestra su razonamiento de forma explícita, lo cual es valioso cuando necesitas auditar la lógica del modelo en lugar de limitarte a aceptar su resultado.
Cómo escribir prompts para documentos largos
Escribir prompts para modelos de contexto largo es distinto que hacerlo para modelos estándar. Hay algunos patrones que siempre dan mejores resultados:
Pon el documento antes que la pregunta. El modelo atiende mejor a las instrucciones que siguen al documento que a las que lo preceden. Estructura así: [Full Document Text] seguido de [Your Question], en lugar de al revés.
Especifica el formato de salida de forma explícita. Pedir una tabla, una lista numerada o una estructura JSON obliga al modelo a organizar la recuperación antes de responder. Las peticiones sin estructura producen una recuperación menos organizada a partir de contextos largos.
Acota las preguntas a secciones concretas. En lugar de "resume el contrato", prueba con "resume las secciones 3 a 7, centrándote en las condiciones de pago y las obligaciones de entrega". Los prompts más acotados producen resultados de mayor calidad, incluso cuando el modelo tiene acceso al documento completo.
Pide indicadores de confianza. Incluir en tu prompt "si no estás seguro de un detalle concreto, indícalo" reduce de forma significativa la tasa de alucinaciones en tareas con documentos largos.
Dónde se notan los límites
Perdido en el medio (todavía presente, aunque reducido)
MLA y la RoPE extendida reducen de forma notable el problema de "perdido en el medio", pero no lo eliminan del todo. Los benchmarks muestran una caída de precisión medible en las preguntas sobre tokens situados entre las posiciones 40.000 y 80.000 de un contexto de 128K, incluso en DeepSeek V5. La caída es de alrededor del 8-12 % frente a las preguntas sobre el principio o el final del documento, frente al 30-50 % de los modelos sin estas mejoras arquitectónicas.
Para las secciones más críticas de un documento, colócalas al principio o al final del prompt cuando sea posible. Si tienes un contrato de 60K tokens y la cláusula más importante está en la página 45, copia esa cláusula al final del prompt además de en su posición original. Este ajuste sencillo mejora de forma medible la precisión al recuperar esa cláusula.
La latencia a gran escala
La inferencia con 128K tokens es más lenta que con 8K, incluso con la compresión de MLA. En hardware de nube estándar:
- Prompt de 8K tokens: de 3 a 8 segundos hasta el primer token
- Prompt de 64K tokens: de 15 a 30 segundos hasta el primer token
- Prompt de 128K tokens: de 40 a 90 segundos hasta el primer token
Esto es aceptable para flujos de trabajo por lotes, pero puede resultar lento en aplicaciones interactivas. El procesamiento de contexto largo funciona mejor como proceso asíncrono en segundo plano, donde la latencia se nota menos, y devuelve los resultados mediante una notificación en lugar de obligar al usuario a esperar frente a la pantalla.
Ponlo a trabajar ahora mismo
El cuello de botella en la mayoría de los flujos de trabajo con mucha documentación no es la lectura. Es la destilación: convertir 150 páginas de lenguaje jurídico denso en 10 puntos accionables, o transformar 20 artículos académicos en una síntesis coherente que nadie del equipo tiene tiempo de redactar a mano. Para eso se diseñó la arquitectura de contexto largo de DeepSeek V5.
PicassoIA te da acceso inmediato a DeepSeek v3, DeepSeek v3.1 y DeepSeek R1 sin configurar ninguna infraestructura. Pega un contrato, un artículo de investigación, una transcripción de reunión o una sección de una base de código. Haz una pregunta concreta y estructurada. Comprueba lo que puede hacer un modelo de contexto largo que de verdad está diseñado para contextos largos.
Tanto si eres abogado y quieres reducir de forma notable el tiempo de revisión de contratos, como investigador que sintetiza 20 artículos en una sola sesión, o desarrollador que audita una base de código desconocida antes de tu primer commit, el flujo es el mismo: sube el documento completo, haz la pregunta adecuada y deja que la arquitectura se encargue del resto. Visita picassoia.com/en/all-models para empezar a procesar tus propios documentos largos hoy mismo.
