Ventana de contexto de LLM: por qué la IA olvida y cuánto cuesta

¿Alguna vez has notado que ChatGPT o Claude al principio de una conversación lo recuerdan todo perfectamente, y después de una hora empiezan a confundir detalles o a preguntar de nuevo algo que ya explicaste? Esto no es un error, es una limitación fundamental que determina cuánto puede "tener en mente" una IA a la vez. Se llama ventana de contexto, y de ella dependen la calidad, la velocidad y el costo de cada respuesta.

Si aún no estás familiarizado con los fundamentos del funcionamiento de los LLM, empieza por el artículo ancla "Cómo funcionan ChatGPT, Claude y Gemini: guía completa 2026"

📚 Contenido del artículo

• 📌 Sección 1. ¿Qué es la ventana de contexto y por qué está limitada
• 📌 Sección 2. Complejidad cuadrática: por qué duplicar el contexto = 4 veces más caro
• 📌 Sección 3. Lost in the middle: por qué la IA recuerda mejor el principio y el final
• 📌 Sección 4. Comparativa: Claude vs GPT vs Gemini — quién recuerda cuánto
• 📌 Sección 5. Cuatro formas de sortear la limitación del contexto
• 📌 Sección 6. Cuánto cuesta: desde una consulta hasta Google a escala
• ❓ Preguntas frecuentes (FAQ)
• ✅ Conclusiones

🎯 ¿Qué es la ventana de contexto y por qué está limitada

Respuesta corta: La ventana de contexto (context window) es la cantidad máxima de tokens que un modelo puede procesar en una sola consulta. Esto incluye lo que tú escribiste, lo que respondió el modelo y todo el historial previo del chat. Cuando la ventana se llena, los mensajes más antiguos "se caen".

Imagina un escritorio. Todo lo que la IA puede ver a la vez está dispuesto en ese escritorio. El tamaño del escritorio es la ventana de contexto. Los documentos nuevos se colocan encima, los viejos caen al suelo.

Cuando escribes un mensaje en ChatGPT o Claude, en el "escritorio" se coloca: el prompt del sistema (instrucciones para el modelo) + todo el historial de vuestra conversación + tu nueva consulta. El modelo "mira" todo esto a la vez y genera una respuesta.

Detalle importante: la ventana de contexto no se mide en palabras, sino en tokens. Un token es un fragmento de texto: una palabra, parte de una palabra o incluso un solo carácter. En inglés, una palabra ≈ 1.3 tokens. En ucraniano es más complicado: debido a la rica morfología, una palabra generalmente se divide en 2-4 tokens. Esto significa que cabe menos texto ucraniano en la ventana de contexto que texto inglés.

Más detalles sobre tokens y tokenización — en el artículo ¿Qué son los tokens: cómo ChatGPT ve tu texto.

Sentí esta limitación en la práctica cuando hice un chatbot RAG para WebsCraft. Mientras la conversación es corta, el bot responde rápido y con precisión. Pero cuando el usuario hace 10-15 preguntas seguidas, el contexto se llena con los mensajes anteriores, y la calidad de las respuestas disminuye gradualmente. Fue entonces cuando me di cuenta de cuánto afecta la ventana de contexto a todo, desde la velocidad hasta el costo.

¿Por qué la ventana no puede ser infinita?

Tres limitaciones fundamentales:

• ✔️ Memoria (RAM/VRAM): cada token en el contexto requiere almacenar el KV-cache (key-value cache). Más tokens = más memoria de GPU. Con un contexto de 200K tokens, el KV-cache puede ocupar decenas de gigabytes.
• ✔️ Velocidad: cada nuevo token "mira" a todos los anteriores. Mayor contexto = generación más lenta de cada palabra siguiente.
• ✔️ Costo: los proveedores de API cobran por cada token. Conversación más larga = cada consulta siguiente más cara.

Pero la razón principal es matemática, y merece una sección aparte.

Conclusión: La ventana de contexto no es un detalle técnico, sino un compromiso fundamental entre calidad, velocidad y costo. Cada modelo resuelve este compromiso a su manera.

🎯 Complejidad cuadrática: por qué duplicar el contexto = 4 veces más caro

Respuesta corta: En la base de los LLM se encuentra el mecanismo de atención, donde cada token "mira" a cada otro. Esto crea una dependencia cuadrática: duplicar el contexto aumenta los cálculos y la memoria no 2, sino 4 veces. Precisamente esto es la principal barrera hacia el contexto infinito.

1,000 tokens = 1 millón de operaciones de atención. 10,000 tokens = 100 millones. 200,000 tokens = 40 mil millones. El crecimiento no es lineal, es cuadrático.

Analogía: una habitación con gente

Imagina una habitación con gente. Cada persona es un token. Para que cada uno entienda el contexto completo de la conversación, cada persona debe hablar con cada otra. Si en la habitación hay 10 personas, son 100 conversaciones (10 × 10). Si hay 100 personas, ya son 10,000 conversaciones. Si hay 1,000, un millón. Duplicaste el número de personas, el número de conversaciones se cuadruplicó. Esto es la complejidad cuadrática: O(n²).

Ahora imagina que cada "conversación" es un cálculo en la GPU que consume tiempo y memoria. Se hace evidente por qué aumentar el contexto de 4K a 200K tokens no es simplemente "50 veces más", sino 2,500 veces más caro en cálculos.

Qué sucede dentro: self-attention

En términos técnicos, esto ocurre en el mecanismo de self-attention, que es el corazón de la arquitectura transformer. Para cada token, el modelo calcula tres vectores: Query (consulta), Key (clave) y Value (valor). Luego, el Query de cada token se "compara" con el Key de cada otro token para determinar en qué prestar atención. El resultado es una matriz de scores de atención de tamaño n × n, donde n es el número de tokens.

Esta matriz se almacena en la llamada KV-cache (key-value cache), un área especial de la memoria de la GPU. Con cada nuevo token, la caché crece, y es ella la que se convierte en el "cuello de botella" en sistemas con memoria limitada.

Más detalles sobre el mecanismo de atención — en el artículo Transformers y el mecanismo de atención: por qué la IA entiende el contexto.

Qué significa esto en la práctica: tabla de escalado

Nota: los volúmenes de KV-cache son aproximados y dependen de la arquitectura específica del modelo, el número de capas de atención y la precisión de los cálculos.

Cómo se siente en hardware real

Lo sentí en la práctica cuando trabajé con Ollama en mi Mac M1. Aumenté la ventana de contexto de 2K a 8K tokens, y el modelo se ralentizó notablemente, y el Monitor de Actividad mostró un pico de uso de memoria de varios gigabytes. Al intentar establecer un contexto de 16K en un modelo de 7B, el sistema comenzó a hacer swap en disco, y la respuesta, en lugar de un segundo, tardó más de 30.

Es la misma complejidad cuadrática, solo que a escala de un portátil en lugar de un centro de datos de Google. Más detalles sobre las limitaciones de memoria en hardware débil — en el artículo Ollama en 8 GB de RAM: qué modelos funcionan realmente.

Tres barreras que crea la cuadraticidad

• ✔️ Barrera de memoria: el KV-cache para 1M de tokens puede ocupar 25+ GB de memoria de GPU, más que toda la VRAM de la mayoría de las tarjetas gráficas de consumo. Incluso en una GPU de centro de datos A100 (80 GB) es una parte sustancial del recurso.
• ✔️ Barrera de velocidad: cada nuevo token de respuesta requiere "revisar" todos los tokens de contexto anteriores. Con 200K de contexto, la generación de cada palabra lleva notablemente más tiempo que con 4K. El usuario lo siente como una demora antes de que comience la respuesta (time to first token).
• ✔️ Barrera de dinero: más cálculos = más tiempo de GPU = mayor precio por consulta. Por eso los proveedores de API cobran por los tokens de entrada, y algunos (como Anthropic) cobran el doble cuando el contexto supera un cierto umbral.

Conclusión: La complejidad cuadrática no es un problema que se pueda resolver simplemente añadiendo servidores. Es una propiedad matemática fundamental de la arquitectura transformer, que actúa igual tanto en un portátil con 8 GB de RAM como en un centro de datos de Google con miles de GPUs. Por eso las empresas gastan millones en investigar arquitecturas alternativas, y por eso RAG sigue siendo una solución más práctica que el aumento infinito del contexto.

🎯 Lost in the middle: por qué la IA recuerda mejor el principio y el final

Respuesta corta: Incluso si un modelo puede procesar técnicamente 200K o 1M de tokens, la información en el medio del contexto se recuerda peor que al principio o al final. Las investigaciones muestran una caída de precisión del 20-50% para la información del medio de un contexto largo. Esto no es un error de un modelo específico, es una propiedad fundamental de la arquitectura del transformador.

Imagina que te dan un libro de 500 páginas y te piden que encuentres una frase específica. Recuerdas bien la introducción y el último capítulo, pero ¿qué había en la página 247? Lo mismo ocurre con la IA. Los psicólogos lo llaman "efecto de posición serial", y resulta que los LLM lo sufren tanto como los humanos.

Este fenómeno se denominó "lost in the middle" tras un estudio fundamental de Stanford y la Universidad de Washington (Liu et al., 2023). Los autores probaron modelos en dos tareas: encontrar una respuesta entre varios documentos y extraer pares clave-valor de una lista larga. En ambos casos, encontraron una curva en forma de U: la precisión es mayor cuando la información relevante se encuentra al principio o al final del contexto, y cae significativamente cuando se encuentra en el medio. Además, el efecto se observó en todos los modelos probados, desde GPT-3.5 hasta GPT-4 y Claude.

Cifras concretas: qué tan grave es el problema

Según Chroma Research (2025), que probó 18 modelos de vanguardia, incluyendo GPT-4.1, Claude Opus 4 y Gemini 2.5:

• ✔️ Información al principio y al final del contexto: precisión 85–95%
• ⚠️ Información en el medio: la precisión cae a 76–82%
• ❌ Con un contexto de 100K+ tokens: caída general de precisión del 20–50% en comparación con 10K
• ✔️ Los modelos Claude degradan más lentamente, pero ningún modelo es inmune

Un estudio separado de Du et al. (2025) demostró un hecho aún más preocupante: incluso cuando los tokens irrelevantes se reemplazaban por espacios en blanco y el modelo se veía obligado a "mirar" solo la información relevante, el rendimiento aún caía entre un 13.9% y un 85% con el aumento de la longitud del contexto. Esto significa que el problema no es solo la "distracción", sino que el volumen de tokens en sí mismo impide que el modelo piense de manera eficiente.

Por qué sucede: razones arquitectónicas

Investigadores del MIT (2025) encontraron un mecanismo específico. Crearon un marco teórico para analizar el flujo de información en un transformador y descubrieron dos razones:

• ✔️ Máscaras de atención (attention masking): la máscara causal en el transformador permite que los tokens "vean" solo los anteriores. Esto crea un sesgo natural: los últimos tokens tienen acceso a la mayor cantidad de contexto, los primeros reciben la mayor atención de los siguientes.
• ✔️ Codificaciones posicionales (positional encodings): métodos como RoPE (Rotary Position Embedding) se "desvanecen" gradualmente con la distancia: cuanto más lejos están dos tokens, más débil es su conexión. Los tokens en el medio resultan estar lo suficientemente lejos tanto del principio como del final.

El resultado es una curva de atención en forma de U: un fuerte enfoque en el principio (sesgo de primacía), un fuerte enfoque en el final (sesgo de recenticidad) y una "zona ciega" en el medio.

Por qué es importante para la práctica

Cuando mantienes una conversación larga con Claude o ChatGPT, tus mensajes iniciales gradualmente "se desvanecen" en el medio del contexto. Los nuevos mensajes siempre están al final, el prompt del sistema, al principio. Pero los detalles importantes que explicaste en el mensaje 15 terminan precisamente en la zona donde el modelo funciona peor.

Lo noté en mi propia experiencia: durante largas sesiones de trabajo con Claude, mientras discutíamos la arquitectura de un proyecto Spring Boot, el modelo comenzó a "olvidar" las decisiones tomadas al principio de la conversación. Solo una cosa ayudaba: repetir periódicamente los detalles clave o comenzar una nueva conversación con un resumen de la anterior.

Recomendaciones prácticas

• ✔️ Para conversaciones largas: recuerda periódicamente al modelo los detalles clave o comienza una nueva conversación con un breve resumen
• ✔️ Para sistemas RAG: si cargas varios documentos en el contexto, pon los más importantes primero o al final, nunca en el medio
• ✔️ Para prompts: la instrucción principal, al principio (prompt del sistema), la tarea específica, al final (mensaje del usuario). Deja el medio para el contexto auxiliar, que es menos crítico
• ✔️ Para desarrolladores: utiliza re-ranking en el pipeline RAG: reordena los documentos por relevancia antes de insertarlos en el contexto

Más detalles sobre la diferencia entre los enfoques y cuándo elegir cada uno, en el artículo LLM vs RAG en 2026: por qué no es lo mismo y cuándo usar qué.

Conclusión: La ventana de contexto anunciada y la eficacia real son cosas diferentes. Un modelo con 200K de contexto que funciona de manera estable en todo el rango es más valioso en la práctica que un modelo de 1M que "pierde" el medio. Y la mejor manera de combatir el problema no es aumentar el contexto, sino reducirlo a través de RAG y compresión, proporcionando al modelo solo lo que realmente necesita.

🎯 Comparación: Claude vs GPT vs Gemini — quién recuerda cuánto

Respuesta corta: Tamaños de ventanas de contexto en 2026: Claude Opus 4.6 — 200K tokens (1M en beta), GPT-5.4 — hasta 1M, Gemini 3 Pro — hasta 2M+. Pero el tamaño anunciado y la eficacia real son cosas diferentes.

Una ventana de contexto más grande es como una mochila más grande. Puedes meter más cosas, pero encontrar la correcta se vuelve cada vez más difícil.

* "Rango efectivo" — volumen aproximado en el que el modelo mantiene una calidad estable sin degradación significativa. Basado en datos de Elvex, AIMultiple y Morph. El rendimiento real depende de la tarea y el tipo de contenido.

Un matiz importante: el recargo oculto por contexto largo

Algunos proveedores cobran un precio elevado cuando el contexto supera un cierto umbral. Por ejemplo, según Morph, Anthropic cobra el doble por los tokens de entrada y 1.5x por los de salida cuando el contexto de Claude supera los 200K en el modo beta de 1M. Esto es lógico: un contexto más largo requiere más cálculos.

Conclusión: Elige un modelo no por el tamaño máximo del contexto, sino por su rango efectivo y estabilidad en tus tareas. 200K tokens estables a menudo son más útiles que 1M con degradación de calidad.

🎯 Cuatro formas de sortear las limitaciones de contexto

Respuesta corta: En lugar de esperar un contexto infinito, la industria ha desarrollado varios enfoques: RAG (almacenar información externamente y recuperarla bajo demanda), compresión de contexto, arquitecturas de atención optimizadas y arquitecturas fundamentalmente nuevas sin atención en absoluto. Cada enfoque tiene sus compensaciones, y en la práctica, la mejor combinación da el mejor resultado.

1. RAG (Retrieval-Augmented Generation) — memoria externa

La idea es simple: en lugar de meter todo en el contexto, la información se almacena en una base de datos vectorial. Cuando llega una consulta, solo se extraen fragmentos relevantes de la base y se insertan en el contexto. La ventana permanece pequeña, pero el modelo "sabe" lo necesario.

Implementé precisamente este enfoque en WebsCraft: en lugar de cargar los 500 artículos del blog en el contexto del modelo, los almaceno en pgvector y recupero solo los 3-5 fragmentos más relevantes para cada consulta. El contexto se mantiene en ~2000 tokens en lugar de millones, y la respuesta llega en un segundo, no en un minuto.

Ventajas: barato (contexto pequeño = menos tokens = menos dinero), rápido (menos cálculos), preciso (el modelo solo ve lo relevante, no hay "ruido" de información irrelevante).

Limitaciones: la calidad depende de la calidad de la búsqueda. Si el sistema recupera fragmentos incorrectos, el modelo dará una respuesta incorrecta. Se requiere una configuración cuidadosa de chunking, embeddings y umbral de relevancia.

Más detalles sobre la diferencia entre los enfoques, en el artículo LLM vs RAG en 2026: por qué no es lo mismo y cuándo usar qué. Y sobre la arquitectura de sistemas RAG listos para producción, en la guía completa de RAG.

2. Compresión de contexto (Context Compression)

No todos los tokens en el contexto son igualmente útiles. Palabras como "y", "en", "también" llevan mínima información, pero ocupan espacio en la ventana de contexto. Los métodos de compresión encuentran y eliminan estos tokens no informativos, dejando solo la esencia.

El método más conocido es LLMLingua de Microsoft. Utiliza un modelo de lenguaje pequeño (por ejemplo, GPT-2) para evaluar la "sorpresa" (perplexity) de cada token. Se eliminan los tokens de baja informatividad. El resultado es una compresión de hasta 20x con una pérdida mínima de calidad.

Para sistemas RAG, existe una versión extendida: LongLLMLingua. Además, tiene en cuenta la consulta del usuario al comprimir y reordena los documentos en el contexto, colocando los más relevantes al principio y al final. Esto ayuda directamente con el problema de "lost in the middle", del que hablamos en la sección 3. Según los investigadores, la precisión aumentó un 21.4% al usar 4 veces menos tokens.

Ventajas: funciona con cualquier modelo sin cambiar la arquitectura, reduce significativamente los costos de API.

Limitaciones: agrega una etapa de procesamiento antes de cada consulta, existe el riesgo de eliminar un token importante que parezca "poco importante" para el modelo compresor pequeño.

3. Atención optimizada (Flash Attention, Sparse Attention, Ring Attention)

Este enfoque no cambia la arquitectura del transformador, sino que optimiza los cálculos dentro de ella. Tres métodos principales:

Flash Attention — reconstruye el orden de los cálculos de atención, para minimizar el intercambio de datos entre la memoria de la GPU y la caché del procesador. En la práctica, esto da una aceleración de 2-4 veces y una reducción significativa del consumo de memoria, sin ningún cambio en la calidad de las respuestas. Flash Attention ya está integrado en la mayoría de los modelos modernos.

Sparse Attention — en lugar de que cada token "mire" a cada otro (atención completa), permite mirar solo a un subconjunto: tokens adyacentes + varios puntos de referencia "globales". Esto reduce la complejidad de O(n²) a O(n√n) o incluso O(n log n). Compromiso: el modelo puede perderse conexiones lejanas pero importantes.

Ring Attention — distribuye una secuencia larga entre varias GPUs, donde cada GPU procesa su fragmento y transfiere los resultados en un anillo. Esto permite escalar el contexto proporcionalmente al número de GPUs. Precisamente este enfoque está detrás de las ventanas de contexto de un millón de Gemini.

Ventajas: no cambian la calidad del modelo, funcionan con arquitecturas existentes, proporcionan una aceleración significativa.

Limitaciones: no resuelven el problema fundamental de la complejidad cuadrática, solo empujan el muro más allá. Con un contexto suficientemente grande, O(n²) aún ganará.

4. Nuevas arquitecturas sin atención (Mamba, RWKV, State Space Models)

El enfoque más radical es abandonar la atención por completo y construir el modelo sobre una base matemática diferente.

Mamba (State Space Models) — procesa secuencias linealmente: O(n) en lugar de O(n²). Cada token se procesa una vez, y el modelo mantiene un "estado" que acumula información sobre los tokens anteriores. Es similar a cómo una persona lee un libro, sin releer cada página con cada nuevo párrafo, sino manteniendo un "resumen de lo leído" en la cabeza.

RWKV — una arquitectura recurrente con el rendimiento de un transformador. Combina las ventajas de RNN (complejidad lineal) y transformadores (calidad de generación). El modelo puede funcionar incluso con hardware débil gracias a los bajos requisitos de memoria.

Ventajas: contexto teóricamente ilimitado, escalado lineal, consumo de memoria significativamente menor.

Limitaciones: hasta ahora, son inferiores a los transformadores en calidad en tareas complejas: razonamiento, análisis de documentos largos, codificación. Esta es un área activa de investigación. Algunos modelos nuevos (Jamba de AI21) combinan Mamba con capas de transformador, intentando obtener lo mejor de ambos mundos.

Tabla resumen de enfoques

Conclusión: Ningún método es perfecto. RAG es el más práctico en este momento y probado en producción. La compresión es un complemento eficaz que además ahorra dinero. La atención optimizada ya está integrada en los modelos que utilizas. Las nuevas arquitecturas son el futuro potencial que podría hacer irrelevante todo lo anterior. El enfoque más eficaz en 2026 es una combinación: RAG para la información principal + contexto largo optimizado para la conversación actual.

🎯 ¿Cuánto cuesta: desde una consulta a Google a escala

Respuesta corta: Cada token en el contexto es un cálculo real en GPU por el que alguien paga. Una consulta a ChatGPT cuesta ~$0.001–0.01. Multiplícalo por los miles de millones de consultas de Google AI Overviews y entenderás por qué las empresas optimizan tan cuidadosamente el tamaño del contexto.

Cuando le preguntas a ChatGPT "¿qué tiempo hace?" — cuesta una fracción de céntimo. Cuando cargas un documento de 100 páginas y haces 20 preguntas — ya son decenas de céntimos. A la escala de Google — son millones de dólares al día.

El coste de una consulta

Una consulta típica a un chatbot de IA es de aproximadamente 500–2000 tokens de entrada (tu consulta + prompt del sistema + contexto) y 200–500 tokens de salida (respuesta). Con un precio de Claude Sonnet de ~$3 por 1M de tokens de entrada:

• ✔️ Consulta simple (1K tokens): ~$0.003
• ✔️ Consulta con contexto de documento (10K tokens): ~$0.03
• ✔️ Conversación larga (100K tokens): ~$0.30
• ⚠️ Contexto máximo (200K tokens): ~$0.60

Ten en cuenta: la misma conversación se vuelve más cara con cada mensaje, porque el modelo "relee" todo el contexto anterior cada vez.

Google AI Overviews: la escala del gasto

Google procesa aproximadamente 8.5 mil millones de consultas de búsqueda al día. AI Overviews (respuestas generadas por IA en la parte superior de los resultados) se muestran en aproximadamente el 10–15% de las consultas — esto es ~1 mil millones de generaciones de IA al día.

Incluso con el coste interno de Google (chips TPU propios, modelo Gemini propio) — a $0.0001 por consulta × 1 mil millones = aproximadamente $100,000 al día, o ~$36 millones al año solo en respuestas de IA en la búsqueda.

Para comparar: hice un bot RAG para buscar en los artículos de WebsCraft — con 100 consultas al día me cuesta ~$2 al mes. La misma tecnología que en Google AI Overviews — la diferencia es solo una escala de 10 millones de veces.

Por qué la IA local es drásticamente más barata

Cuando ejecutas un modelo a través de Ollama en tu ordenador — la ventana de contexto está limitada por la RAM, pero el coste de cada consulta = $0. Sin tarifas de API, sin tokens que pagar. Ya has "pagado" por tu hardware — y puedes hacer un número ilimitado de consultas.

Por eso, para tareas regulares con datos confidenciales, la IA local a través de Ollama es la opción óptima en términos de coste. Más detalles — en el artículo Cuánto cuesta la IA: tokens, GPU y por qué Google gasta millones.

Conclusión: La ventana de contexto no es solo una limitación técnica, sino un multiplicador financiero. Cuanto más larga sea la conversación y mayor el contexto — más cara será cada consulta posterior. La optimización del tamaño del contexto (a través de RAG, compresión o gestión inteligente de la conversación) no es solo una mejora de la calidad, sino también un ahorro directo de dinero.

❓ Preguntas frecuentes (FAQ)

¿Qué es una ventana de contexto en palabras sencillas?

Es la cantidad máxima de texto que la IA puede "ver" simultáneamente. Incluye tu consulta, toda la conversación anterior e instrucciones del sistema. Se mide en tokens — fragmentos de texto, cada uno de los cuales es aproximadamente equivalente a 0.7 palabras en inglés o 0.3–0.5 palabras en ucraniano.

¿Por qué ChatGPT olvida lo que dije antes?

Cuando la conversación excede la ventana de contexto — los mensajes más antiguos "se caen". Incluso dentro de la ventana, el modelo recuerda peor la información del medio (efecto "lost in the middle"). Para conversaciones largas, ayuda recordar periódicamente detalles clave o iniciar una nueva conversación con un resumen de la anterior.

¿Cuál es la ventana de contexto de Claude, ChatGPT y Gemini?

A marzo de 2026: Claude Opus 4.6 — 200K tokens (~500 páginas), GPT-5.4 — hasta 1M a través de API, Gemini 2.5 Pro — 1M, Gemini 3 Pro — 2M+. Pero el tamaño anunciado y el rango efectivo son cosas diferentes. Más detalles — en la sección 4 de este artículo.

¿Por qué RAG sigue siendo relevante si hay millones de contextos?

Tres razones: coste (cargar un millón de tokens en cada consulta es caro), calidad (lost in the middle reduce la precisión), velocidad (contexto más largo = respuesta más lenta). RAG proporciona solo fragmentos relevantes — barato, rápido, preciso. Más detalles — en el artículo LLM vs RAG.

¿Se puede aumentar la ventana de contexto en Ollama?

Sí, a través del parámetro num_ctx en Modelfile o la variable OLLAMA_CTX_SIZE. Pero en un sistema con 8 GB de RAM, aumentar el contexto más allá de 4096 tokens puede causar paginación a disco y una drástica ralentización. Más detalles — en el artículo Ollama en 8 GB de RAM.

¿Cuánto cuesta una conversación larga con ChatGPT a través de API?

El precio aumenta con cada mensaje, porque el modelo relee todo el contexto anterior. Una conversación de 100K tokens a través de Claude Sonnet cuesta ~$0.30 por consulta. A través de GPT-5.4 — ~$0.15. Para optimizar los costes, utiliza RAG o compresión de contexto.

✅ Conclusiones

La ventana de contexto es una característica fundamental de los LLM, que afecta a todo: la calidad de las respuestas, la velocidad de generación y el coste de cada consulta. Lo principal:

• ✔️ Ventana de contexto = "escritorio" de la IA: todo lo que el modelo puede ver simultáneamente. Cuando el escritorio se llena — lo viejo cae al suelo.
• ✔️ Complejidad cuadrática: duplicar el contexto aumenta los costes 4 veces, no 2. Esta es una limitación fundamental de la arquitectura del transformador.
• ✔️ Lost in the middle: la IA recuerda mejor el principio y el final del texto. La información del medio puede "perderse" — caída de precisión hasta un 20–50%.
• ✔️ Más ≠ mejor: 200K tokens estables (Claude) son a menudo más prácticos que 1M+ con degradación (Gemini).
• ✔️ RAG sigue siendo relevante: incluso con millones de contextos, RAG es más barato, más rápido y más preciso para trabajar con grandes volúmenes de datos.
• ✔️ Cada token cuesta dinero: conversación más larga = cada consulta posterior más cara. La optimización del contexto es un ahorro directo.

Yo mismo utilizo un enfoque combinado: RAG para buscar en los artículos del blog (contexto ~2000 tokens), y un contexto largo para conversaciones detalladas con Claude, donde se necesita una historia profunda. Esta es la estrategia más eficaz en 2026 — no esperar un contexto infinito, sino gestionar inteligentemente el que hay.

Si quieres entender otros aspectos del funcionamiento de los LLM — cómo la IA ve el texto a través de tokens, cómo genera respuestas usando el mecanismo de atención, y por qué RAG sigue siendo más relevante que el contexto largo — pasa a los artículos correspondientes del clúster.

Y si necesitas un sitio web o una aplicación web con integración de funcionalidades de IA — búsqueda RAG, chatbot o analítica — escríbenos a WebsCraft, te ayudaremos a implementarlo.

📖 Fuentes

• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (Stanford/UW, 2023)
• MIT — Unpacking the bias of large language models (2025)
• Morph / Chroma Research — Lost in the Middle LLM: The U-Shaped Attention Problem (2025)
• Elvex — Context Length Comparison: Leading AI Models in 2026
• Morph — LLM Token Limits: Every Model's Context Window Compared (2026)
• AIMultiple — Best LLMs for Extended Context Windows in 2026
• Explore AI Together — LLM Usage Limits 2026 Comparison