Icono de Mis Putos Podcast

Mis Putos Podcast

https://podcast.juasjo.com/feed.xml

Miniatura de KV Cache vs. Prompt: la ingeniería detrás de los agentes que vuelan, cap 2

KV Cache vs. Prompt: la ingeniería detrás de los agentes que vuelan, cap 2

Gentleman Programming | KV cache | Qué es el KV cache y por qué la IA se pone lenta: capítulo 2 del curso gratis de inteligencia artificial, de tokens a agentes. Sin lo que vemos hoy no existirían Claude Code, Cursor ni ningún agente que trabaje media hora seguida sobre tu código. Arrancamos con un repaso completo de la atención con la analogía de la biblioteca (Query, Key y Value, el bibliotecario que pone puntaje, y varios bibliotecarios a la vez que son las cabezas), y de ahí vamos al problema: para generar cada palabra el modelo rehace toda la biblioteca entera, y eso crece al cuadrado. Mil palabras son medio millón de lomos fabricados y tirados a la basura. Demo en vivo: sin caché versus con caché, 50x, 500x y 5.000x de ahorro. Después la condición que casi nadie explica bien: el pasado no se puede cambiar, porque el modelo solo mira hacia atrás y si pudiera ver el futuro el entrenamiento sería una farsa. Esa causalidad es lo que permite guardar los lomos, y guardarlos se llama KV cache. Con eso entendés la imprenta y el calígrafo, por qué la salida cuesta 5 veces más que la entrada, y por qué tus sesiones largas se ponen lentas: no es que el modelo se cansó, es física. Y la segunda mitad es la que aplicás mañana: caché de prefijo, "el caché se corta en el primer carácter que cambia", la demo del timestamp al principio versus al final del system prompt (99% del prompt a precio de lectura solo por mover un texto de lugar), la regla "lo fijo adelante, lo variable atrás", la cuenta de $4.500 por mes, y tres síntomas de lentitud con su diagnóstico real. Tarea de 5 minutos al final. 📖 El libro gratis (todo el curso sale de ahí): https://the-amazing-gentleman-programming-book.vercel.app ⏱️ TIMESTAMPS: 0:00 Arranca la claseña número dos 0:51 Sin esto no existirían Claude Code ni Cursor 1:32 Para los que caen hoy: repaso completo 2:19 La biblioteca: Query, Key y Value 3:36 El bibliotecario compara y pone puntaje 4:47 La fórmula de atención leída a nivel humano 6:46 Multi-head: varios bibliotecarios a la vez 8:03 El problema: rehacer la biblioteca en cada palabra 9:49 La cuenta: medio millón de lomos para 1.000 palabras 10:30 Demo 1: sin caché vs con caché (50x, 500x, 5.000x) 13:03 La parte más ofensiva: el mismo lomo millones de veces 14:36 La condición: el pasado no se puede cambiar 15:31 Causalidad: el modelo no puede ver el futuro 16:13 Si pudiera ver el futuro, el entrenamiento sería una farsa 17:47 La consecuencia: el lomo queda congelado para siempre 18:36 Sin esto los agentes serían inviables 19:10 La solución: guardar y agregar solo lo nuevo 19:55 El mozo que te repite la comanda entera 20:53 La imprenta y el calígrafo 22:07 Por qué la salida cuesta 5 veces más 22:52 El caché no es gratis: memoria y sesiones lentas 24:06 Demo 2: TTFT con prompt corto vs 51.000 tokens 26:02 Segunda mitad: esto lo tenés que tocar vos 26:44 Caché de prefijo 27:24 El caché se corta en el primer carácter que cambia 27:57 Pusiste la fecha en el system prompt y mataste el caché 28:51 Demo 3: timestamp al principio vs al final 32:02 Cache read vs cache creation: 99% a precio de lectura 33:04 La regla: lo fijo adelante, lo variable atrás 33:47 La cuenta: $150 por día, $4.500 por mes 34:20 Esto es ingeniería de agentes, no prolijidad 35:34 Tres síntomas con diagnóstico 36:36 Síntoma 2: cambié una cosita y explotó el costo 36:56 Síntoma 3: en local vuela, en producción es un desastre 37:44 Qué te llevás de la clase de hoy 38:31 Tarea: mirá las 3 primeras líneas de tu system prompt 39:17 Reflexión final: usuario o ingeniero 40:21 La próxima: contexto como presupuesto ▬ LINKS DE INTERÉS ▬ 🤑 DESCUENTOS ══════════════════════ ​CodeCrafters: https://app.codecrafters.io/join?via=GentlemanProgramming Linsoul: https://www.linsoul.com/GentlemanProgramming 📺 STREAM ══════════════════════ Twitch: https://www.twitch.tv/gentleman_programming 🎮 YouTube: https://www.youtube.com/c/GentlemanProgramming VODS en canal secundario 🥵: https://www.youtube.com/cha