AIDive

Anthropic analizó 400.000 sesiones de IA. Pierden los devs

Por AIDive · Publicado el

Agentes de programación

Los gestores ganan a los devs programando con IA

Anthropic hizo que un clasificador calificara 400.000 sesiones de Claude Code, una por una, para descubrir quién triunfa de verdad con un agente de programación. El grupo con la mejor tasa de éxito verificado no es el de los ingenieros de software. Es el de los gestores. Los diez grupos ocupacionales más grandes del estudio quedan todos a menos de siete puntos de los desarrolladores, lo que significa que personas que no escriben código entregan código que funciona casi al mismo ritmo que quienes se dedican a ello profesionalmente.

Si alguna vez te has dicho que estas herramientas no son para ti porque no sabes programar, este estudio dice exactamente lo contrario. Saber programar ya no separa a quienes tienen éxito de quienes fracasan, y el estudio dice con precisión qué es lo que sí lo hace.

Qué midió Anthropic en realidad

Tres definiciones cambian cómo deberías leer cada cifra del estudio. Primero, la muestra: 400.000 sesiones interactivas de 235.000 personas, registradas entre octubre de 2025 y abril de 2026. Claude Code es el agente de programación de Anthropic que vive en una terminal: escribes lo que quieres en lenguaje natural y él lee tus archivos, escribe el código y ejecuta los comandos por su cuenta.

Nadie en Anthropic leyó esas conversaciones manualmente. Un clasificador construido sobre uno de sus propios modelos calificó cada sesión de forma automática, y sus calificaciones se contrastaron con la telemetría, es decir, los commits, los cambios de código y los resultados de los tests. En las sesiones que modifican código, el clasificador y la telemetría coinciden más del 90% de las veces.

Segundo, el éxito. El estudio distingue dos tipos, y la diferencia sostiene todo lo que sigue. Un éxito juzgado significa que el clasificador cree que se alcanzó el objetivo declarado. Un éxito verificado es más exigente: necesita pruebas, como tests que pasan, un commit o el usuario confirmando el resultado de forma explícita. El éxito verificado es el listón alto detrás de cada cifra de aquí en adelante, y es un listón exigente, porque muchas sesiones útiles terminan sin prueba formal.

Tercero, la propia pericia. El clasificador nunca mira tu puesto de trabajo ni tu currículum. Lee tu comportamiento dentro de la sesión y lo califica en una escala de cinco niveles, de novato a experto, usando solo tres señales: la precisión de tus instrucciones, qué le pides al agente que verifique y si alguno de los dos corrige al otro. Tu nivel mide tu dominio del problema en esa sesión, así que la misma persona puede ser experta en su oficio por la mañana y novata en un tema nuevo por la noche.

Los cinco niveles, de novato a experto

A un novato se le reconoce en una frase: instrucciones genéricas sin conocimiento del dominio incorporado. Un experto escribe prompts cargados de contexto, y el mismo agente responde con mucho más trabajo autónomo. Una acción es aquí un movimiento concreto del agente, como leer un archivo, escribir una función o ejecutar un comando.

Métrica Novato Experto
Acciones del agente por prompt ~5 ~12
Palabras de trabajo entregado por prompt ~600 ~3.200
Tasa de éxito verificado 15% 28 a 33% (de intermedio en adelante)
Tasa de abandono cuando la sesión se tuerce 19% 5 a 7% (todos los no novatos)
Sesiones con problemas convertidas en éxito verificado 4% 15%

Eso es cinco veces más trabajo entregado con la misma herramienta y la misma suscripción. La única variable que cambió es la persona frente al teclado.

El detalle que más importa: casi toda la ganancia ocurre entre novato e intermedio, y la brecha entre intermedio y experto es modesta. No necesitas convertirte en experto para duplicar tu tasa de éxito. Necesitas dejar de ser novato.

La brecha más brutal aparece cuando una sesión se tuerce. Cuando el agente entra en una espiral de errores y tests rotos, los novatos abandonan el 19% de las veces, frente al 5 a 7% de todos los demás. Entre quienes aguantan, los novatos convierten solo el 4% de esas sesiones con problemas en éxitos verificados, mientras que los expertos convierten el 15%. Eso es casi cuatro veces más sesiones salvadas, únicamente porque la persona entiende el problema lo bastante bien como para reconducir al agente en lugar de verlo hundirse. La diferencia entre niveles no se nota cuando todo funciona. Se nota en el primer tropiezo.

Por qué saber programar ya no importa

El conocimiento del dominio, en términos de Anthropic, es entender el problema que intentas resolver, hasta el fondo. En las sesiones que producen código, la brecha entre ocupaciones es pequeña y estable:

Grupo Éxito verificado Éxito parcial
Ocupaciones de software 34% 89%
Resto de ocupaciones 29% 88%

Cinco puntos de diferencia, una brecha que ni se amplió ni se estrechó durante los siete meses del estudio, mientras ambos grupos seguían mejorando. En el éxito parcial, donde el objetivo se alcanzó al menos en parte, los dos grupos empatan.

El estudio también muestra dónde actúa el conocimiento del dominio. En una sesión típica, el humano toma alrededor del 70% de las decisiones de planificación (qué construir) pero solo el 20% de las decisiones de ejecución (cómo escribirlo). El reparto ya está ahí: tú decides el qué y el agente se encarga del cómo. Un gestor que sabe exactamente qué debe hacer su producto tiene en la mano la palanca que cuenta, aunque no escriba ni una línea de lo que el agente produce. Por eso los gestores acaban en lo alto del ranking.

El uso a lo largo de los siete meses observados confirma que el centro de gravedad se está moviendo:

Tipo de tarea Inicio del estudio Final del estudio
Depuración 33% de las sesiones 19%
Ejecutar software 14% 21%
Análisis de datos y redacción de documentos punto de partida casi el doble

La gente ya no usa el agente solo para reparar código; lo usa para llevar su trabajo. En el mismo periodo, el valor estimado de la tarea media confiada al agente creció un 27%.

La autonomía reencuadra tu papel de la misma manera. Una sesión típica contiene solo unos cuatro intercambios entre el humano y el agente, y cada prompt desencadena unas diez acciones de media. En el extremo, un solo prompt llega a desencadenar más de cien acciones: una instrucción, y el agente trabaja solo el equivalente de una tarde. Lo que tú aportas cabe en unas pocas frases por sesión, y exactamente por eso su precisión pesa tanto. Cuando solo hablas cuatro veces, cada frase cuenta.

La misma tarea, con prompt de novato y de experto

Reprodujimos la diferencia con una tarea que todo el mundo entiende: añadir un formulario de contacto a una web pequeña.

La versión de novato es el prompt que la mitad de nosotros todavía escribe: nueve palabras, sin contexto, sin criterios. El agente no sabe dónde vive la web, qué recoge el formulario ni adónde van los mensajes, así que toma cada una de esas decisiones por ti, y tú descubres sus elecciones al final. En nuestra ejecución, colocó el formulario en la página de inicio, inventó un campo de teléfono que nadie pidió y conectó los envíos a una dirección de correo que no existe. Nada de eso es un bug. El agente rellenó los huecos de la petición con suposiciones, y cada suposición era una oportunidad de equivocarse. Ese es el patrón medido del novato: pocas acciones, un resultado corto y aproximadamente una posibilidad entre siete de lograr un éxito verificado.

La versión de experto resuelve la misma tarea sin una sola línea de código en el prompt. Dice dónde actuar (la página "about"), qué construir (tres campos precisos), con qué construirlo (la ruta de envío que ya existe) y, sobre todo, cómo demostrar que está terminado (ejecutar los tests y mostrar el formulario en el navegador). Ninguna de esas piezas de información exige saber programar. Exige conocer tu web, tu necesidad y tu estándar, que es tu dominio. El agente se encarga del resto: lee la página, añade el formulario, conecta la ruta, escribe la validación y ejecuta los tests. Esa es la cadena de 12 acciones del estudio, desencadenada por la precisión del prompt, no por el talento técnico de su autor.

Escribir el prompt de experto llevó unos treinta segundos más que el de novato, y esos treinta segundos eliminaron cada oportunidad que el agente tenía de adivinar. Toda la demostración cabe en una frase: la misma herramienta se vuelve cinco veces más productiva cuando la petición lleva el dominio dentro.

Tres hábitos que te suben de nivel

El primer hábito es dar el contexto que solo tú conoces, antes de que el agente lo adivine mal. El clasificador lo llama precisión de las instrucciones. Cada petición debería decir dónde actuar, con qué y qué aspecto tiene lo terminado. Tres frases bastan, y funciona para cualquier trabajo, no solo el código: un prompt de marketing con la audiencia, las restricciones y la línea de meta cubre los mismos tres bloques. Si no puedes rellenar uno de los bloques, esa es la señal de que la vaguedad está de tu lado, no del lado del agente, y merece la pena aclararla antes de lanzar la sesión.

El segundo hábito es exigir pruebas al final, la segunda señal del clasificador. Termina tus prompts con una condición de cierre comprobable: ejecuta los tests, muéstrame el resultado, comprueba que la página carga. Un agente al que no le pides pruebas te entregará trabajo inverificable, y el estudio muestra que eso es exactamente lo que separa un éxito juzgado de uno verificado. Esa prueba además te protege, porque te permite dar por bueno el trabajo sin saber leer el código que hay detrás.

El tercer hábito es mantenerte en el bucle cuando las cosas empiezan a romperse. Relee lo que el agente devuelve, corrígelo cuando se equivoca y no cierres la sesión al primer fallo. Los novatos aceptan la salida de forma pasiva y abandonan unas cuatro veces más que el resto en cuanto algo se atasca, y sin embargo ahí es exactamente donde el nivel se rentabiliza. Explicar el problema otra vez con tus propias palabras y señalar qué no encaja con lo que esperabas es corregir al agente, la tercera señal del clasificador. La forma de una buena corrección: qué está pasando, qué se esperaba, dónde mirar. Sigue sin haber ni una línea de código, solo una descripción honesta de la distancia entre lo uno y lo otro.

Los tres hábitos caben en un pósit: da tu contexto, exige pruebas, quédate en el bucle. Ninguno exige aprender a programar, y juntos cubren la distancia entre el 15 y el 30% de éxito.

Lo que el estudio no dice

Incluso para los expertos, el éxito verificado se queda como máximo entre el 28 y el 33%. Dos de cada tres sesiones terminan sin prueba sólida de que el objetivo se alcanzó, en el mejor de los casos con un éxito parcial, que sí sube por encima del 90%. Subir de nivel duplica tus probabilidades; no hace al agente infalible.

El ranking de los gestores merece su propia cautela. Anthropic señala que es posible un sesgo de medición, porque el éxito verificado también cuenta las confirmaciones explícitas del usuario, y confirmar con claridad que el trabajo queda validado es un reflejo de gestor. Además, el estudio mide sesiones de Claude Code, una herramienta de terminal cuya audiencia ya está más motivada que la media, así que nada garantiza que las mismas cifras se sostengan en ChatGPT o en cualquier otra herramienta. Quédate con la pendiente general, no con los decimales: la precisión paga, la prueba paga, y nadie supera un tercio de certeza.

Tu nivel no es una etiqueta

¿Deberías lanzarte si no sabes programar? El estudio responde por grupos. Si conoces tu oficio a fondo (tu dominio, tus clientes, qué significa un buen resultado), entonces sí. Aportas exactamente la mitad de las decisiones que cuenta, la mitad de planificación. Pero si entras en un tema que todavía no entiendes, el agente no llenará ese vacío; lo rellenará con suposiciones, como nuestro formulario de contacto aterrizando en la página equivocada.

La conclusión cabe en una decisión: deja de tratar tu falta de código como una desventaja y empieza a tratar tu conocimiento del problema como tu verdadero capital. El clasificador no califica quién eres; califica cómo trabajas dentro de la sesión, y eso puede cambiar desde tu próxima sesión. Escribe la petición con tu contexto dentro, termínala con la prueba que exiges y, cuando se atasque, reformula en lugar de cerrar. Si no sabes programar, empiezas con las mismas probabilidades que todos los demás. El estudio acaba de demostrarlo con 400.000 sesiones.

Fuentes

Preguntas frecuentes

¿Qué descubrió el estudio de Anthropic sobre 400.000 sesiones de Claude Code?
Un clasificador calificó 400.000 sesiones de Claude Code de 235.000 personas (de octubre de 2025 a abril de 2026) y descubrió que el conocimiento del dominio, no la habilidad para programar, predice el éxito. Los gestores tuvieron la mejor tasa de éxito verificado, y las ocupaciones ajenas al software verificaron un 29% frente al 34% de las ocupaciones de software.
¿Se puede usar Claude Code sin saber programar?
Sí, si conoces tu dominio. En una sesión típica los humanos toman alrededor del 70% de las decisiones de planificación pero solo el 20% de las de ejecución, así que saber qué construir importa más que saber escribirlo. Quienes no programan entregan código que funciona casi al mismo ritmo que los desarrolladores profesionales.
¿Qué es un éxito verificado en el estudio de Anthropic?
Un éxito verificado exige pruebas de que el objetivo se alcanzó: tests que pasan, un commit o una confirmación explícita del usuario. Es más estricto que un éxito juzgado, donde el clasificador simplemente cree que el objetivo se cumplió. Incluso los expertos verifican solo el 28-33% de las sesiones.
¿Cómo mide Anthropic los niveles de pericia de los usuarios de IA?
Un clasificador califica cada sesión en una escala de cinco niveles, de novato a experto, usando tres señales de comportamiento: la precisión de las instrucciones, qué le pide el usuario al agente que verifique y si usuario y agente se corrigen mutuamente. Nunca mira los puestos de trabajo, así que la misma persona puede puntuar como experta en una tarea y como novata en otra.
¿Qué separa los prompts de novato de los de experto en los agentes de programación con IA?
Los prompts de experto llevan contexto del dominio: dónde actuar, qué construir, con qué construirlo y una condición de cierre comprobable como ejecutar los tests. Cada prompt de experto desencadena unas 12 acciones del agente y 3.200 palabras de trabajo, frente a 5 acciones y 600 palabras de los prompts genéricos de novato, con el doble de tasa de éxito verificado.
¿Siguen teniendo ventaja los desarrolladores con los agentes de programación con IA?
Una pequeña: las ocupaciones de software verifican el 34% de las sesiones que producen código frente al 29% del resto, una brecha de cinco puntos que se mantuvo estable durante siete meses. En éxito parcial los grupos empatan con un 89% y un 88%.

Vídeos relacionados