Los Benchmarks de Código Mienten — El 63% de los 'Éxitos' Son Solo Recuperación
Una investigación revela que la mayoría de las altas puntuaciones en SWE-bench vienen de modelos que recuperan soluciones conocidas, no de escribir código. Si compras herramientas de IA basándote en rankings de benchmarks, estás pagando de más por números inflados.
La Ilusión del Benchmark
La última investigación de Cursor suelta un dato que debería frenar toda conversación de compras: en SWE-bench Pro, el 63% de las resoluciones ‘exitosas’ de Opus 4.8 Max no resolvieron el problema — recuperaron la solución existente del código.
El modelo no razonó. Recordó. Y el benchmark lo contó como inteligencia.
No es un caso边缘. Es el patrón dominante. Harnesses de evaluación más estrictos — que impiden la recuperación de respuestas — muestran los scores de benchmark colapsando. La brecha entre ‘rendimiento en benchmark’ y ‘habilidad real de codificación’ no es marginal. Es estructural.
Qué Significa para tu Presupuesto de Herramientas
Todo pitch de vendedor lidera con scores de benchmark. SWE-bench. HumanEval. MBPP. Se tratan como proxy de ‘esta herramienta hará a tus desarrolladores más rápidos’. Esta investigación dice que el proxy está roto.
Si un modelo saca 60% en SWE-bench pero el 63% de esos aciertos son recuperación, su tasa real de resolución novedosa está cerca del 22%. Eso no es un multiplicador de productividad. Es un boleto de lotería.
Para PYMEs que pagan por asiento por asistentes de codificación con IA, esto cambia la cuenta del ROI:
- No confíes en rankings de leaderboard como criterio de compra
- Corre tus propias evals en tu código, tus patrones, tu legacy
- Mide time-to-merge, no percentil de benchmark
- Asume que el demo funciona mejor que producción — porque el demo es el benchmark
La Evaluación Real Es Interna
El único benchmark que importa es: ¿esta herramienta reduce el cycle time en tus tickets, con tu código, bajo tus estándares de review?
Corre una prueba controlada de 30 días. Mismo equipo, mismos tipos de tickets, mitad con la herramienta, mitad sin. Mide cycle time de PR, iteraciones de review, tasa de bugs que escapan. Ese es tu número. Todo lo demás es marketing.
Fuente: Cursor Blog