Executable Specification: What I Show to Humans and AI

Thu, 04 Jun 2026 09:00:00 +0200

Article 2 of the series “From Specification to Execution, a workflow for making code more reliable in the AI era.” The previous article set the context. With AI, part of the work has moved from writing code to spec and judgment. Here, I start with the spec.

In 2025, a team of engineers measured what GPT-4 Turbo produces when asked to generate Cypress acceptance tests from Gherkin scenarios. 60 percent of the tests were correct on the first generation, 92 percent after a minor correction or extra context. Of 20 problematic cases, 12 shared the same cause, insufficient context in the user story. These results are published in Acceptance Test Generation with Large Language Models. The point is clear. The bottleneck is not generation. It is specification.

La spécification exécutable : ce que je donne à lire à l'humain et à l'IA

Thu, 04 Jun 2026 09:00:00 +0200

Article 2 de la série “De la spécification à l’exécution, un workflow pour fiabiliser le code à l’ère IA”. L’article précédent a posé le contexte. Avec l’IA, une partie du travail s’est déplacée de l’écriture du code vers la spec et le jugement. Ici, je commence par la spec.

En 2025, une équipe d’ingénieurs a mesuré ce que produit GPT-4 Turbo quand on lui demande de générer des tests d’acceptance Cypress à partir de scénarios Gherkin. 60 % des tests étaient corrects à la première génération, 92 % après une correction mineure ou un ajout de contexte. Sur 20 cas problématiques, 12 partageaient la même cause, un contexte insuffisant dans la user story. Ces résultats sont publiés dans Acceptance Test Generation with Large Language Models. Le point à retenir est clair : le goulet d’étranglement n’est pas la génération, c’est la spécification.

Gherkin on Mathias WOLFF

Executable Specification: What I Show to Humans and AI

La spécification exécutable : ce que je donne à lire à l'humain et à l'IA