Measuring If Tests Are Worth Anything: Four Axes

Thu, 02 Jul 2026 09:00:00 +0200

Article 4 of the series “From Specification to Execution.” The previous article discussed the distribution of roles between human, AI, and deterministic tools. We can now write tests. The more useful question remains: How do we know if they are worth anything?

A case often cited by the authors of Hypothesis summarizes the problem well. A production JSON parser showed 95% coverage on an example-based test suite. The score looked good. Yet, as soon as it was fed into Hypothesis with arbitrary Unicode inputs, it broke in less than 30 seconds on a surrogate character. The tests existed. They didn’t protect what they claimed to protect.

Mesurer si les tests valent quelque chose, quatre axes

Thu, 02 Jul 2026 09:00:00 +0200

Article 4 de la série “De la spécification à l’exécution”. L’article précédent traitait de la répartition des rôles entre humain, IA et outils déterministes. On peut maintenant écrire des tests. Reste une question plus utile. Comment savoir s’ils valent quelque chose ?

Un cas souvent cité par les auteurs de Hypothesis résume bien le problème. Un parseur JSON de production affichait 95 % de coverage sur une suite de tests par exemples. Le score semblait bon. Pourtant, dès qu’on l’a soumis à Hypothesis avec des entrées Unicode arbitraires, il a cassé en moins de 30 secondes sur un caractère surrogate. Les tests existaient. Ils ne protégeaient pas ce qu’ils laissaient croire.

Mutation-Testing on Mathias WOLFF

Measuring If Tests Are Worth Anything: Four Axes

Mesurer si les tests valent quelque chose, quatre axes