Testwell CTC++ · Comparatif

Testwell CTC++ ou gcov ?

gcov est gratuit, livré avec GCC, et pour beaucoup de projets il suffit. Il atteint ses limites avec d'autres compilateurs, sur des cibles embarquées contraintes, et quand une norme de sécurité demande de justifier la confiance dans l'outil. Voici comment choisir.

gcov suffit si
  • tout votre code est compilé avec GCC ;
  • vos tests tournent sur poste, ou sur une cible avec système de fichiers ;
  • aucune norme ne vous demande de qualifier l'outil.
Testwell CTC++ s'impose si
  • vous compilez avec IAR, Keil ou un autre compilateur croisé ;
  • vous mesurez sur une cible contrainte, sans système de fichiers ;
  • vous devez justifier la confiance dans l'outil pour une norme.
Comparatif

Les deux outils, point par point

Ce que fait chacun, d'après la documentation de GCC et celle de Verifysoft.

CritèregcovTestwell CTC++
NatureOutil libre, livré avec GCC.Outil commercial de Verifysoft, distribué en France par Precilog.
CoûtGratuit.Licence payante. Évaluation gratuite sur votre code.
CompilateursGCC uniquement : « gcov ne fonctionne que sur du code compilé avec GCC ». Clang a son propre outil, llvm-cov.Compilateurs natifs et croisés, C et C++ : GCC, Visual Studio, IAR, Keil… La commande ctc se place devant l'appel du compilateur, qui garde ses options.
LangagesC, C++ et les autres langages de GCC.C et C++ ; Java avec un module complémentaire.
InstrumentationPar le compilateur, sur le graphe de flot de contrôle. La documentation de GCC conseille de compiler sans optimisation.Dans le code source, sur une copie temporaire, avant la compilation par votre compilateur.
MesuresLignes, fonctions, branches du code généré. Depuis GCC 14 : conditions et MC/DC (forme « masking »).Fonctions, instructions, décisions, conditions, MC/DC et multicondition.
RapportsFichiers texte annotés (.gcov). Rapports HTML avec des outils tiers : lcov, gcovr.Rapport HTML intégré, du projet jusqu'à la condition, sur votre code source.
Cible embarquéeAvec un système de fichiers, comme sur un poste. Sans système de fichiers : routine de vidage, script d'édition de liens et canal de transfert à écrire vous-même.Bibliothèque d'exécution fournie en C, adaptable à la cible, même très contrainte et sans système de fichiers. Données remontées par le canal de votre choix.
Normes de sécuritéAucun certificat : la qualification de l'outil est entièrement à la charge du projet.Certificat TÜV SÜD pour la CEI 61508, l'ISO 26262, l'EN 50716, l'ISO 25119 et la CEI 62304. DO-178C : qualification propre au projet, avec l'appui de Verifysoft.
AssistanceCommunauté.Verifysoft et Precilog, en français.
MC/DC

gcov mesure désormais le MC/DC : ce qui change, et ce qui reste

Pendant longtemps, gcov s'arrêtait aux lignes et aux branches. Depuis GCC 14, sorti en 2024, il sait mesurer la couverture des conditions et le MC/DC : on compile avec -fcondition-coverage, puis on lance gcov --conditions. Clang propose aussi le MC/DC depuis sa version 18, avec -fcoverage-mcdc.

C'est un vrai progrès pour les projets compilés avec GCC. Le MC/DC ne suffit pourtant pas à régler la question pour un projet soumis à une norme.

La version du compilateur

Il faut GCC 14 ou plus récent. Une chaîne de compilation croisée figée sur une version antérieure, fréquente en embarqué, n'en profite pas.

La forme du MC/DC

GCC mesure la forme dite « masking » du MC/DC. Clang limite le MC/DC à six conditions par expression : au-delà, l'expression n'est pas mesurée.

La preuve pour la norme

Pour l'ISO 26262 ou la CEI 61508, il faut justifier la confiance dans l'outil. Sans certificat, c'est au projet de qualifier gcov, et de recommencer à chaque changement de version.

Migration

Passer de gcov à Testwell CTC++

Vos tests ne changent pas. Seule la façon de compiler change, le temps de la mesure.

01

Gardez vos tests

Tests unitaires, d'intégration ou système : ceux qui tournent aujourd'hui avec gcov servent tels quels.

Tests
02

Préfixez la compilation

La commande ctc se place devant l'appel du compilateur, dans votre build ou votre IDE. Vous gardez votre compilateur et ses options.

Build
03

Exécutez, sur poste ou sur cible

Le programme instrumenté enregistre la couverture. Sur cible, les données remontent par le canal de votre choix.

Exécution
04

Lisez le rapport

Un rapport HTML, du projet jusqu'à la condition, avec le MC/DC et la multicondition. Il peut rejoindre votre dossier de sécurité.

Rapport

Rien n'oblige à choisir pour toute l'équipe : gcov peut rester sur les postes de développement, et Testwell CTC++ servir aux mesures sur cible et aux preuves pour la norme.

Comparez sur votre propre code

Une évaluation gratuite de Testwell CTC++, avec votre compilateur et votre cible : vous voyez ce que gcov ne vous montre pas.

Demander une évaluation →

Sources : documentation de gcov ↗, gcov sans système d'exploitation ↗, couverture de code de Clang ↗, le MC/DC dans GCC ↗, comparatif de Verifysoft ↗.

Testwell CTC++  ·  Certification  ·  Intégrations  ·  Ressources Testwell CTC++