Les outils de test en route vers l'industrialisation

Les deux fonctions essentielles de l'assurance qualité à tester sont la vérification (le produit est-il bien fait ?) et la validation (avons-nous fait le bon produit ?). Pour cela, il existe tout un arsenal d'outils adaptés, capables d'automatiser les tâches répétitives pour une meilleure efficacité. Certains améliorent aussi la fiabilité des tests en effectuant des comparaisons de données volumineuses ou en simulant des comportements de l'application. Ces outils de gestion des tests, qui s'interfacent avec les outils d'exécution, de gestion des défauts, des exigences et de configuration, enregistrent les résultats et génèrent des rapports d'avancement.

Racheté par HP en 2006, Mercury reste le leader dans ce domaine, intégré désormais dans la gamme HP Quality Center : tests de performance avec Loadrunner, tests fonctionnels avec Quicktest Professional, gestion de tests avec Testdirector. Malgré des tarifs prohibitifs, les outils HP réunissent 90 % de parts de marché.

D'autres acteurs existent à l'ombre de ce leader. Compuware propose QAcenter, une gamme d'outils de test automatisés : gestion des tests avec QAdirector, tests de performance avec QAload ou fonctionnels avec Test partner... L'éditeur semble cependant s'être résigné à affronter HP. Quant à IBM, il dispose d'un catalogue d'outils de tests particulièrement exhaustif depuis le rachat de Rational en 2003 : parmi eux, Test Manager, Functional Tester, Performance Tester... Borland aussi joue dans cette cour, construisant son offre gestion de la qualité grâce au rachat de Segue en 2006. Avec la gamme Silk, il propose un outil tout en un pour administrer et planifier les tests et gérer la qualité. Arrivé tardivement sur ce marché, Borland peine à s'imposer et son déclin amorcé depuis quelques années n'arrange rien. Enfin, Microsoft commence à se faire une petite place. Avec Visual Studio Team System 2008, les fonctions de test montent en puissance et deviennent crédibles face aux ténors. Son point fort : les solutions Microsoft restent relativement faciles d'accès et économiques.

Enfin, à côté de ces ténors du logiciel, des éditeurs de niche ont trouvé leurs marques avec un positionnement ou des fonctions inédites, utiles aux activités de tests. L'éditeur français Neotys propose une alternative plus économique au test de charge, avec Neoload. Smartesting, français lui aussi, automatise la génération des cas de tests et de scripts de tests à partir des modèles UML de l'application (Test Designer). All4Tec propose la même approche de tests basés sur les modèles avec Matelo. Kalios propose Synopsis, un outil qui permet de générer, de manipuler et de démultiplier les cas de test en utilisant la méthodologie par mot-clé. Cast pour sa part propose une solution de pilotage automatique de la qualité technique des applications. Application Intelligence Platform effectue une analyse statique, sémantique et architecturale du système, fournit un bilan qualité objectif et identifie les causes de défauts.

L'année 2008 a aussi vu la montée en puissance des outils open source. On peut citer notamment Staf (Software Testing Automation Framework), un framework multiplates-formes et multilangages de services avec des capacités de tests fonctionnels, Systir (tests système), Faban de Sun (bancs d'essai). Dans les propositions plus classiques, il faut mentionner Testlink (gestion des tests), Fitnesse (tests fonctionnels), Selenium (tests web), Bugzilla, Mantis (gestion des anomalies), OpenSTA (tests de charge). Ce dernier tend à être remplacé par Tsung qui offre des performances étonnantes, puisqu'il peut gérer jusqu'à 10 000 utilisateurs par processeur.

Tous ces acteurs courent après un marché des outils de test en pleine expansion. Avec deux tendances dominantes : une automation de plus en plus poussée et une convergence entre les outils pour testeurs et développeurs. Sans oublier le recours aux usines de tests, qui date de 2007 et qui commence à prendre forme.