Recette manuelle sur tableur
Une personne suit une liste de vérifications et note les résultats dans un tableau.
Comparatif
Avalyz, tests manuels ou outils de test : que choisir ?
Trois façons courantes de faire la recette d'un site, et ce qu'Avalyz apporte ou non à côté d'elles. Chaque affirmation sur une technologie tierce renvoie à sa source officielle, listée en bas de page.
Les approches comparées
Framework de test à coder soi-même
Une équipe écrit des tests automatisés dans un projet libre, par exemple :
- Playwright : Framework de test de bout en bout : Chromium, WebKit et Firefox, avec émulation mobile de Chrome pour Android et de Mobile Safari. [1]
- Cypress : Application libre et open source, installée localement, pour écrire et exécuter des tests de ce qui tourne dans un navigateur. [5]
- Selenium : Projet d'outils et de bibliothèques pour automatiser les navigateurs, qui implémente la spécification W3C WebDriver. [7]
Plateforme SaaS générique de surveillance ou de test
Un service en ligne surveille des sites ou joue des scénarios ; fonctions et prix varient selon l'éditeur.
Avalyz
Un logiciel en ligne de recette web pour agences : tests en navigateur, rapport client et PV de recette en PDF.
Critère par critère
| Critère | Recette manuelle sur tableur | Framework de test à coder soi-même | Plateforme SaaS générique de surveillance ou de test | Avalyz |
|---|---|---|---|---|
| Temps de mise en place | Immédiat : un modèle de tableau et une liste de vérifications suffisent. | Installer l'outil et son environnement (par exemple Node.js pour Playwright), puis écrire les tests. [1] | Créer un compte, puis configurer les contrôles ou les scénarios proposés par la plateforme. | Coller l'adresse d'un site : rien à installer. Un test immédiat sans inscription est possible, 3 fois par jour. |
| Compétences requises | Rigueur et connaissance du site ; aucune programmation. | Programmation : TypeScript ou JavaScript, Python, .NET ou Java pour Playwright ; Java, Python, C#, Ruby, JavaScript ou Kotlin pour Selenium. [1] [2] [8] | Variables d'une plateforme à l'autre, de la saisie d'adresses à l'écriture de scripts : à vérifier dans sa documentation. | Aucune programmation pour un test. Les parcours s'écrivent en phrases (français ou anglais) ou s'importent depuis Gherkin ou CSV. |
| PV de recette livrable au client | À rédiger à la main à partir du tableau. | Les outils produisent des rapports de test destinés à l'équipe (Playwright ouvre un rapport HTML) ; un PV pour le client reste à rédiger. [1] | Selon la plateforme : à vérifier dans sa documentation. | PV de recette en PDF et rapport en langage client, à la marque de l'agence, partagés par un lien protégé et expirant. |
| Accessibilité | Possible si la personne connaît les critères. Le jugement humain reste indispensable pour une partie des vérifications. [10] [11] | Possible en ajoutant un moteur de contrôle. Les tests automatiques détectent certains problèmes courants ; beaucoup ne se découvrent que par un test manuel. [4] | Selon la plateforme. Aucun outil ne peut vérifier automatiquement tous les aspects de l'accessibilité. [10] | Contrôles automatiques partiels : chaque défaut trouvé est relié aux critères WCAG 2.2 et RGAA 4.1 qu'il touche. Ce n'est pas un audit RGAA. |
| Coût | Pas de licence : le coût est le temps passé, à chaque recette. | Projets libres et gratuits (licences Apache-2.0 pour Playwright et Selenium, MIT pour Cypress) ; le coût est le temps de développement et l'exécution des tests. [3] [5] [6] [9] | Abonnement, selon le modèle de prix de chaque éditeur. | 29 € HT par mois (Solo) ou 79 € HT par mois (Équipe) ; essai de 14 jours sans carte bancaire. |
| Maintenance | Tenir la liste à jour quand le site change, et repasser chaque vérification à la main. | Le code des tests suit les évolutions du site et se maintient comme tout code. | La plateforme est maintenue par son éditeur ; vos scénarios restent à tenir à jour. | Le logiciel est maintenu par Avalyz. Quand un sélecteur d'un parcours ne trouve plus son élément, une réparation est proposée, appliquée seulement si vous la confirmez. |
Que choisir ?
- La recette manuelle reste nécessaire pour ce qui demande un jugement : contenus, ergonomie, audit d'accessibilité.
- Un framework à coder convient à une équipe de développement qui veut maîtriser chaque test dans son propre code et sa propre chaîne.
- Une plateforme générique convient quand le besoin est une surveillance ou des tests sans livrable de recette pour un client.
- Avalyz vise la recette répétée de sites livrés à des clients, avec un rapport et un PV à remettre.
- Ces approches se combinent : Avalyz ne remplace ni la recette humaine ni des tests codés par votre équipe.
Ce qu'Avalyz ne fait pas
- Pas d'audit RGAA complet : les contrôles automatiques sont partiels, la conformité se vérifie par un audit humain.
- Pas de test d'application mobile native (iOS, Android) : Avalyz teste des pages web, sur ordinateur et à la taille d'un téléphone.
- Le test standard est en lecture seule : il ne soumet aucun formulaire et s'arrête à 6 pages.
- Pas de prestation : ni recette, ni conseil réalisés par une personne.
Sources
- Playwright — documentation officielle, « Installation » (navigateurs, émulation mobile, Node.js, rapport HTML) — https://playwright.dev/docs/intro, .
- Playwright — site officiel (langages : TypeScript, JavaScript, Python, .NET, Java) — https://playwright.dev/, .
- Playwright — licence du dépôt officiel (Apache-2.0) — https://github.com/microsoft/playwright/blob/main/LICENSE, .
- Playwright — documentation officielle, « Accessibility testing » — https://playwright.dev/docs/accessibility-testing, .
- Cypress — documentation officielle, « Why Cypress? » — https://docs.cypress.io/app/get-started/why-cypress, .
- Cypress — licence du dépôt officiel (MIT) — https://github.com/cypress-io/cypress/blob/develop/LICENSE, .
- Selenium — documentation officielle, « The Selenium Browser Automation Project » — https://www.selenium.dev/documentation/, .
- Selenium — documentation officielle, installation des bibliothèques par langage — https://www.selenium.dev/documentation/webdriver/getting_started/install_library/, .
- Selenium — licence du dépôt officiel (Apache-2.0) — https://github.com/SeleniumHQ/selenium/blob/trunk/LICENSE, .
- W3C WAI — « Selecting Web Accessibility Evaluation Tools » — https://www.w3.org/WAI/test-evaluate/tools/selecting/, .
- DINUM — RGAA, « Critères et tests » (méthodologie de test) — https://accessibilite.numerique.gouv.fr/methode/criteres-et-tests/, .