Ne confondez plus crowdtesting et bêta-testing
«Le crowdtesting… c’est un peu la même chose que le bêta-testing au fond, non ? C’est un nouveau terme pour désigner une pratique déjà ancienne ? »
Faux !
Premièrement, certes le crowdtesting est plus récent que le bêta-testing, mais c’est tout de même une pratique qui existe depuis déjà une dizaine d’années et a atteint un certain niveau de maturité.
Deuxièmement, chacune de ces deux pratiques a ses codes et ses objectifs. Pour sortir du flou, plongeons-nous dans les définitions !
Une définition du bêta-testing
Dans le glossaire daté de 2015, ISTQB définit le bêta-testing comme suit :
Tests opérationnels par des utilisateurs/clients potentiels et/ou réels sur un site externe non associé aux développeurs, pour déterminer si un composant ou système satisfait ou non les besoins des utilisateurs/clients et s’adaptent aux processus d’entreprise. Le bêta-test est souvent utilisé comme une forme de tests externe d’acceptation de façon à obtenir des informations de retour du marché.
Pourquoi bêta… parce qu’il y a un alpha, évidemment ! Les alpha tests étant définis comme suit dans le même glossaire :
Test opérationnel réel ou simulé par des utilisateurs/clients potentiels ou par une équipe de test indépendante sur le site de développement, mais en dehors de l’organisation de développement. Les tests Alpha sont souvent utilisés comme une forme de tests d’acceptation interne.
NB: toutes les définitions du glossaire de l’ISTQB peuvent être retrouvées dans le Dictionnaire du testeur.
Une définition du crowdtesting
Quant au crowdtesting, il est absent de ce glossaire, en revanche il est possible de trouver des définitions qui ne soient pas issues des plateformes elles-mêmes, et sont donc réputées impartiales.
Dans How Google Tests Software (à découvrir ici), James Whittaker en donne la définition suivante :
Le crowdsourcing […] représente une solution au fait que le nombre des testeurs soit limité, de même que leurs ressources matérielles à leur disposition. Les utilisateurs sont quant à eux très nombreux et possèdent tous les environnements qu’on pourrait avoir envie de tester. Et si une sous-population de ces utilisateurs était d’accord pour nous aider ? Ainsi la foule entre-t-elle en scène : une cohorte d’utilisateurs clés, férus de tests, et qui souhaitent donner un coup de main en échange d’une rémunération raisonnable. Ils n’ont besoin que d’un environnement de pré-production pour exécuter l’application à tester, et d’un mécanisme pour fournir leurs retours et leurs rapports d’anomalies. […]La foule représente non seulement un grand nombre de machines et de configurations, mais aussi un volume important de perspectives différentes. Au lieu d’avoir un testeur qui essaie de deviner comment mille utilisateurs vont se comporter, on a mille utilisateurs qui se comportent comme des testeurs. Quoi de mieux, quand on souhaite connaître le comportement qu’auront les utilisateurs finaux, que de compiler directement les retours d’utilisateurs réels ? On a besoin de changer d’échelle et démultiplier les variations, et ça, la foule le permet. (p. 107, traduction Hightest).
En théorie, des objectifs initiaux différents
En comparant ces deux définitions, on voit bien où se situe la différence d’objectifs.
Les crowdtesteurs sont là pour décupler les capacités de l’équipe de test, alors que les bêta-testeurs sont là pour fournir un retour réaliste sur l’acceptabilité du produit. En résumé, on se situe dans deux niveaux différents de la pyramide des types de test : le bêta-testing concerne les tests métier, alors que le crowdtesting se focalise sur les tests système.
Il est ainsi courant que les crowdtesteurs soient guidés dans leurs tests afin d’assurer la meilleure couverture des tests: des plans de test et des cas de test peuvent leur être fournis.
Inversement, il est courant que l’applicatif à tester soit tout bonnement livré en pâture aux bêta-testeurs, dans l’objectif d’observer leurs comportements dépourvus des biais que pourraient induire des consignes et des documentations.
Historiquement, les populations ne sont pas tout à fait les mêmes non plus. Parmi les crowdtesters, on trouve une proportion de testeurs professionnels généralement supérieure à celle que l’on peut trouver dans un contexte de bêta-testing. Bon nombre d’aspirants-testeurs ou de testeurs débutants choisissent de se lancer dans le crowdtesting pour faire leurs premières armes; on retrouve également des testeurs plus expérimentés souhaitant développer leur culture fonctionnelle ou s’amuser à manipuler de nouveaux produits.
Sur le papier, il y a donc une frontière assez claire entre crowdtesting et bêta-testing. En pratique toutefois, il est vrai qu’il existe des recoupements !
En pratique, un métissage des usages
Arrive-t-il aux bêta-testeurs de remonter des anomalies de même que les testeurs au cours des tests système ? Oui.
Arrive-t-il aux crowdtesteurs de fournir des retours en tant qu’utilisateurs potentiels ? Oui aussi.
Il y a un continuum entre les retours que l’on peut obtenir entre les bêta-testeurs et les crowdtesteurs.
Choisissez donc l’une ou l’autre des ces pratiques en connaissance de cause (quel est votre besoin premier : trouver un maximum d’anomalies ou obtenir un maximum d’avis utilisateurs?) tout en gardant à l’esprit que chacune d’elle pourra vous fournir une partie de ce que l’autre vous offrira.
Bons tests !
