Bêta tester les nouveaux services digitaux : les éléments clés – 2/4

Bêta tester les nouveaux services digitaux : les éléments clés – 2/4

Du point de vue de la société qui souhaite lancer un bêta test, on peut distinguer des attentes à court et à long termes.

Quelles sont les attentes d’une phase bêta ?

Les attentes à court terme : les quickwins

Une phase bêta va générer beaucoup de commentaires en retour. En principe, ils sont pertinents et constructifs. Il est indispensable d’avoir un canal de communication qui fonctionne bien avec les testeurs et un système pratique pour les rapports de bugs.

Les commentaires reçus doivent être collectés, évalués et traités. Généralement les derniers bugs mineurs qui n’auraient pas été corrigés lors de la phase de recette sont identifiés très rapidement par les testeurs, il s’agit surtout des améliorations qui sont liées à l’affichage du site et dans une moindre mesure, sur les fonctionnalités. Ces modifications font partie des « quick wins », des gains rapides que d’une phase bêta peut fournir. Par exemple, il n’avait pas été défini de moyen de communication dédié dans les situations critiques entre le PMU et son partenaire gérant les risques, une soirée livebetting durant la phase bêta a fait émerger le besoin vital de mettre en place un téléphone rouge disponible 24h/24.

Un autre atout de la phase bêta à court terme est qu’il peut fournir le même environnement, expérience en tant que conditions de vie réelles.

Les attentes à long terme : les futures évolutions du produit et de sa commercialisation

Elles sont multiples :

  • Augmenter la qualité du produit par l’identification d’erreurs (conception, usages envisagés, marketing…) ;
  • Enrichir les futures versions du produit en identifiant les points d’amélioration en moyen terme : nouvelles fonctionnalités dans l’expérience de vente mais aussi dans le SAV, dans l’utilisation du produit en lui-même…
  • Fournir une meilleure compréhension du marché cible ;
  • Et parfois, comme une cerise sur le gâteau, les clients font émerger d’eux-mêmes des usages non prévus du service par le marketing produit. Par exemple, préparer un achat immobilier en regardant les vis-à-vis potentiels d’un appartement devient un jeu d’enfant avec Google Streetview.

Par exemple, lors de la bêta de son service innovant de réservation de train, l’objectif du site Capitaine Train était que le site atteigne une qualité suffisante pour pouvoir l’ouvrir au public. Lorsqu’il a été atteint, le site est passé en production.

Définir le degré d’ouverture de la bêta et recruter les testeurs

La phase de préparation devient incontournable et implique de faire des choix, notamment sur les participants lors du recrutement. Le service en version bêta est soit disponible à tout le monde pour les tests (c’est ce qu’on appelle une phase bêta ouverte – les testeurs sont volontaires, la bêta récente de Capitaine Train demandait juste de s’inscrire sur le site) soit à un groupe contrôlé et fermé de testeurs (c’est la phase bêta fermée – le recrutement des testeurs est basé sur invitation, les testeurs sont volontaires mais triés sur le volet, à l’image de Spotify qui a lancé une bêta fermée en mars 2013 à ses propres clients anglais pour tester la version web de leur application musicale).

De toutes les données créées pendant cette phase (compte clients, interactions, achats, utilisation du service…), doit on en garder certaines ? Il est indispensable de choisir si la bêta est jetable ou non jetable. Derrière ces termes abrupts se situe un choix tactique fort pour l’entreprise car les moyens sont très différents :

Une phase bêta jetable offrira un bac à sable, selon l’expression chère aux développeurs, à l’entreprise et aux testeurs, qui permet de lever un certains nombre de contraintes : pas de reprise des données dans les systèmes en production, qualité des données récoltées moins importante pendant la bêta, pas de prise en compte des données comptables dans le SI, sans compter les contraintes réglementaires s’il y en a. De plus, une phase bêta jetable peut être opérée sur des systèmes de préproduction, et ainsi ne pas gêner la production en cours.

Une phase bêta non jetable impliquera une préparation accrue, notamment car elle se jouera sur des systèmes en production : tous les nouveaux clients créés lors de la phase bêta devront intégrer le référentiel client et les flux comptables prendre en compte le nouveau service alors qu’il n’est pas lancé officiellement, …

Le nombre nécessaire de testeurs dépend de la taille du projet, un minimum de 10 personnes est nécessaire pour exécuter les scénarios préparés. Dans le cas des produits de consommation qui sont censés avoir un très large public (ex. jeux vidéo), le nombre minimum de testeurs devraient être entre 50 et 200. Parfois, ce nombre peut atteindre des milliers, par exemple : Starcraft 2, le jeu vidéo de Blizzard, avait plus de 20 000 testeurs actifs. Lors du lancement des paris sportifs sur internet par le PMU, 150 bêta testeurs ont été recrutés parmi les collaborateurs, sur 2 mois. Capitaine train a géré 22 000 bêta testeurs pendant 18 mois.

Dans le cas d’une bêta ouverte, le taux de réponses obtenues en termes de participation et d’utilisation réelle d’un programme de bêta varie largement selon plusieurs facteurs, notamment :

  • Si le produit est complètement nouveau ou selon sa popularité ;
  • Si le produit ou service est fortement attendu ;
  • La popularité de l’entreprise (bien connue ou inconnue), et de la capacité de ses réseaux à faire connaitre le nouveau service (notamment via les réseaux sociaux) ;
  • L’approche de recrutement (l’approche est-elle assez convaincante et personnelle ?) ;
  • L’implication des testeurs : combien de temps et d’efforts le testeur devra t-il fournir lors de la phase bêta ?
  • L’incentive : que gagne le testeur en retour ? Quelle est la reconnaissance de l’entreprise dans sa participation ?

Les activités et les phases principales de la phase Bêta

La phase pilote elle-même peut être divisée en trois phases différentes : la préparation, la réalisation et le bilan des résultats. Activité et étapes de la phase bêta

Phase de préparation

L’un des éléments clés de la réussite de la phase de préparation est d’avoir le cadre, les objectifs, les prévisions et les scénarios (best case/worst case) de tests bien définis. Tous les besoins du test doivent être listés au début de la phase (matériel/RH/outils/process).
Les rôles spécifiques prévus pour les testeurs doivent également être décrits, communiqués et compris.

Les résultats de la phase bêta doivent être mesurables et quantifiables. L’un des meilleurs moyens de procéder est de définir en amont les indicateurs clés de performance (KPI) de la phase pilote. Les KPIs peuvent être les suivants :

  • Le nombre de bêta testeurs invités qui ont ouvert l’email d’invitation vs envoi (le taux d’ouverture) ;
  • Le nombre de testeurs qui se sont inscrits vs envoi (le taux de transformation) ;
  • Le nombre de bêta testeurs invités ayant fait des commentaires vs le nombre total ;
  • Le nombre d’anomalies constatées et leur gravité (mineure, moyenne, importante, bloquante) ;
  • Le nombre de scénarios joués ;
  • Le nombre moyen de feedbacks par scenario ;

Lire aussi

Ecrire un commentaire

* Name, Email, Comment are Required