TEST – Chatbot souscription assurance MACSF

Avatar Thomas Maitre
12 décembre 2018

Quoiqu’en disent les médias, internet et les divers influenceurs sur Linkedin, il y a finalement assez peu de chatbots en production qu’on peut tester librement. 

Alors quand une entreprise en annonce un, je le teste 😉. Surtout quand c’est sur un domaine qu’on maîtrise parfaitement, la gestion de process. Et en particulier ici sur la souscription à une assurance (responsabilité civile).
 

Pourquoi ? Tout simplement pour voir comment on se situe par rapport au marché. Et accumuler des billes pour expliquer notre techno !


Résumé du projet


Selon Ségolène de Dianous, directrice marketing de la mutuelle, l’objectif de ce chatbot est de proposer le service là où sa cible est le plus, à savoir Facebook Messenger. 

En effet les messageries instantanées, avec en tête Facebook Messenger pour l’Occident, sont les outils numériques les plus consultés et utilisés sur cette planète.

Le but est donc de permettre aux étudiants en médecine de souscrire à une assurance responsabilité civile directement depuis Facebook Messenger 👌. 

Deux éléments ont fait – je pense – qu’ils ont pu se lancer rapidement (et avec une techno aussi faible) dans ce projet : 

  1. La RCP est standard et gratuite pour tous les étudiants en médecine, donc 0 complexité sur la découverte de l’offre ni sur les tarifs proposés (1 seule offre, 1 seul prix, 1 seul contrat, mêmes couvertures,…)
  2. La MACSF prend déjà des souscriptions en ligne, ils ont déjà donc une organisation (SI ou RH ou les deux) capable de gérer ce genre de sujet.


Entrée en matière – 7/10

Test assurance vie

Belle entrée en matière pour ce chatbot, que j’imagine avoir été piloté par une agence de com’. 

Pourquoi ? Par ce que la présentation et le contenu du robot sont vraiment bien :

  • logo sympa,
  • nom bien trouvé,
  • introduction claire,
  • utilisation d’emoji
  • utilisation de GIF (qui ne marchent pas très bien d’ailleurs en l’occurence, si vous n’avez pas un réseau de la mort qui tue)


Le bot affiche clairement ce qu’il s’ait faire et le parcours est bien guidé au départ.


Process – 1/10


Aïe aïe aïe … J’en suis désolé, mais la gestion du process de souscription est horrible 😭. 

C’est le genre de chatbot qui dessert la profession, et qui rend notre job super compliqué quand on doit défendre une vraie techno de chatbot, capable de gérer des conversations multi-modale par du machine learning. 

Ce chatbot est totalement scripté, ce qui en soit n’est pas gênant. On peut faire des bons chatbots scriptés (cf Jam).

Mais là il n’y a vraiment aucune intelligence, aucune vérifications, aucune logique un tant soit peu souple. Rien !!!

Exemple 1 – Ici on me demande une date de naissance sans vérifier la date (j’ai mis 9876 en année). On me demande un numéro de mobile, je mets un numéro de fixe clairement faux, aucune vérification non plus.

Chatbot MACSF


Exemple 2 – Là on me demande ma spécialisation, on me met une liste de trucs et je dois taper le numéro pour choisir… Mon dieu on se croirait avec Grégoire Margotton à la 30ème minute d’un match de l’équipe de France (Qui a ouvert le score ? Pour Griezmann tapez 1, Giroud tapez 2…). Carton rouge direct pour ce genre d’interface.

chatbot MACSF


Exemple 3 – bel effort fait pour retrouver les établissements en fonction du département. Mais deuxième carton rouge pour le choix par numéro.

Test chatbot


Autre truc terrible : une fois que vous rentrez dans le process, vous ne pouvez pas poser une question. Aucune. Impossible de sortir du process pour une raison ou pour une autre. 

Dernier élément troublant, à la toute fin au niveau de la validation :

Le chatbot nous demande de valider les conditions générales, et en même de s’abonner à la newsletter ou autre de la MACSF

Ici voici la conversation. Je ne peux pas accepter les conditions générales et refuser l’inscription aux offres…

assurance vie
ChatDoc MACSF


Compréhension du langage naturel (NLU) – 5/10

chatbot MACSF


Une fois le process terminé, j’ai commencé à jouer avec la NLU déjà pour voir si y en avait une et aussi pour voir comment c’était géré. 

Le nombre de sujets est assez restreint (je dirais pas plus d’une vingtaine) et je ne suis pas certain qu’il s’agisse de NLU (mots-clés peut-être, à confirmer).
 

Sur ces peu de sujets le bot répond bien (gratuité, qui est MACSF, …). Il répond aussi à quelques sujets de small talk (ça va ? …).

En revanche, dès que je pose une question, on me demande à chaque fois si je veux souscrire !!!

Alors que j’ai déjà souscrit. 

Le robot semble donc n’avoir aucune mémoire, et répète bêtement la même chose constamment ce qui nuit à l’expérience globale.


Conclusion et note finale – 4,3 / 10


La note assez basse malheureusement 😢

Dans une industrie naissante comme la nôtre, je préférerai donner des 10 à tout le monde.

Plus nos concurrents et leurs clients font des bots cools, plus ça aide l’industrie à grandir. 

Au-delà de ça, c’est tout de même une belle tentative au niveau de l’industrie des assureurs. L’objectif premier de Ségolène de Dianous est rempli : les étudiants en médecine peuvent, s’ils suivent bien le process, souscrire à une assurance RCP depuis Messenger. 

Ce qui compte beaucoup plus que ma note (qui n’engage que moi d’ailleurs), ce sont les statistiques d’usage du bot (nombre d’utilisateurs, nombre de process démarrés, taux de conversion, etc…). Je vais essayer de me renseigner sur le sujet et je ferai un edit de ce post. 

Dans tous les cas le robot peut être optimisé en étoffant la NLU, et en utilisant une technologie capable de gérer des process de façon souple (mémoire, reprise de contexte) et moins scripté (ou mieux scripté). 



Retrouvez ce test en PDF ici.

À la pointe de l'actu

Notre blog