L'IA nous tient à l'oeil

En plein milieu de la nuit, vous entrez dans un magasin. Pas de vendeur, pas de caisse, vous passez les portes simplement en scannant votre téléphone à une borne. Dans les rayons, vous scannez les produits, avant de payer via votre téléphone et de partir... sans vous retourner. C'était la promesse de "4 Casino" , le concept-store parisien du Groupe Casino, ouvert le 3 octobre 2018. Et ce parcours client inédit, on le doit à l'intelligence artificielle, et plus particulièrement aux capacités de reconnaissance visuelle de celle-ci.

Retail : la star, c'est le produit

150 caméras couplées à l'IA de XXII Group ont été déployées, non pas pour facturer les produits, mais pour s'assurer que les noctambules n'emportent pas des produits non scannés avec eux. "Le client identifie les produits en les scannant, l'IA se contente de les compter, tout en suivant le parcours du client depuis son entrée. Reconnaître les produits n'est pas encore un usage mature à grande échelle. Amazon y arrive car il n'a que quelques centaines de produits dans ses magasins, contre 6 000 chez nous, et utilise des technologies complémentaires comme le RFID ou les boutons-poussoirs sous les produits", tempère Martin Calmels, Head of Innovation du Groupe Casino.

"Si les 750 grammes de bananes que vous essayez de passer ressemblent à une bouteille de whisky, on peut déjà le détecter " Axel Mery (Fujitsu France)

Au rayon des usages innovants de la reconnaissance visuelle dans le retail, la lutte contre la fraude s'impose ainsi en tête de gondole. "Le comptage des personnes et le mapping des zones chaudes sont assez matures et nous travaillons désormais sur la fraude au poids sur les caisses de self-checkout. Elle coûte en moyenne 25 euros par jour et par caisse aux enseignes... Si les 750 grammes de bananes que vous essayez de passer ressemblent à une bouteille de whisky, on peut déjà le détecter et signaler un problème, explique Axel Mery, CTO de Fujitsu France. La prochaine étape est de reconnaître un produit exact. Nous y arrivons sur quelques centaines de produits, mais nous estimons qu'il faut dépasser les 300 pour pouvoir entrer en production. Quant aux 300 000 références que vendent les enseignes en magasin... Il faudrait enregistrer les nouvelles références au fil de l'eau pour que la constitution d'une base de données soit indolore", explique-t-il, avant d'évoquer le prochain test mené en magasin cet hiver : reconnaître 15 différents produits, afin de préparer la caisse en libre-service du futur.

En attendant, Fujitsu fait reconnaître à son IA d'autres "produits" , un peu particuliers : "Dans des stations-service, nous arrivons désormais à identifier la marque d'un véhicule. Et bientôt, nous pourrons déterminer précisément le modèle. Imaginons que nous identifions une recrudescence de grosses cylindrées allemandes sur une station le samedi matin. Notre client pourra par exemple pousser des publicités pour des services additionnels comme le lavage auto. " Les caméras de surveillance deviennent ainsi un centre de profit, d'autant plus si le retailer partage ces données avec les marques...

Photo, vidéo : l'IA crève l'écran

Car la grande distribution n'est pas la seule à s'intéresser à la reconnaissance des produits, comme l'explique Michael Miramond, vice-président et Head of Retail, Luxury et Consumer Products chez IBM. Là encore, la fraude est évoquée : "Grâce à une technologie optique poussée, nous entraînons l'IA à observer la matière et à détecter si un produit est faux. Mais l'apprentissage demande du temps et a un coût... Parmi les usages plus matures, nous avons récemment entraîné notre IA à reconnaître des vêtements." Silhouette, couleur, tissu, mais aussi le type des manches ou du col. Couplée à de l'analyse sémantique pour voir ce qu'en disent les gens, elle aide les acheteurs et les designers des clients d'IBM dans le luxe à anticiper les tendances et donc leurs futures collections. "On peut aussi imaginer un consommateur prendre en photo une tenue et rechercher des produits similaires sur les sites des marques."

"On sait reconnaître un setter irlandais dans une image. C'est plus délicat quand il faut en reconnaître 100 000, dans un million d'images !" Guilhem Fouetillou (Linkfluence)

De quoi inspirer les GAFA, qui lorgnent sur le potentiel du "shopping visuel". Outre Google Lens, intégré progressivement à l'ensemble des smartphones sous Android, Amazon et Snapchat se sont associés en septembre pour créer outre-Atlantique le "Shazam" du shopping : prenez en photo un produit via Snapchat. S'il est reconnu et en vente chez l'e-commerçant, sa page s'ouvre automatiquement. Mais les GAFA partent avec un avantage considérable sur ces questions. C'est ce qu'explique Guilhem Fouetillou, fondateur de Linkfluence, qui a levé 18 millions d'euros l'an passé. Si l'IA lui sert principalement à traiter le nombre croissant de données sociales, la reconnaissance visuelle est utilisée pour détecter entre autres les marques ou leurs produits dans les images publiées. "Nous passons en revue 250 millions de textes et de visuels chaque jour et pour chaque image, il faut identifier la marque, le produit, le contexte et l'émotion qui l'entourent. Le coût du stockage et du calcul, sans oublier le coût humain pour gérer ces infrastructures devient vite énorme ! Et ne faites pas attention au taux d'erreur. Techniquement, on peut régler l'IA à 99 % de réussite, mais alors elle ne laissera plus rien passer. Dans notre cas, il vaut mieux avoir un peu de bruit, que seulement du silence. Ce n'est pas la technologie qui nous limite, c'est l'échelle et l'accès aux data. En faisant des millions d'appels aux serveurs de YouTube ou de Facebook chaque jour, vous prenez aussi le risque d'être blacklisté."

Une problématique qui ne concerne pas un acteur comme M6. Sur 6play, la chaîne vient de dévoiler une nouvelle offre basée sur la reconnaissance visuelle à l'occasion des CGV 2019. "Nous utilisons l'IA pour reconnaître quand une scène se passe dans une cuisine ou une salle de bain, ou encore que les personnages font du sport, ou qu'il pleut, et ainsi proposer par exemple à Decathlon d'apparaître après une épreuve de vélo dans Pékin Express", explique Guillaume Charles, DGA en charge du marketing, du digital et des études chez M6 Publicité. M6 poursuit ainsi les efforts entamés l'an dernier en matière de contextualisation via l'analyse sémantique de ses sous-titres, qui lui avait permis de constituer un "inventaire émotionnel" pour que les annonceurs puissent se positionner sur des coupures publicitaires en fonction de l'ambiance de la scène qui les précède (moment de joie, tristesse, peur, colère...).

Les émotions, pas les visages

C'est l'autre grande attente qui pèse sur la reconnaissance visuelle : l'étude des visages. Ne zoomez pas trop vite sur la reconnaissance faciale, la législation limite fortement les possibilités de reconnaître quelqu'un en le filmant à son insu. C'est ici l'étude des réactions d'une personne confrontée à un stimulus publicitaire ou non, qui est dans le viseur des marketeurs. "On a besoin de 60 images d'une personne pour reconnaître son visage sans erreur, mais pour les émotions, c'est plus difficile. Le data set est suffisant en matière d'analyse sémantique, mais côté visuel, chacun peut exprimer une émotion différemment et il faudrait alors des milliers de photos pour y arriver" , se désespère Guilhem Fouetillou.

L'IA pas prête pour les émotions ? À première vue seulement : "Les froncements des sourcils, les commissures aux lèvres ou encore les narines dilatées... l'IA est capable de reconnaître les micro-expressions du visage qui nous sont universelles, et les rattacher à une émotion avec environ 80% de fiabilité. C'est le facial coding", explique Anne-Marie Gaultier. L'ex-CMO des Galeries Lafayette préside Datakalab, start-up qui se base sur les travaux du psychologue Paul Ekman et collabore notamment avec IBM pour réaliser une cartographie émotionnelle du visage. "Avec le RGPD, on doit passer par des panels de volontaires que nous filmons via leur webcam. Nous diffusons des pubs ou observons simplement leurs réactions lors de leur navigation sur des sites comme ceux de Vente-privée ou Monoprix, et pouvons ensuite réaliser une timeline émotionnelle. Nous pouvons aussi le faire à plus grande échelle lors d'événements filmés. Nous avons déjà analysé 25 conférences par exemple."

Parmi ces conférences, citons celle organisée par Exterion Media en juin dernier. "L'objectif était de mesurer l'engagement émotionnel des collaborateurs, explique Clotilde Kervella, Head of Projects and Digital Transformation d'Exterion Media France. Le télétravail, les initiatives RSE ou encore la montée sur scène de certains d'entre eux ont ainsi provoqué les réactions les plus fortes". Désormais, les deux solutions travaillent sur des cas comme l'A/B testing de publicité pour évaluer les créations les plus impactantes. De là à imaginer un jour le test en conditions réelles des campagnes menées par l'afficheur ? "Bientôt j'espère, mais notre réseau est principalement outdoor et proche des axes routiers, ce qui rend difficile une telle utilisation pour l'instant. "

Des barrières en train d'être levées

Mais que les acteurs de l'indoor ne se réjouissent pas trop vite : "L'équipement en caméra reste encore insuffisant pour suivre une personne sur l'ensemble d'un parcours. Il y a aussi des problèmes liés aux angles des caméras de surveillance déjà installées, qui placées en hauteur déforment les visages et rendent plus difficile l'analyse. Nous sommes confrontés au même problème sur smartphone, où l'on veut se développer", confie Anne-Marie Gaultier. En ce sens, la maturité pourrait à nouveau être aperçue du côté de la lutte contre la fraude. Herta Security, NEC ou AnyVision... Ces start-up issues du monde de la vidéosurveillance s'attaquent aujourd'hui à des marchés comme celui du retail.

Les israéliens d'AnyVision ont ainsi levé 28 millions d'euros cet été, principalement auprès de l'équipementier Bosch, sur la base d'une technologie qui revendique régler les problèmes cités ci-dessus. Ils offrent aussi une plateforme d'analytics des données visuelles grâce au deep learning qui leur a permis de signer un accord avec le gestionnaire du Stade Olympique de Londres pour remplacer le contrôle des billets par la reconnaissance faciale. Reste à trouver un moyen pour ces usages d'entrer dans le cadre législatif, et plus généralement d'intégrer les données visuelles florissantes à l'ensemble des données exploitées par les entreprises.