Démystification du "Big Data" pour le marketing et le e-commerce

Le "Big Data" est le buzz word du moment. Loin des nombreux articles et infographies tendances, je vous propose une brève pause pour mieux comprendre le sujet et être dans le coup lors de votre prochaine discussion sur le BigData autour de la machine à café.

Le Big Data est un concept assez global avec des contours un peu flous, dont on pourrait retenir la définition suivante:

Le BigData est un ensemble d’algorithmes et d’outils non classiques qui rendent possibles le stockage, l'analyse et la visualisation de quantités très importantes (tera/peta/exa-octets) de données non structurées ou mixtes au moyen de centaines ou de milliers de machines travaillant en parallèle.

Jusque là, le Big Data s’applique à de nombreux secteurs, tout secteur récoltant beaucoup de données dont l’analyse permet de piloter son activité. Centrons-nous maintenant sur notre thème favori, le marketing, le commerce retail et le commerce digital.

Pour comprendre le concept, il faut déjà observer l'environnement dans lequel il est né.

Des données toujours plus nombreuses
L'explosion des usages digitaux sur des canaux plus nombreux et par des consommateurs toujours plus nombreux, mais aussi l'augmentation du nombre des objets connectés font exploser le nombre des données collectées.
D'autant que le coût du stockage est lui en forte baisse (divisé par 10'000 en 10 ans !).
Résultat, 90% des données dans le monde on été créées ces deux dernières années.

Des données très hétérogènes
On estime 10% de données structurées contre 90% de données non structurées!
Fichiers de logs de sites internet, mobiles, TV connectée, données de webanalytics, données de géolocalisation, données des médias sociaux, puces RFID (NFC)... Toutes ces données contiennent des informations précieuses sur le comportement des consommateurs, qu'ils soient vos clients ou vos prospects... et sont pour l'immense majorité inexploitées.

Des capacités de traitement accrues
L'amélioration simultanée des algorithmes et des puissances de calculs, l'avènement de technos comme NoSQL, Complex Event Processing, Grid Computing (etc...) et surtout MapReduce, un méta-algorithme de parallélisation (ré-)inventé par Google en 2004.

L'avènement du cloud computing
Permettant de déporter des traitements sur un grand nombre de machines virtuelles sans pour autant les posséder et même se soucier de leur localisation. Dans son mode PAAS, le Cloud permet donc de lancer ponctuellement des traitements en ne payant que la puissance consommée et non l'intégralité des machines.

Des besoins marketing plus fins et importants
L'ère de la diffusion unidirectionnelle de messages marketing est révolue et les quelques médias qui résistent à la digitalisation y passeront bientôt avec l'arrivée de la TV connecté, de la presse digitalisée, des radios en streaming, ...
Ces médias digitaux nous ont fait entrer dans une ère marketing de l'interaction et de la personnalisation, avec la nécessité de ne plus segmenter par des stéréotypes révolus type CSP mais par des segments bien plus complexes et pertinents notamment basés sur les comportements et les affinités.
Cette révolution du marketing nécessite des analyses de données de plus en plus nombreuses, et de plus en plus "en temps réel".

Et du coup...
Après avoir fait ses preuves chez les grands acteurs du web : Google, Facebook, Yahoo, Twitter,… le BigData devient aujourd’hui plus largement accessible (mais néanmoins assez coûteux) par l'arrivée sur le marché de solutions éditeur ou notamment grâce au framework Open Source Hadoop de la fondation Apache (open source mais pas gratuit).

A noter
En comparaison avec les bases de données traditionnelles, le Big Data privilégie la rapidité et fait des compromis sur l’intégrité transactionnelle.
Et pour les données non structurées, rien de magique, il exige de créer des applications de traitement spécifiques pour chaque jeu de données non structurées.

L'illusion d'une promesse facile, d'un miracle à portée de doigts
Si le BigData apporte donc la promesse de trouver ce que l'on cherche parmi cette multitude d'informations trop volumineuses et non structurées, il n'apporte aucune innovation conceptuelle dans l’analyse des données.
Quelle que soit la solution, la construction de jobs et de requêtes est loin d’être triviale, aussi bien pour les développeurs que pour les analystes.
Cela nécessite une très bonne compréhension de la solution informatique utilisée, des structures de données concernées mais enfin et surtout, il est nécessaire de savoir ce que l'on cherche pour le trouver ! Et il faudra s'en donner les moyens !