m2ocity, opérateur télécoms spécialiste des télérelevés a choisi Talend ESB pour équiper les villes de France

Grâce à Talend ESB, les données détaillées des capteurs d'eau et d'environnement sont livrées aux clients sans délai
Nous ne nous attendions pas à faire si vite et si bien. Nous n'avons rencontré aucun problème, et l'outil est si efficace que nous avons déjà installé 1,6 million de compteurs, ce qui couvre la quasi-totalité de la France. Il s'agit essentiellement de données relatives à l'eau, mais aussi électricité, carburants, gaz, environnement, pression, humidité, etc. Et aujourd'hui toutes ces données sont gérées par Talend.
Xavier Diab, DSI chez m2ocity

Contexte

m2ocity, opérateur français spécialisé dans le télérelevé des compteurs d'eau et la collecte des données environnementales a été créé en 2011. Il est le résultat d'une joint venture entre les sociétés Orange (géant européen des télécoms) et Veolia Eau (spécialiste de la gestion du cycle de l'eau). En plus du relevé des compteurs d'eau, m2ocity collecte des données provenant de capteurs environnementaux (bruit et pollution, par exemple).

La gestion de l'eau est un problème sérieux dans de nombreux pays, y compris en France : chaque année, 1 300 milliards de litres d'eau potable (soit 20 % de l'approvisionnement total en eau) sont perdus pour cause de fuites dans les canalisations du pays. En réaction, la France s'est fixée des objectifs de durabilité en mettant l'accent sur l'importance d'une gestion intelligente de l'eau. L'objectif est de ramener ce gaspillage à 15 % ou moins, et m2ocity est en train de s'imposer comme l'un des leaders de cette initiative.

Pour son premier projet, m2ocity a choisi Paris. La société envisage de collecter les données émises sur les 500 000 compteurs en cours d'installation à travers la ville (quand m2ocity a commencé son opération en 2011, ce réseau n'en comptait que 10 000). En moins de trois ans, la société s'est considérablement développée. Elle gère aujourd'hui 1,6 million d'objets intelligents. Elle se concentre désormais sur la collecte des données et leur diffusion à ses clients – ce qui nous amène à parler de son plus grand défi.

Défi

En 2014, m2ocity continuait à s'appuyer sur l'expertise et la technologie de Veolia et d'Orange, mais cette dépendance ne lui convenait plus : les données ne cessaient de s'accumuler et la société avait besoin d'une puissance de traitement supérieure. Veolia n'était pas prêt à répondre aux besoins de m2ocity : la société rencontrait ses propres problèmes organisationnels et budgétaires et elle souhaitait leur donner la priorité.

Les données provenant du réseau télécoms étaient livrées à Veolia et Veolia les traitait dans sa solution Oracle Utilities Meter Data Management. Les clients de m2ocity à Paris se plaignaient de ne pas recevoir leurs données, mais contrairement à ce qu'ils pensaient, ce n'était pas pour des problèmes de réseau : c'était tout simplement Veolia qui était confronté à des volumes de données trop élevés. Cette situation a créé quelques tensions avec les clients de m2ocity, et la société a souhaité y mettre fin. Les responsables de m2ocity en ont conclu que, pour proposer ses services plus rapidement, être plus réactive, répondre plus efficacement à ses clients et offrir davantage de services, la société devait construire son propre système. Dans un premier temps, le projet consistait à élaborer un système semblable à celui de Veolia.

À la recherche d'un fournisseur

Les responsables de m2ocity ont commencé par rechercher la meilleure solution pour gérer des quantités considérables de données, les intégrer, les décoder et les convertir dans un nouveau format en vue de leur livraison. Les candidats potentiels étaient au nombre de quatre : Talend ESB, Orange (produits Microsoft), Oracle Data Hacker et RJ, que Xavier Diab trouvait très comparable à la solution Talend.

Au final, m2ocity a choisi Talend ESB parce que cette solution semblait présenter la courbe de formation la plus favorable – ce qui permettrait à l'équipe de travailler avec une plus grande autonomie et de gérer, publier et déployer de nouveaux services sans avoir à faire appel à Talend. Xavier Diab a également mis en avant d'autres qualités de la solution Talend : performances, réactivité et réduction du délai de commercialisation des services développés. En outre, il avait déjà travaillé avec Talend dans le passé : « Je connais Talend depuis 2007, à une époque où la société se limitait à des activités ETL (extract-transform-load). En 2007, les big data... n'existaient pas ! J'ai utilisé des produits Talend pour élaborer une interconnexion entre un système d'information et un site d'e-commerce – une solution très fiable. Quand j'ai quitté ma précédente société, mon manager m'a confié que personne ne savait comment cela avait été construit, mais qu'un simple redémarrage suffisait à tout réparer. L'interconnexion a fonctionné parfaitement, et nous en avons été très satisfaits. »

m2ocity a commencé à implémenter Talend ESB en avril 2014 et, six mois plus tard, le système était en place, à la grande (et agréable !) surprise de l'équipe. Comme le dit Xavier Diab, « Nous ne nous attendions pas à faire si vite et si bien. Nous n'avons rencontré aucun problème, et l'outil est si efficace que nous avons déjà installé 1,6 million de compteurs, ce qui couvre la quasi-totalité de la France. Il s'agit essentiellement de données relatives à l'eau, mais aussi électricité, carburants, gaz, environnement, pression, humidité, etc. Et aujourd'hui toutes ces données sont gérées par Talend. »

Des relais télécoms installés sur le toit des bâtiments transmettent les données de protocole via FTP ou un service Web et via un opérateur télécoms tel que Orange, et m2ocity accède aux données via des services Web. Talend ESB décode les données et livre un package conforme aux spécifications du client.

« Ce qui est incroyable, s'exclame Xavier Diab, c'est que Talend ESB propose une gamme de services encore plus complète que celle de Veolia. » La solution Talend propose de nombreux services à m2ocity : traitement, agrégation et livraison des données, rapports génériques, rapports sur les réseaux, rapports sur le comportement des compteurs, services Web etc.

Ce projet de remplacement intégral de solution était le plus important auquel Xavier Diab ait jamais participé, et il a été étonné de son efficacité.

Talend ESB en action

Le client principal de m2ocity demeure Veolia, compte tenu du nombre de compteurs gérés par cette société. En pleine expansion, m2ocity assure également ses services pour des villes (grandes et petites), services publics, supermarchés, banques... en collectant différents types de données pour les aider à comprendre comment ils peuvent développer des solutions plus éco-énergétiques.

Voici un exemple du traitement appliqué par m2ocity aux données des compteurs de la ville de Lyon. m2ocity livre les données des compteurs sous quatre formats distincts :

1.    Fichiers de données correspondant au relevé de chaque compteur (pour facturation).

2.    Données plus précises décrivant le comportement du compteur (envoi au data warehouse).

3.    Données des services Web (informations sur les compteurs, les alarmes, l'autonomie des batteries, etc.).

4.    Données relatives aux grosses canalisations enterrées (transmises sous forme de service Web à la société Gutermann pour une analyse détaillée).

Xavier Diab constate que la plupart des villes concernées (entre 5 000 et 100 000 habitants) ne disposent d'aucun système d'information ou, dans le meilleur des cas, d'un système trop ancien pour intégrer des données. Dans ces circonstances, m2ocity assure les services suivants :

·         Livrer les fichiers de données à des fins de facturation.

·         Déployer une application Web qui affiche les données et permet aux responsables de gérer l'ensemble de leurs compteurs.

·         Proposer une application qui renseigne les usagers sur leur consommation d'eau.

m2ocity recueille non seulement les données des compteurs (volume d'eau consommé, comportement, alarmes), mais aussi des données sur les performances du réseau télécoms (quelles données ont été collectées sur quel relais et à quelle heure, etc.).Talend ESB gère toutes les données relatives aux réseaux et les agrège à des fins de gestion des incidents et de planification de la maintenance.

Gestion aujourd'hui, croissance demain

Chaque jour, 10 millions de messages empruntent le réseau de m2ocity, et 4 millions de messages sont transmis par les compteurs. Les 10 000 personnes qui gèrent les services publics dans les villes et les entreprises peuvent accéder à ces données via un portail Web géré par m2ocity. La société est convaincue que ce nombre passera à 4 millions d'ici à 2020, et m2ocity envisage d'autres perspectives de croissance : pénétrer les marchés internationaux, établir des partenariats avec les principaux opérateurs télécoms d'autres pays, etc.

« Notre objectif n°1 est de fournir des données au client. Nous nous sommes investis dans ce projet parce que nous ne pouvions plus compter sur nos anciens partenaires pour répondre à nos besoins. Maintenant, nous sommes indépendants, mais nous sommes aussi responsables des services que nous proposons. Si un client fait une réclamation, nous pouvons lui expliquer en toute honnêteté pourquoi la situation n'a pas été corrigée, ou lui dire exactement où il pourra trouver une solution facile et rapide », explique Xavier Diab.

En attendant les Big Data...

Le budget 2016 de m2ocity prévoit l'adoption de la solution Talend Big Data. Xavier Diab explique pourquoi il estime que l'adoption d'une solution big data est une nécessité : « Aujourd'hui, nous gérons les données sur le serveur. Il fonctionne très bien, mais nous nous limitons à des données non urgentes : collecte, stockage, transformation et livraison aux clients. Mais dans notre secteur des télécoms et des données dynamiques, le client a tendance à attendre toujours plus et toujours plus vite. Nous devons donc être plus efficaces dans nos opérations de traitement et livraison des données. » Et il poursuit : « Chaque jour, nous traitons 16 millions de messages par heure. Aujourd'hui, ces opérations sont presque entièrement manuelles : il nous est donc difficile de livrer des données personnalisées à nos clients. Nous avons besoin d'une solution big data pour exécuter tous nos calculs et nos traitements, et d'un service Web centralisé pour distribuer des données ayant les caractéristiques requises par chaque client. Nous avons besoin d'un système capable de traiter d'importants volumes de données, plus performant, parfaitement fiable – et reposant sur Hadoop. »

m2ocity compte également sur les big data pour disposer d'une nouvelle connaissance capable d'alerter les clients de menaces potentielles (fuites et autres situations adverses) et leur permettre de résoudre les problèmes avant qu'ils se transforment en véritable catastrophe. Avec les big data à l'horizon et dans un proche avenir, m2ocity s'affaire à mettre en place son nouveau cadre d'activité, avec l'infrastructure et les solutions de stockage qui seront nécessaires, en l'occurrence un cloud privé avec Hadoop et SQL Server. m2ocity s'apprête à vivre une importante phase de croissance, et la société est prête à faire face au tsunami de données dès qu'il se présentera.