Avec Talend, le Ministère de l’Ecologie, du Développement Durable et de l’Energie Industrialise sa Stratégie Décisionnelle

Le MEDDE exploite Talend Data Integration et Talend Open Studio for Data Integration pour développer une quinzaine de projets décisionnels - depuis les RH et le logement social, jusqu’au transport routier et l’environnement.
Il n’y a pas de comparaison possible avec les autres ETL que notre équipe a utilisés ! L’outil est performant, son interface est bien conçue et il prend facilement en charge d’importants volumes de données.
Olivier Cordellier, Chef de Projet sur le Domaine Statistique du Logement

Le Ministère de l'Ecologie, du Développement durable, des Transports et du Logement (MEDDE) a pour mission de mener la « métamorphose » de notre société pour qu’elle puisse affronter la raréfaction des ressources naturelles et les changements climatiques, en menant de vastes programmes comme le « Grenelle de l’environnement » qui forment autant de nouveaux moteurs pour l’économie. En quelques années, la production d’électricité photovoltaïque a ainsi été multipliée par 10, plus de 130 000 éco-prêts à taux zéro ont été signés, 360 km de lignes de transports collectifs sont en cours de construction et 17 000 exploitations agricoles se sont converties à l’agriculture biologique.

Vers une industrialisation de la politique décisionnelle du MEDDE


En matière d’informatique, le Ministère s’appuie principalement sur un Centre de prestations et d’ingénierie informatique (CPII) qui regroupe 350 agents et assure la gestion et les évolutions de ses systèmes d’information, ainsi que de ceux du Ministère de l’Egalité des Territoires et du Logement, auparavant rattaché au même ministère. Au sein du CPII, le Pôle National d’expertise décisionnelle, situé à Metz, propose une offre nationale d'hébergement mutualisé et prend en charge tous les aspects de la gestion des systèmes décisionnels du Ministère qui utilisent cette offre (hébergement, organisation, conseil, assistance et administration des plates-formes). La politique analytique du MEDDE couvre de très nombreux domaines : RH, logement social, transport routier, environnement, permis de conduire, etc. et permet de diffuser des statistiques diverses, comme par exemple sur la construction et l’aménagement des territoires.

Jusqu’en 2009, le MEDDE exploitait principalement l’ETL Sunopsis, maintenant racheté par Oracle. Si la solution a permis au Ministère d’initier ses projets d’intégration de données et d’alimentation de ses datawarehouse, elle ne répondait plus à ses objectifs d’industrialisation des processus d’intégration ainsi qu’à son approche multi-projets.

Après un appel d’offre et des tests réalisés dans le cadre de ce marché, le MEDDE a sélectionné Talend Data Integration, motivé par plusieurs raisons : « D’une part, nous avons conclu qu’à performances équivalentes, la solution de Talend était plus facile à prendre en main et à utiliser que les autres produits évalués. Parallèlement, alors que Sunopsis nécessite des compétences spécifiques, Talend facilite l’accès aux équipes affectées au développement des SI 'classiques' (c'est-à-dire non décisionnels). Ainsi, le Ministère peut s’appuyer sur des compétences Java déjà présentes et ces équipes peuvent travailler plus facilement sur des projets décisionnels (décloisonnement des équipes amenant une optimisation des formations, des compétences, des plans de charge …) » témoigne Jean-Charles Aubry, Responsable du Pôle National d’Expertise décisionnelle. « La solution repose en outre sur un référentiel unique et partagé, qui facilite grandement le travail à distance (avec des temps de réponse largement inférieurs à notre ancienne solution) et l’offre d’hébergement mutualisé de Talend répondait efficacement à notre problématique de développement collaboratif. En effet, nos équipes de développement étant réparties dans toute la France (dans 8 implantations régionales : 1 en région parisienne et 7 en province), nous avions besoin d’une solution facile à utiliser à distance. Enfin, l’approche open source de Talend répondant à la volonté de l’Etat de réduire les coûts et le retour d’expérience positif d’une Direction du Ministère (Affaires Maritimes) nous ont confortés dans notre choix. »

Quinze projets décisionnels propulsés par Talend


Aujourd’hui le MEDDE utilise Talend Data Integration dans une quinzaine de projets, dont six sont en exploitation. Parallèlement 7 équipes de développement utilisent l’offre d’hébergement mutualisé du CPII. Le Ministère s’appuie en outre sur Talend Open Studio for Data Integration pour démarrer des projets en local et familiariser les développeurs avec la technologie. Dès que le projet monte en puissance, il est migré vers Talend Data Integration. 

« La possibilité de combiner la version open source et la version commerciale et la complète compatibilité entre les deux nous offrent une grande souplesse pour gérer nos projets, ce qui n’était pas le cas avec la solution précédente. Aujourd’hui nous disposons d’un environnement de développement et d’un environnement d’exploitation uniques qu’utilisent six équipes de développement, soit une trentaine de développeurs et chefs de projets, ce qui nous permet d’avancer dans notre projet d’industrialisation » poursuit J.-C. Aubry.

Les solutions de Talend sont utilisées dans de nombreux domaines. Par exemple, deux projets sont menés par le Département opérationnel du Sud-Ouest du CPII et concernent le logement et la gestion du territoire.

Le premier – « RPLS » : Répertoire du Parc Locatif Social » – consiste à collecter, enrichir et mettre en forme dans des tableaux de bord des données sur le logement social, à des fins de pilotage. « Si l’application que nous avons développée est simple, les volumes de données sont très importants » explique Olivier Cordellier, Chef de projet sur le domaine statistique du logement, au CPII. « La collecte des données est étalée sur plusieurs mois et couvre 4,5 millions de logements. Les tableaux de bord sont diffusés aux Maîtres d’ouvrage ou aux cellules régionales et favorisent le suivi du financement par l’Etat des logements sociaux (évolution du logement social et adaptation des politiques ; et contrôle des mises en œuvre). Sur le plan technique, les données sont issues de bases de données Oracle et d’applications BusinessObjects, puis transférées vers une base PostgreSQL. »

Performances, flexibilité et choix de composants


Parallèlement, le CPII a développé un autre projet – « Geokit » – visant à la construction d’une base de données mutualisée, centrée sur la notion de commune : « Cette base de données regroupe des informations très variées, depuis les finances jusqu’à la construction et au recensement. Elle est alimentée par des données de gestion internes et externes (émanant d’autres Ministères) » ajoute Olivier Cordellier. « GeoKit étaye les analyses et études statistiques du Ministère. Sur la base des données produites par son Service 'Economie, statistiques et prospective', l’application fournit aux structures départementales et à l’administration centrale des données détaillées sur la construction (permis de construire, taille des logements, ...), le parc de logements sociaux (types de logements, taux d'occupation, ...) et l'amélioration de l'habitat. Ces informations sont très utiles pour les communes cherchant à analyser la situation de l'habitat et du logement dans leur périmètre géographique ; l’application permettant de créer à la fois des zonages inférieurs au niveau communal, mais également supérieurs (regroupements de communes). »

Exploitées au quotidien, les solutions d’intégration de données de Talend offrent aux opérateurs du Ministère la flexibilité et la facilité d’utilisation qu’ils recherchaient : « Il n’y a pas de comparaison possible avec les autres ETL que notre équipe a utilisés ! L’outil est performant, son interface est bien conçue et il prend facilement en charge d’importants volumes de données » affirme Olivier Cordellier. « De plus, Talend offre un vaste choix en matière de composants, couvrant tous nos besoins. Le point le plus notable réside dans la facilité de partage de nos développements avec des collègues de toute la France : l’outil est parfaitement adapté à un environnement de développement distribué. »

« Nos objectifs ont été atteints » conclut Jean-Charles Aubry. « Nous cherchions à industrialiser notre approche décisionnelle afin de gagner en efficacité et en productivité. Grâce à Talend, c’est désormais possible. Enfin, nous avions l’ambition d’uniformiser nos pratiques décisionnelles, tout en réduisant les coûts, ce que nous sommes aujourd’hui en passe de concrétiser. »