Avec Talend, la Direction des Affaires Maritimes du Ministère de l’Écologie soigne la qualité de ses données et de ses prises de décision

Des contrôles qualité directement intégrés aux flux de données, des données consolidées et diffusées à différents services et des déploiements industrialisés aident la DAM et ses partenaires à optimiser leurs prises de décision
La solution de Talend répond en tous points à nos besoins et surtout nous rend autonomes. Nous sommes souvent surpris de la richesse des nouvelles versions, ce qui nous permet d’envisager certaines extensions.
Michel Lollichon, Directeur de Projets à la Direction des Affaires Maritimes

La Direction Générale des Infrastructures, des Transports et de la Mer (DGITM) du Ministère de l’Écologie, du Développement durable et de l’Énergie a en charge l’ensemble des sujets relatifs aux transports terrestres et maritimes (à l’exception de la sécurité routière) et à la planification des aéroports. Elle est elle-même composée de trois Directions, dont la Direction des Affaires Maritimes (DAM) qui est chargée de la sécurité maritime, la formation et l’enseignement maritimes, le suivi des gens de mer, le développement du pavillon national, la politique de plaisance et des activités nautiques.

Héritière de l'important patrimoine d'informations et d'applications constitué  depuis sa création, la sous-direction des systèmes d'information maritimes (SDSI) est un service de la Direction des Affaires Maritimes chargé de réaliser et de maintenir les applications informatiques et de conseiller les autres services. Il regroupe environ 50 personnes dont les missions varient de l’assistance à Maîtrise d’ouvrage, à la gestion des projets informatiques et au support des utilisateurs.

Un important patrimoine de données à valoriser

La Direction des Affaires Maritimes gère et produit de nombreuses données via son système d’information décisionnel (SID) : statistiques sur les navires professionnels (par ex. nombre de navires de commerce ou de pêche contrôlés), sur les permis de plaisance ou sur les activités des gens de mer.

Lors du développement du SID en 2007, elle s’est mise en quête d’une solution d’intégration de données capable de l’alimenter en données hétérogènes. Cette solution devait remplacer un ancien système d’extraction de données basé sur COBOL et dont la maintenance devenait très lourde à mesure qu’augmentaient les besoins d’analyse. Conformément aux directives globales du Ministère, la DAM s’est attachée à tester des solutions open source.

Dans un premier temps, elle a téléchargé Talend Open Studio for Data Integration dont les fondations technologiques (Java) étaient communes à celles du nouveau système d’information de la Direction. Après une série de tests, la DAM a choisi de mettre en œuvre Talend Data Integration, afin de bénéficier des fonctions de travail collaboratif et de gestion des versions.

« Notre objectif était de constituer un entrepôt de données (basé sur Sybase IQ) à partir de sources hétérogènes – 14 au total, reposant elles-mêmes sur des technologies  différentes de bases de données, notamment Oracle – afin d’appliquer divers contrôles de cohérence et de qualité » témoigne Michel Lollichon, Directeur de Projets à la Direction des Affaires Maritimes. « Cet entrepôt de données a été construit sur la base de plusieurs référentiels communs – le navire, les intervenants (marin, armateur, conchylicole,...),  la profession et l’activité du marin. Si les volumes de données à traiter ne sont pas forcément importants, les données – très dispersées – doivent être consolidées pour dégager une vision transversale et améliorer ainsi les prises de décision. »

Talend Data Integration pour accompagner les prises de décision

Ainsi, des contrôles de qualité ont été directement intégrés aux flux de données. Lorsque la solution de Talend détecte une anomalie ou une incohérence, elle déclenche une alerte afin de la corriger. De manière générale, l’ensemble des données sont historisées, ce qui permet de traiter rapidement d’importants volumes.

« La consolidation de ces données nous permet de réaliser des tableaux de bord qui étayent les prises de décision de la Direction des Affaires Maritimes (par ex. statistiques sur l’emploi maritime ou suivi de l’activité des navires). Nous les diffusons également aux services des Directions interrégionales de la mer (DIRM), des Délégations de la Mer et du littoral (DML), mais aussi à d’autres administrations, selon des besoins spécifiques ou ponctuels » ajoute Michel Lollichon.

Parallèlement, la DAM a transféré sur Talend de nombreux traitements batch de consolidation, de mise à jour, d’export et de diffusion de données, qui reposaient précédemment sur COBOL. L’objectif était d’industrialiser ces traitements sur lesquels reposent des échanges de données avec des partenaires externes (comme par exemple l’Établissement national des invalides maritimes, qui est la Sécurité sociale des marins). En tout six interfaces d’échanges de données ont été développées pour faciliter les échanges avec des partenaires disposant de systèmes d’information différents. Talend permet notamment d’utiliser des Web Services pour envoyer ou recevoir des données dans le cadre d’échanges automatisés.

Convivialité, portabilité et robustesse des composants

Aujourd’hui la plupart de ces traitements sont en production, les premiers ayant été mis en œuvre en 2009. Les statistiques sont restituées via un portail d’information reposant sur SpagoBI, auquel devraient accéder à terme  environ 1000 utilisateurs du Ministère de l’Écologie.

La Direction des Affaires Maritimes souligne d’une part la facilité d’utilisation de la solution de Talend, ainsi que la richesse des composants livrés en natif : « L’interface utilisateur est facile à prendre en main et ne nécessite pas une connaissance étendue de Java. La gamme de composants est très riche, mais il est également très facile d’en créer des nouveaux, ce qui a été notre cas pour répondre à des besoins spécifiques » commente Alexandre Olliet, Chef de projet technique délégué par Capgemini. « De plus, la solution est enrichie régulièrement via la disponibilité de nouvelles versions et Talend tient compte dans ces évolutions des retours de ses utilisateurs. Ceci accroît la pérennité de ses solutions, ce qui est essentiel pour la DAM puisque Talend Data Integration est devenu un composant stratégique de son système d’information. »

Parallèlement, la Direction des Affaires Maritimes apprécie la portabilité de la solution de Talend : « La démarche de déploiement de Talend sur des serveurs est bien structurée et documentée, ce qui nous a permis d’industrialiser nos déploiements. La console d’administration nous aide à gérer les utilisateurs et à leur attribuer des droits d’accès. Après quelques opérations de tests, le déploiement en production est une simple opération d’export, depuis les serveurs Talend. Ainsi, nous maîtrisons parfaitement nos livraisons et nos déploiements et savons corriger très rapidement la moindre anomalie » ajoute Alexandre Olliet.

Enfin, la Direction des Affaires Maritimes considère que grâce à une documentation claire et facile à créer, des bonnes pratiques ont été mises en œuvre, ce qui contribue à pérenniser ses activités en facilitant les transferts de connaissances et de compétences.

« La solution de Talend répond en tous points à nos besoins et surtout nous rend autonomes. Nous sommes souvent surpris de la richesse des nouvelles versions, ce qui nous permet d’envisager certaines extensions, comme par exemple les échanges inter-applicatifs de données métiers. Avec Talend, nous sommes en mesure d’élargir le spectre d’analyse de notre direction et de nos partenaires » conclut Michel Lollichon.