ETAI Unifie son Architecture de Production de Données

Talend Open Studio for Data Integration automatise l'intégration de données hétérogènes et disparates et augmente significativement la qualité des tâches de production.
Lorsque nous lançons la chaîne de production de la base livrable, nous savons que celle-ci s'exécutera correctement et qu'il ne sera pas nécessaire d'intervenir a posteriori sur les données consolidées. Le modèle Open Source proposé par Talend ne supprime pas les coûts, mais il les réduit significativement, notamment en phase de déploiement, et les rend plus prédictibles.
Philippe Bobo, Directeur des Logiciels et SI

Un multispécialiste de l'information professionnelle

ETAI possède une expertise pointue et un mix média complet sur trois secteurs clés : automobile, industrie et distribution, auxquels elle propose des solutions d'information en bases de données, logiciels, congrès, salons, presse et édition. Employant 400 personnes, le groupe réalise un chiffre d'affaires annuel de 60 M€.

Le métier d'ETAI est de produire et de commercialiser des données. Par exemple, dans le secteur automobile, ETAI collecte des données brutes auprès des fournisseurs (constructeurs et équipementiers), les consolide, les harmonise et les met en forme, puis commercialise des applications bâties sur la base technique ainsi constituée. Ces produits sont fournis sous forme de DVD-ROM ou d'abonnement à un portail internet, aux concessionnaires, garagistes et autres acteurs du domaine.

Une architecture de données complexes

Pour construire ses applications du domaine automobile, ETAI collecte des informations sur les véhicules (plus de 50000), les pièces détachées, les équivalences entre pièces, l'applicabilité des pièces sur les véhicules, les durées et méthodes de montage, réparation, etc.

« Dans ce domaine très vaste, il n'existe pas de standard universel pour les données » explique Philippe Bobo, Directeur des Logiciels et Systèmes Informatiques d'ETAI. « Nous recevons des référentiels de formats très disparates, mais aussi beaucoup de documents papier qui doivent être ressaisis. Nous avons donc fait le choix de conserver les applications d'acquisition des données dans les formats les plus efficaces, afin de préserver la productivité des processus de saisie et de réduire le coût des mises à jour. »

En conséquence, il est nécessaire, à chaque nouvelle version d'un des produits (soit près de cent fois par an), de traiter l'ensemble de ces référentiels afin de les consolider, de les harmoniser et de nettoyer les données. « Ce processus est très consommateur en temps et en ressources, et représente un défi permanent pour la qualité » rappelle Philippe Bobo. « Nous avons une multitude de programmes écrits en Access, en Java, en Python, en PL/SQL, etc. Mais surtout, de nombreuses étapes du processus sont manuelles et demandent l'intervention d'un expert fonctionnel. »

En revanche, dans les autres secteurs où intervient ETAI (annuaires, magazines, salons, etc.), une consolidation des référentiels non techniques est apparue souhaitable, afin de tirer parti des similitudes des modèles de données entre les domaines.

« Nous nous sommes mis en quête d'une solution d'intégration de données qui nous permette à la fois d'industrialiser les processus d'assemblage des bases de données techniques automobile, mais aussi de fusionner les systèmes de gestion de données des autres activités d'ETAI, » explique Philippe Bobo. « Il est en effet essentiel pour nous de concentrer nos efforts autour d'un outil unique qui réponde à tous nos besoins. A terme, les processus internes de gestion de la société migreront eux aussi vers le même environnement. »

Une étude poussée des solutions du marché

« Notre choix d'outil a fait l'objet d'une démarche structurée, qui a débuté par un inventaire exhaustif des processus d'intégration (manuels ou automatisés) de l'entreprise, avec le support du cabinet Apsia, » se souvient Philippe Bobo. « Suite à cet inventaire, plusieurs solutions du marché répondant a priori à nos critères principaux – en particulier, l'utilisation possible dans tous les compartiments de l'activité, et la capacité à traiter les volumes de données importants des bases de données automobile – ont été sélectionnées pour un projet pilote. »

Plusieurs sujets de typologie variée ont ainsi été soumis aux éditeurs des solutions compatibles avec le budget d'ETAI. « Comparé aux solutions propriétaires, Talend Open Studio for Data Integration présente un degré de flexibilité indéniable, » confirme Philippe Bobo. « Aucune étape du prototype n'a représenté de problème bloquant pour cet outil – en particulier grâce à son langage standard qui assure la disponibilité de librairies de composants directement exploitables, et accélère la montée en compétence des équipes. »

Talend Open Studio for Data Integration s'est aussi révélé le plus rapide dans l'exécution d'un processus complexe du prototype, traitant 2 millions d'enregistrements, qu'il a exécuté 30 à 50 % plus rapidement que les autres solutions étudiées, et que le programme spécifique dédié.
 Au-delà de la complexité liée à la consolidation et à la réconciliation des données, l'hétérogénéité des sources de données constitue aussi un challenge important. ETAI gère en effet des sources aussi variées que MySQL, DB2/400, Access, SQL Server, Oracle, Excel ou XML. Les données des équipementiers sont souvent fournies dans des fichiers plats complexes. La base de données techniques, quant à elle, est constituée sur Oracle, mais déployée sur MySQL. Par ailleurs, les systèmes de gestion de l'entreprise tournent sur AS/400. Il était donc fondamental que le système retenu dispose d'une large palette de connectivité.

Le choix de la première solution open source d'intégration de données

Après réalisation des prototypes par chaque éditeur, ETAI a effectué une comparaison détaillée des résultats, en pondérant chaque critère vis à vis du risque associé dans l'aboutissement du projet. Au-delà de la performance et de la richesse fonctionnelle de l'outil, la pérennité de l'éditeur, sa proximité, et sa capacité à accompagner les équipes d'ETAI dans la durée, représentaient des facteurs cruciaux du choix. La solution proposée par Talend, répondant au mieux aux exigences d'ETAI, a donc été sélectionnée.

« Le prix de la solution a également pesé dans la balance, » explique Philippe Bobo. « Le modèle traditionnel de licences des éditeurs commerciaux aurait freiné l'implantation de la solution sur nos sept sites cibles, pour des raisons budgétaires. Le modèle Open Source proposé par Talend ne supprime pas les coûts, mais il les réduit significativement, notamment en phase de déploiement, et les rend plus prédictibles. »

Le premier projet réalisé par ETAI avec Talend Open Studio for Data Integration consiste à simuler quotidiennement la réconciliation des données des différents référentiels en saisie permanente. Ceci permet de détecter sans délai toute divergence, et d'y remédier immédiatement. « Cette approche nous permet de maîtriser une cause importante d'erreur. Ainsi, lorsque nous lançons la chaîne de production de la base livrable, nous savons que celle-ci s'exécutera correctement et qu'il ne sera pas nécessaire d'intervenir a posteriori sur les données consolidées, » précise Philippe Bobo.

Pour tirer le meilleur parti de la solution Talend Open Studio for Data Integration, ETAI a choisi de faire appel aux prestations de service de Talend. Les équipes informatiques ont tout d'abord bénéficié de sessions de formation pointue. ETAI a également souscrit un contrat de support technique Gold, avec des temps de réponse garantis. Et enfin, dans le cadre d'une offre d'expertise technique de l'éditeur, un consultant expert Talend intervient régulièrement chez ETAI pour apporter son soutien et son expertise aux équipes de développement.

« Talend fournit un niveau de support à la mise en œuvre de sa solution très satisfaisant, qui conforte l'influence de ce critère dans notre choix, » indique Philippe Bobo. « Le professionnalisme et le haut niveau d'expertise des consultants avec qui nous avons travaillé auront été un atout considérable pour la réussite de nos projets. »