Talend Data Integration au Coeur de la Future Architecture Orientée Services de Monecam

Outre l'intégration et le traitement de données opérationnelles, Monecam innove en transformant la solution de Talend en ESB – qualité de données et MDM en projet.
En réalité, Talend Data Integration propose énormément de composants annexes (c'est-à-dire hors de l'univers ETL), dédiés par exemple aux transferts FTP ou à la gestion des fichiers dans un répertoire. C'est une offre tout en un, pouvant même servir d'atelier de génie logiciel convivial et facile à prendre en main.
François Pichoud, Architecte Logiciel

Le leader des payements électroniques

Depuis près de 15 ans, le Groupe Monecam accompagne le développement de la carte bancaire avec une offre de produits et services couvrant tout le spectre de le monétique. Réalisant un chiffre d'affaires de 33 millions d'€, en constante progression, le groupe traite un milliard de transactions de paiements télécollectées et gère plus de 150 000 terminaux de paiement électroniques (TPE). Affichant des références nationales aussi bien auprès d'établissements bancaires que du commerce organisé, il s'appuie sur d'importants moyens, notamment 250 collaborateurs, dont une centaine de techniciens et un centre d'appel ouvert 6 jours sur 7 et traitant 300 000 appels par an.

Monecam, filiale du CEDICAM et de Caisses Régionales de Crédit Agricole, a fait le choix de se concentrer sur trois métiers complémentaires : l'équipement des commerçants et des enseignes ; la gestion des flux, les services monétiques et les services d'assistance ; et la santé (tiers payant et concentration de feuilles de soin).

De Data Integrator à Talend Data Integration 

Avec un cœur d'activité basé sur l'échange de données, le groupe est historiquement à la pointe des technologies d'intégration de données. Il s'appuyait depuis 2005 sur Business Objects Data Integrator pour prendre en charge des traitements simples de transformation de données. En 2007, Monecam lance un appel d'offres auprès de sociétés de services, visant à la mise en œuvre d'une solution batch d'intégration de données et de calcul, capable de générer des rapports avec un certain niveau de personnalisation. Les données concernées sont issues des guichets automatiques bancaires (GAB). Deux réponses sur trois prônent l'utilisation des solutions de Talend.

« Nous avons donc téléchargé Talend Open Studio for Data Integration afin de le tester et de le comparer avec Data Integrator. Nous avons également sollicité un rendez-vous afin d'obtenir plus de détails sur l'entreprise, la roadmap produit, les conditions de support, etc. » témoigne François Pichoud, Architecte logiciel chez Monecam. « Depuis le rachat de Business Objects par SAP en 2007, nous éprouvions comme un sentiment d'abandon : nous avons eu toutes les peines du monde à activer le nouveau support technique, qui s'est révélé à l'usage également difficile à gérer. La version de Data Integrator dont nous disposions commençait à dater, mais le tarif de sa mise à niveau était très élevé. Nous avons lancé une étude comparative avec Talend Data Integration, pour conclure qu'à tarif plus ou moins équivalent, Talend offrait beaucoup plus de services, dont un important volume de connecteurs, tous payants chez SAP. »

L'orientation Java des solutions de Talend constituait un plus, puisque le système d'information de Monecam repose majoritairement sur cet environnement, que maîtrisent bien et depuis longtemps ses équipes informatiques. « En réalité, Talend Data Integration propose énormément de composants annexes (c'est-à-dire hors de l'univers ETL), dédiés par exemple aux transferts FTP ou à la gestion des fichiers dans un répertoire. C'est une offre tout en un, pouvant même servir d'atelier de génie logiciel convivial et facile à prendre en main » ajoute François Pichoud.

Infocentre, data warehouse et Web Services

Monecam a ainsi adopté Talend Data Integration, dans un premier temps pour réaliser tout nouveau développement, puis pour migrer d'anciens flux nécessitant d'être enrichis. Plus de 60 flux sont concernés (hors data warehouse et infocentre) et leur migration doit s'achever à la fin de l'année.

« Aujourd'hui nous utilisons Talend Data Integration pour gérer de bout en bout et dans un flux unique, la réception, le traitement et l'envoi de fichiers. Ce flux est connecté à une quinzaine d'applications hétérogènes : des progiciels bancaires, un ERP, et des applications développées en interne, par exemple de gestion clients et de gestion des flux financiers, le tout reposant sur AIX, MySQL et SQL Server » poursuit François Pichoud. « Parallèlement, nous avons développé un infocentre pour réaliser des traitements métiers sur des données répliquées directement de la base de production, ainsi qu'un Data Warehouse dédié au pilotage opérationnel. Les deux sont également alimentés par Talend Data Integration. »

Monecam envisage en outre de déployer Talend Data Quality afin de contrôler la qualité des données du Data Warehouse : « La cohérence des données de tout système de pilotage doit être contrôlée. Nous avons donc développé l'année dernière un PoC à l'aide de Talend Data Quality, tout en évaluant parallèlement d'autres solutions. Nous prévoyons en 2010 de consacrer plus de ressources à cette problématique, en confirmant notre choix de Talend » affirme François Pichoud.

Enfin, Monecam a mis en place des Web Services pour contrôler la fiabilité de ses traitements. Les jobs en erreur s'affichent ainsi dans la console de supervision Nagios. « Ce projet a fait l'objet de développements spécifiques assurés par les équipes de Talend et reversés dans une version ultérieure des solutions de Talend. Parallèlement, souhaitant garder certaines habitudes de travail, nous avons proposé à Talend une évolution de son tableau de bord de suivi, afin de faire apparaître tous les traitements prévus dans la journée, ainsi que leur état respectif. Les résultats ont dépassé nos attentes, prouvant l'attention que l'éditeur porte aux demandes de ses utilisateurs » se réjouit François Pichoud.

Vers une architecture orientée services, propulsée par Talend

Devant le succès de ces derniers développements, Monecam a étudié début 2009 la possibilité d'utiliser Talend comme un ESB (Entreprise Service Bus). « A l'époque, il manquait un composant, mais nous savions qu'il serait intégré à la version 3.1, dévoilée en milieu d'année. Nous projetons donc d'utiliser Talend Data Integration pour assurer les échanges entre services applicatifs sur une base temps réel et pour orchestrer les traitements entre les différentes applications » explique François Pichoud. « Même si nous n'en sommes qu'aux prémices de notre projet SOA, l'objectif est de gagner en fiabilité et en productivité. »

Ordonnancer tous les traitements, quelle que soit la plate-forme

Aujourd'hui, Monecam dispose d'un ensemble complet de composants permettant d'orchestrer les traitements, quelle que soit la plate-forme les prenant en charge : « Talend Data Integration est progressivement devenu l'ordonnanceur de nos traitements, permettant de gagner beaucoup de temps grâce à l'automatisation et donc, de mieux répondre à nos clients » commente François Pichoud. « Sa prise en main s'est révélée aisée : certains ingénieurs ont suivi une formation chez Talend, puis ont organisé le transfert de compétences en interne et avec nos partenaires. De plus, la solution respecte les normes et les bonnes pratiques, tout en nous permettant de les enrichir afin de les adapter à notre propre contexte. Cette personnalisation est également aisée et à la portée d'utilisateurs métiers, même si la majorité de nos utilisateurs sont des informaticiens. »

Outre la richesse des composants mise en relief plus haut, Monecam considère Talend Data Integration comme une solution d'intégration multi-fonctions, capable de prendre en charge des problématiques très diverses : « La solution répond à tous nos besoins, même au-delà des simples problématiques d'intégration de données, comme nous l'avons vu. De plus, en utilisant des librairies externes, nous sommes en mesure de gagner du temps et de répondre toujours plus rapidement aux demandes de nos clients » conclut François Pichoud. « Pour l'avenir, outre nos projets SOA et de qualité, nous restons à l'écoute sur tous les sujets ayant trait à la gestion de nos données, comme par exemple la gestion des données de référence. Et même si nos volumes restent encore modestes (pas plus d'un million de transactions/jour sur un traitement donné), nous savons que Talend offre des solutions capables de gérer d'importants volumes, ce qui nous rassure quant à l'avenir. »