Allianz Global Investors Distributors (AGID) Standardise sa Construction de Data Warehouse

Talend Data Integration s'allie avec le Data Warehouse Studio de Gamma Systems Studio afin de réduire les coûts et les délais de mise sur le marché d'une des principales sociétés de gestion d'actifs.
Nous avons immédiatement vu les avantages d'une utilisation de Talend en tant qu'outil ETL. L'association du Data Warehouse Studio avec Talend représente une solution rapide qui nous a fait gagner du temps et de l'argent. La phase de développement a été trois fois plus rapide que le développement manuel et le fait de pouvoir réutiliser les jobs au lieu de les réécrire à chaque fois est fortement appréciable.
Inderjit Chhatwal, Business Systems Development Manager, Allianz Global Investors Distributors LLC

Un leader des services financiers intégrés

Allianz Global Investors Distributors LLC (AGID) gère les fonds d'Allianz, de PIMCO et d'Allianz Multi-StrategyTrust. De plus, AGID est prestataire de services de distribution et est gestionnaire de programmes pour le Plan College Access Section 529 financé par le Dakota du Sud.

Objectifs de l'entreprise atteints

Début 2009, Allianz s'est rendu compte qu'il avait besoin d'une solution ETL standard qui deviendrait un outil de choix pour l'ensemble de l'organisation de l'entreprise.

Allianz a commencé par examiner ses besoins et a réalisé qu'une importante plateforme ETL serait très difficile à gérer en termes de coûts, de personnel et d'expertise. « Une fois que nous avons évalué la taille de nos projets, nous avons commencé à regarder les solutions ETL adaptées aux projets de petit et moyenne envergure » a déclaré Inderjit Chhatwal, Business Systems Development Manager chez Allianz. « Nous avons évalué plusieurs options avant de porter notre choix sur Talend, solution qui non seulement était la plus appropriée à la taille de notre entreprise, à nos besoins, à nos tâches mais qui était aussi facile à utiliser. C'est quelque chose de nouveau pour nous qui sommes essentiellement équipés Microsoft. Talend est l'un des premiers logiciels que nous avons intégré chez Allianz. »

Allianz a rapidement compris l'avantage d'associer la technologie Talend avec le Data Warehouse Studio de Gamma Systems pour faciliter l'implémentation de leurs projets d‘entrepôts de données. Véritable plateforme intégrée, le logiciel relie les membres du projet aux technologies et permet aux architectes, aux analystes de données et aux concepteurs d'apporter des spécifications propres à leurs domaines d'expertise. Le code ETL ainsi généré prend en compte l'apport de tous les domaines, de même que les meilleures pratiques.

Une puissante combinaison

Avant d'implémenter Talend et Data Warehouse Studio, Allianz utilisait uniquement SQL Server Integration Services (SSIS) pour l'intégration ainsi que quelques scripts et procédures stockées. « Talend proposait une excellente solution pour le développement rapide de processus ETL » déclare le responsable de Gamma Systems, Simon Eligulashvili, « et nous avons pensé que la gestion de nos projets avec Talend serait plus efficace que de développer un ETL dans SSIS. De plus, grâce au Data Warehouse Studio il est inutile de connaître parfaitement Talend. La solution combinée permet aux utilisateurs d'entrer les règles métier sans connaître en profondeur l'outil ETL. Data Warehouse Studio crée des processus ETL,(jobs Talend) suivant la logique métier entrée par les commerciaux ou par les analystes. L'architecture, quant à elle, est spécifiée par l'architecte du data warehouse. En bref, la solution permet de définir une série de modèles génériques. Ce qui est différent d'un job à l'autre c'est uniquement la logique métier : l'ensemble de la structure reste lui inchangé. »

Le Data Warehouse Studio se combine à Talend pour assurer une construction d'entrepôt de données très efficace. « Nous avons immédiatement vu les avantages d'une utilisation de Talend en tant qu'outil ETL, » dit Inderjit Chhatwal. « L'association du Data Warehouse Studio avec Talend représente une solution rapide qui nous a fait gagner du temps et de l'argent. La phase de développement a été trois fois plus rapide que le développement manuel et le fait de pouvoir réutiliser les jobs au lieu de les réécrire à chaque fois est fortement appréciable. »

Le développement d'un datamart et le traitement des flux d'entrée

L'entreprise avait deux projets qui nécessitaient un outil ETL. Le premier projet alimente quotidiennement le datamart du système de comptabilité et sera bientôt utilisé pour les rapports d'exploitation : « Les rapports d'exploitation seront plus efficaces et plus lisibles pour le front office » déclare Inderjit Chhatwal. « Il s'agit d'une importante série d'éléments utiles à notre organisation. En effet, nous distribuons des fonds communs de placements et nous parlons ici des transactions sur ces FCP. Les rapports vont donc à l'avenir provenir du data warehouse et nous prévoyons qu'environ 200 employés y auront accès. »

« Nous avons comme objectif de faire fonctionner les data warehouses le plus rapidement possible » a ajouté Simon Eligulashvili. « Nous envisageons de tous les charger en moins d'une heure. » Le second projet concerne le traitement des flux d'entrée. « Ces données ne sont pas particulièrement complexes, mais dans notre secteur ce n'est pas si simple que ça. Nous recevons des fichiers consolidés de notre agent de transfert (le tiers qui fournit qui fournit à Allianz GID les données transactionnelles relatives aux fonds communs de placement). Aujourd'hui, nous avons un nombre de sources de données que nous fusionnons en deux principaux flux, en plus de quelques autres flux secondaires. Nous avons besoin de rassembler 30 à 40 processus de chargement indépendants pour insérer les bonnes données issues de ces sources dans le data store opérationnel. Nous utilisons Talend pour transférer ces données depuis ces sources standardisées vers la source de données opérationnelles, en plus des chargements de données de l'entrepôt. »

La flexibilité de l'architecture est également très importante pour Allianz. « La possibilité d'utiliser Talend dans un environnement collaboratif pour de larges projets ou seul pour des petites tâches ponctuelles est un élément attrayant » ajout Inderjit Chhatwal. « Je n'ai pas à me soucier de la mise en place d'un répertoire ETL pour réaliser de petites tâches, comme créer des fichiers Excel pour des analystes ou faire des chargements uniques de données depuis des fichiers fournis par les utilisateurs. »

Les prochaines utilisations

« Talend est désormais notre outil standard » conclut Inderjit Chhatwal. « Nous restructurons notre portefeuille d'applications pour créer des logiciels spécialisées à la place des logiciels monolithiques que nous utilisons actuellement. A mesure que nous mettrons cette approche en place, il y aura plus d'interactions entre ces logiciels et donc proportionnellement une plus grande utilisation des solutions Talend. »

[[{"fid":"575","view_mode":"media_original","type":"media","attributes":{"height":65,"width":120,"class":"media-element file-media-original"}}]]  www.gamma-sys.com