ETL pour le Décisionnel

Les processus ETL (Extraction, Transformation et Chargement) sont les composants les plus critiques - et les plus importants – pour l’alimentation d’un data warehouse ou d’un système décisionnel. Bien que cachés de l’utilisateur de la plate-forme décisionnelle, les processus ETL rassemblent les données à partir des systèmes opérationnels et les pré-traitent pour les outils d’analyse et de reporting. La précision et la vitesse de la plateforme décisionnelle toute entière dépendent des processus ETL, notamment :

  • L’extraction de données des applications et des bases de données de production (ERP, CRM, SGBDR, fichiers, etc.)
  • La transformation de ces données pour les réconcilier entre les différentes sources, pour effectuer des calculs ou du découpage de texte, pour les enrichir avec des données externes et aussi pour respecter le format requis par les système cibles (Troisième Forme Normale, Schéma en Etoile, Dimensions à Evolution Lente, etc.)
  • Le chargement des données résultantes dans les différentes applications décisionnelles : Data Warehouse ou Enterprise Data Warehouse, Data Marts, applications OLAP (Online Analytical Processing) ou “cubes”, etc.

 

Obstacles : Gestion de données hétérogènes

L’implémentation de processus d’ETL efficaces et fiables comprend de nombreux défis.

  • Les volumes de données sont en croissance exponentielle, et les processus ETL doivent traiter des quantités importantes de données granulaires (produits vendus, appels téléphoniques, transactions bancaires, etc.). Certains systèmes décisionnels sont mis à jour de façon incrémentale, alors que d’autres sont rechargés dans leur totalité à chaque itération.
  • Alors que les systèmes d’information se complexifient, la variété des sources de données s’accroît également. Les processus d’ETL doivent disposer d’une large palette de connecteurs à des progiciels (ERP, CRM, etc.), bases de données, mainframes, fichiers, Services Web  et applications SAAS.
  • Les structures et applications décisionnelles incluent des data warehouses, des data marts, des applications OLAP - pour l’analyse, le reporting, les tableaux de bord, le scorecarding, etc. Toutes ces structures cibles présentent des besoins différents en termes de transformation de données, ainsi que des latences différentes.
  • Les transformations des processus d’ETL peuvent être très complexes. Les données doivent être agrégées, parsées, calculées, traitées statistiquement, etc. Certaines transformations spécifiques au décisionnel sont aussi requises, comme les Dimensions à Evolution Lente.
  • Alors que le décisionnel se rapproche du temps réel, les data warehouses et data marts doivent être rafraîchis plus souvent, dans des fenêtres de chargement toujours plus courtes.
  • Les clés primaires font partie des attributs les plus importants dans les bases de données puisqu’elles relient tout. Souvent, les projets d’intégration de données gèrent de multiples sources de données et doivent résoudre le problème posé par les multiples clés afin de donner du sens aux données combinées.

 

Solution : Talend ETL for Analytics

Les solutions d’intégration de données Talend sont optimisées pour les besoins ETL de l’entreprise. Les fonctionnalités suivantes sont particulièrement décisives pour le design, le développement, l’exécution et la maintenance des processus ETL :

  • Plateforme Open source très évolutive permettant des exécutions rapides avec un déploiement en mode Grid et exploitant les architectures ETL et ELT.
  • Connectivité étendue à tous les systèmes source et cible, facilitant l’accès aux données et l’ajout de nouveaux systèmes.
  • Composants avancés natifs pour l’ETL tels que les manipulations de chaînes, les dimensions à évolution lente, la gestion des lookups, le chargement bulk ainsi que des outils de mapping de données pouvant gérer des mappings complexes.
  • Modèle orienté business qui assure une communication optimale entre les équipes informatique et les intervenants métier.
  • Environnement de développement graphique pour améliorer la productivité et faciliter la maintenance.

 

Produits Talend

Intégration de données Talend

Talend propose un ensemble extensible et hautement évolutif d’outils d’intégration de données pour accéder, transformer et migrer des données à partir de tout système métier. Grâce au support de plus de 800 types de sources de données, Talend simplifie vos besoins d’ETL.

En savoir plus

Qualité de données Talend

Talend offre une solution de qualité de données puissante et basée Open source fournissant des fonctionnalités de profiling, de nettoyage, de mise en correspondance et de monitoring de bout en bout, ainsi que la possibilité d’identifier des anomalies, de standardiser des données, de résoudre des doublons et de monitorer la qualité des données au fil du temps. La cohérence des données est améliorée lors de la migration vers de nouveaux systèmes.

En savoir plus

A la différence d’autres solutions dans lesquelles vous devez intégrer des produits pour obtenir une solution, les produits Talend améliorent votre productivité via une plateforme unifiée – un référentiel commun de code, des outils d’ordonnancement, de gestion des métadonnées, de traitement des données et d’activation de services.