Talend Open Studio for Data Integration

Talend Open Studio for Data Integration améliore considérablement la productivité de conception des processus d'intégration de données grâce à un environnement de développement graphique facile à utiliser. La solution permet un déploiement rapide et réduit les coûts de maintenance grâce à des connecteurs pré-intégrés sur tous les systèmes source et cible, avec une prise en charge de tous les types de processus d'intégration, de migration et de synchronisation de données. Un support de qualité est assuré par une communauté internationale d'utilisateurs qui testent la solution et apportent leur contribution.

Talend Open Studio for Data Integration intègre trois logiciels (Business Modeler, Job Designer, et Metadata Manager) au sein d'un environnement de développement graphique unique,entièrement basé sur Eclipse, très simple à prendre en main.

Une solution d'intégration de données puissante et flexible

Offrir des solutions pour répondre à toutes les exigences, en respectant les délais ainsi que le budget

• Extensible pour répondre à n’importe quel besoin, même les plus complexes.
• Facile à développer : le temps de développement ne se chiffre plus en mois mais en jours, voire même en heures.
• Exploite la puissance de l'open source.

Répondre aux besoins métier les plus complexes

• Donner à l'entreprise les informations dont elle a besoin et lorsqu'elle en a besoin, afin qu'elle puisse prendre des décisions efficaces en temps voulu.
• Étendre les services de données pour offrir aux applications et demandeurs autorisés un accès en temps réel à toutes les données de l'entreprise. 
• Fournir des données fiables à travers l'ensemble de l'entreprise pour répondre à la fois aux besoins analytiques et opérationnels.

Un ensemble d'outils extensible, intuitif et complet permettant d'accéder aux données

Talend Open Studio for Data Integration est le seul outil d'intégration open source de niveau entreprise. L'open source permet aux utilisateurs de personnaliser et étendre les fonctionnalités de la solution pour répondre à des besoins spécifiques sans dépendre de l'éditeur. Ce taux d'innovation permet de se concentrer sur des problèmes concrets et de mieux s’approprier les différentes fonctionnalités, car il ne s'agit pas d'une solution propriétaire de type « boîte noire". Ce caractère unique est défini par les éléments suivants :

• Génération de code : Talend Open Studio for Data Integration est un générateur de codes. Un développeur déplace et configure un ensemble de composants graphiques sur un espace de modélisation et l'outil génère l'ensemble du code Java sous-jacent. Cette approche réduit le temps de développement et permet de faire plus en moins de temps.
• Connecteurs : seul Talend Open Studio for Data Integration offre une large gamme de connecteurs pré-intégrés pour répondre aux besoins de niveau entreprise. La solution dispose de plus de 450 composants qui permettent de se connecter en temps réel ou en mode batch à pratiquement toutes les bases de données et à de nombreux systèmes métiers connus.
• Transformations : transformez facilement vos données structurées, non structurées et même XML. Grâce à des fonctionnalités de qualité de données intégrées, Talend Open Studio for Data Integration permet d’améliorer la qualité de vos données au sein d'un flux d'intégration.

---

Modélisation orientée métier

Le Business Modeler permet aux acteurs fonctionnels de prendre part à la conception des flux de données et de suivre de près l'avancement des développements grâce à une approche top-down unique. Les Business Models sont des vues haut niveau orientées métier construites à l’aide d’une bibliothèque de symboles et de liens.Dans l’espace de modélisation du Business Modeler, l’équipe fonctionnelle modélise et documente les processus d’intégration sous forme de diagrammes. Cet outil permet de manière très efficace de monitorer les processus d’intégration et d’identifier rapidement les problèmes potentiels.

Développement graphique

Le Job Designer fournit une vue à la fois graphique et fonctionnelle des processus d’intégration via une palette regroupant tous les composants techniques et connecteurs. Les processus d’intégration sont construits simplement en déposant ces composants et connecteurs sur l’espace de travail, en les reliant entre eux, et en définissant leurs propriétés. Les composants et connecteurs couvrent tous les types de tâches et d’opérations sur les données ou sur les flux. Les connecteurs permettent l’accès, la lecture et l’écriture de tous les systèmes source et cible pour l'intégration, la migration et la synchronisation de données. Reportez-vous à la page http://www.talendforge.org/components pour obtenir la liste complète des connecteurs pris en charge.

Les propriétés sont configurées dans une vue unique qui apparaît en sélectionnant simplement chaque composant du Job ou peuvent être récupérées du Metadata Manager (référentiel).

Les composants complexes sont dotés d’interfaces graphiques intuitives ou d’assistants intégrés permettant aux utilisateurs de construire facilement leursjobs.

Pour garantir la lisibilité du job, le diagramme peut être divisé en plusieurs sous-jobs, qui sont ensuite définis comme jobs parent et enfant selon leur dépendance d’exécution. D’autres composants d’orchestration ainsi que différents types de liens permettent aux utilisateurs de séquencer leur processus d’exécution.

Une vue console intégrée permet de visualiser rapidement le traitement et de suivre les performances. directement à partir du studio d'intégration.

Design et exécution orientés métadonnées

Talend Open Studio for Data Integration est un outil open source orienté métadonnées pour l'intégration, la migration et la synchronisation de données. Toutes les métadonnées (description des données) sont centralisées et gérées dans le Metadata Manager (référentiel) disponible en standard dans l’outil. Ce référentiel rassemble toutes les informations projet et assure la cohérence des processus d’intégration.

Les méta-informations des systèmes sources et cibles sont facilement chargées dans le Metadata Manager grâce à des fonctions d’introspection de bases de données et d’analyse de fichiers et à de nombreux assistants. Le Metadata Manager repose sur un modèle relationnel ouvert qui permet d’identifier facilement les dépendances de Jobs et faciliter les opérations de maintenance des jobs d'intégration, de migration et de synchronisation de données.

Les données contextuelles, telles que les informations de connexion aux bases de données ou les chemins d’accès aux fichiers peuvent être centralisées dans le Metadata Manager, facilitant ainsi leur utilisation et leur mise à jour.

La structure de données de tout système source ou cible est également récupérée et interprétée facilement en un schéma Talend réutilisé pour tous les types d'opérations de données au sein de vos processus d'intégration.

Il est également possible de centraliser dans ce référentiel des morceaux de code, des routines ou des méthodes, afin de favoriser la réutilisation et la factorisation de tout ou partie des processus.

Connectivité avancée et diversifiée

Talend Open Studio for Data Integration intègre une bibliothèque de connecteurs techniques et métieropen source, pour tous les environnements informatiques. Cette large gamme de connecteurs permet d’intégrer la solution dans les environnements les plus hétérogènes et d’assurer ainsi l’interopérabilité de tous les systèmes avec les meilleures performances possibles. Elle évolue constamment et enrichit les fonctionnalités des solutions d'intégration, de migration et de synchronisation de données de Talend.

Talend Open Studio for Data Integration offre une connectivité complète vers :

• les applications packagées (ERP, CRM, etc.), bases de données, mainframes, fichiers, services Web, etc. pour gérer le nombre croissant de sources ;
• les Data warehouses, data marts, applications OLAP, etc. pour l'analyse, le reporting, les tableaux de bord et indicateurs de performance ;
• des composants avancés d’ETL, notamment pour la transformation de chaînes, les dimensions à évolution lente (SCD), la recherche automatique en look up, le support de chargement de masse, etc.
• des composants dédiés pour la qualité des données, le rapprochement des données, la gestion des données de référence, etc.

Reportez-vous à la page http://www.talendforge.org/components pour obtenir la liste complète des connecteurs pris en charge.

Talend Open Studio for Data Integration tire parti de langages standards tels que Java et SQL. Les utilisateurs peuvent ainsi facilement modifier les composants existants et en créer de nouveaux pour couvrir les besoins les plus spécifiques. Une application communautaire dédiée, Talend Exchange, accessible directement dans le Studio permet d’ajouter ces nouveaux composants nativement dans l’environnement. Les utilisateurs peuvent également créer des routines et autres morceaux de code et les centraliser dans le référentiel afin de les réutiliser.

Mise au point en temps réel

Talend Open Studio for Data Integration inclut des fonctions puissantes de mise au point, de test et de debugging notamment le suivi pas à pas des flux de données, la visualisation des statistiques d’exécution et le mode trace avancé.

Lorsqu'un job d'intégration est exécuté via l'interface open source Job Designer en mode graphique, les statistiques sont affichées en temps réel, indiquant le nombre de lignes traitées et rejetées, ainsi que le débit (lignes par seconde). Cela permet de détecter immédiatement tout goulot d'étranglement présent dans le job d'intégration, de migration et de synchronisation de données. Il est également possible d'activer un mode de suivi qui affiche le comportement ligne par ligne et indique le résultat des transformations. Les breakpoints et les variables de débogage traditionnels sont également disponibles.

Et, bien évidemment, tout code généré par Talend Open Studio for Data Integration, indépendamment du langage cible, est toujours visible et accessible à partir de l'environnement de création.

Déploiement et maintenance

Les fonctions évoluées de gestion de contextes d’exécution (Test, Pré Production, Production, etc.) intégrées à la solution facilitent le déploiement des processus d'intégration pour l'intégration, la migration et la synchronisation de données. Le chargement implicite des paramètres de contexte dans le job open source permet de développer les divers environnements d'exécution et de les gérer facilement. Le déploiement des processus à travers les systèmes de l'entreprise peuvent facilement être exécutés en tant que services de données ou services d'intégration, de migration ou de synchronisation de données via l'outil d’export dédié.

Des fonctions de génération automatique de la documentation technique (au format XML et HTML) permettent de disposer d’une documentation technique de référence exhaustive et toujours à jour.

La fonction de détection des dépendances permet d’identifier les dépendances parmi les processus d’intégration développés dans Talend Open Studio for Data Integration et facilite la mise à jour globale de tous les processus centralisés dans le référentiel.

Exécution puissante et fiable

Contrairement à la plupart des solutions d’intégration qui requièrent un serveur centralisé haut de gamme, ou qui sont limités à l’utilisation des moteurs de SGBDR pour traiter les données, Talend Open Studio for Data Integration permet de distribuer les processus sur une grille de serveurs ou de les exposer en tant que Services Web. Aucun système dédié à l’exécution des processus d’intégration n’est requis ; au contraire, Talend Open Studio for Data Integration exploite les ressources disponibles, quelle que soit leur nature. Talend Open Studio est la seule solution d’intégration de données qui offre la possibilité d’utiliser à la fois l’approche traditionnelle ETL (Extraction Transformation Chargement) et l’approche ELT (Extraction Chargement Transformation). L’ELT exploite la puissance des moteurs de SGBDR pour exécuter les transformations directement au sein de la base de données, réalisant des performances inégalées pour le traitement des gros volumes. Pour chaque étape du processus, il est possible de choisir l’approche la plus appropriée pour atteindre les meilleurs niveaux de performance et de flexibilité pour l'intégration, la migration et la synchronisation de données.

Cette architecture, créée spécialement pour tirer parti des serveurs à faible coût comme des systèmes haut de gamme, permet de traiter les données au plus près de leur source (minimisant les transferts réseau) et ainsi d’optimiser les ressources informatiques.

Les solutions d'intégration de données de Talend répondent à tous les besoins d'intégration de données, quelle que soit la taille de l’entreprise. En voici quelques exemples :

• Intégration de données opérationnelle : dans la plupart des entreprises, l'intégration de données opérationnelle est gérée par la mise en œuvre de programmes ou  routines personnalisés, réalisés à la demande pour répondre à un besoin spécifique. La migration et le chargement des données ainsi que la synchronisation et  la réplication des données sont les tâches d’intégration opérationnelle les plus fréquentes.
  
  
• Migration de données : lors de la mise à niveau d'une nouvelle version d'une base de données ou d'une application, ou lors du passage à un nouveau système, les données doivent être préservées dans le nouveau système. L'objectif de la migration de données est de transférer les données existantes dans le nouvel environnement. Elles doivent être converties dans un format adapté au nouveau système, tout en préservant les informations présentes dans l'ancien système. En savoir plus sur la manière dont les solutions Talend gèrent la migration de données.
  
  
• Synchronisation de données : dans le système d'information, il est très fréquent que les données soient gérées séparément par plusieurs applications ou bases de données. Pourtant, la cohérence des données doit être préservée entre ces systèmes. Le besoin de synchronisation des données peut être permanent (synchronisation entre des systèmes opérationnels) ou temporaire, par exemple lors d'une migration. La synchronisation de données inclut tous les processus qui assurent la synchronisation des données entre les applications et les bases de données. En savoir plus sur la manière dont les solutions Talend gèrent la synchronisation de données.
  
  
• ETL pour le décisionnel et stockage des données : Les processus ETL (extraction, transformation et chargement) sont les composants les plus critiques - et à valeur ajoutée - d'une infrastructure décisionnelle. Bien qu'ils soient quasiment invisibles pour l'utilisateur de la plateforme BI, les processus ETL récupèrent les données des systèmes opérationnels et les prétraitent pour les outils d'analyse et de reporting. La précision et la rapidité de l'ensemble de la plateforme BI s'appuie en effet sur les processus ETL. En savoir plus sur la manière dont Talend gère l'ETL pour le decisionnelet l'analyse.
  

Les entreprises mondiales tirent profit de l'intégration de données

L'intégration de données open source est utilisée par les entreprises de toute taille et de tout secteur pour des projets extrêmement divers. Voici des exemples d'études de cas qui vous aideront à comprendre les bénéfices apportés par l'intégration de données open source :

• Allianz Global Investors Distributors (AGID) standardise sa construction de data warehouse
• Sony Online Entertainment se sert de Talend pour ses analyses de données en temps réel
• Monolith fournit une offre décisionnelle puissante basée sur le modèle SaaS pour le secteur de la restauration rapide
• Talend Integration Suite au cœur de la future architecture orientée services de Monecam
• UMIT lutte contre le cancer par l'intégration, l'extraction et l'analyse des données

Consulter plus d'études de cas et de références clients.