Talend Open Studio

Le Business Modeler intégré à Talend Open Studio permet aux acteurs fonctionnels de prendre part à la conception des flux de données et de suivre de près l'avancement des développements grâce à une approche top-down unique.

Dans l'espace de modélisation du Business Modeler, l'équipe fonctionnelle modélise et documente les processus d'intégration sous forme de diagrammes qui permettront ensuite d'orienter le développement et de faire évoluer les processus en fonction des besoins.

Le Job Designer de Talend Open Studio fournit une vue à la fois graphique et fonctionnelle des processus d'intégration.

Une boîte à outils graphique, la Palette, permet aux développeurs de disposer de tous les composants techniques et connecteurs correspondant à chacune des étapes de l'implémentation technique des besoins modélisés. Les processus d'intégration sont construits simplement en déposant ces composants et connecteurs sur l'espace de travail, en les reliant, et en définissant leurs propriétés (la plupart étant héritées des métadonnées).

La Palette de composants inclut plus de 200 composants et connecteurs techniques et métier, qui fournissent des fonctionnalités de base telles que mappings, transformations et lookups, des fonctionnalités avancées comme le filtrage et le multiplexage de données, l'ELT, le support de la plupart des SGBDR, formats de fichiers, annuaires LDAP, etc. La Palette de composants peut être étendue grâce à des langages standards comme Perl, Java, ou SQL.

Talend Open Studio est un outil orienté métadonnées. Toutes les métadonnées (description des données) sont gérées dans le référentiel, le Metadata Repository, disponible en standard dans l'outil. Ce référentiel rassemble toutes les informations projet et assure la cohérence des processus d'intégration.

Les métadonnées des systèmes sources et cibles sont facilement chargées dans le Metadata Repository grâce à des fonctions d'introspection de bases de données et de fichiers et à de puissants assistants. Les propriétés définies dans le Metadata Repository sont héritées par les différents processus qui utilisent ces systèmes.

Au delà des métadonnées des systèmes sources et cibles, le Metadata Repository contient aussi les business models, les processus d'intégration, et les résultats de leur exécution – en faisant ainsi le référentiel unique d'information sur tous les processus d'intégration.

Talend Open Studio intègre une bibliothèque de connecteurs techniques et métier. Cette large gamme de connecteurs permet d’intégrer la solution dans des environnements les plus hétérogènes et d’assurer ainsi l’interopérabilité de tous les systèmes avec les meilleures performances possibles. Cette bibliothèque, enrichie en continu, contribue à étendre les fonctionnalités d’intégration, de migration et de synchronisation de données de la solution.

Visitez http://www.talendforge.org/components pour une liste complète des connecteurs supportés.

Talend Open Studio tire parti de langages standard tels que Java, Perl et SQL. Les utilisateurs peuvent ainsi facilement modifier les composants existants et en créer de nouveaux pour couvrir des besoins très spécifiques si besoin est. Une vue dédiée, Talend Exchange, directement accessible dans Talend Open Studio leur permet d’ajouter ces nouveaux composants nativement dans l’application. Les utilisateurs peuvent également créer des routines et autres morceaux de code et les centraliser dans le référentiel (Repository) afin de les réutiliser dans leurs Jobs.

Talend Open Studio inclut des fonctions puissantes de mise au point, de test et de debugging qui permettent de suivre l'exécution des flux de données.

Quand un job d'intégration est exécuté au travers de l'interface du Job Designer – en mode graphique – les statistiques sont affichées en temps réel, montrant le nombre d'enregistrements traités et rejetés, ainsi que le débit (enregistrements par seconde) – permettant d'identifier les problèmes immédiatement. Il est également possible d'activer un mode trace, qui montre le comportement enregistrement par enregistrement et affiche le résultat des transformations. Les breakpoints et variables de debugging sont aussi disponibles. Ces fonctions de mise au point, associées au fait que la solution s'appuie sur des langages standard, autorisent une prise en main très rapide et un temps de mise en place exceptionnellement court.

Le code généré, quel que soit le langage cible, est visible et accessible en temps réel, directement depuis l'environnement de développement.

Les fonctions évoluées de gestion de contextes d’exécution (Test, Pré Production, Production…) intégrées à la solution facilitent le déploiement des processus d’intégration dans tous les projets d’intégration, de migration ou de synchronisation des données. Le chargement implicite des paramètres de contexte directement à la conception des Jobs permet de prendre en compte les différents environnements d’exécution et de les gérer facilement. Les processus sont facilement déployés à travers tous les systèmes de l’entreprise sous la forme de services web via l’outil d’export.

Des fonctions de génération automatique de la documentation (au format XML et HTML) permettent aux différents utilisateurs et intervenants de maintenir et mettre à jour les processus hérités.

La fonction d’analyse d’impact permet d’identifier les dépendances parmi les processus d’intégration développés dans Talend Open Studio et facilite la mise à jour globale de tous les processus centralisés dans le Repository.

Contrairement à la plupart des solutions d'intégration qui requièrent un serveur centralisé haut de gamme ou qui sont limités à l’utilisation des moteurs de SGBDR pour traiter les données, Talend Open Studio permet de distribuer les traitements sur une grille de serveurs à faible coût. Aucun système dédié à l'exécution des Jobs n'est requis ; au contraire, Talend Open Studio exploite les ressources disponibles, quels qu'en soient leur usage et leur nature.

Talend Open Studio est la seule solution d'intégration de données qui offre la possibilité d'utiliser à la fois l'approche traditionnelle ETL (Extraction Transformation Chargement) et l'approche ELT (Extraction Chargement Transformation). L'ELT exploite la puissance des moteurs de SGBDR pour exécuter les transformations directement au sein de la base de données, autorisant des gains de performances considérables en environnement homogène. Dans un même Job, il est possible de combiner ces deux approches pour obtenir le meilleur niveau de performance sans contrainte d'architecture. Cette souplesse permet de traiter les données au plus près de leur source (minimisant les transferts réseau) ; les ressources informatiques sont optimisées.

Ce modèle d’architecture, qui est particulièrement adapté pour tirer profit des grilles de serveurs  peu coûteux, autant que des systèmes haut-de-gamme, permet aux données d’être traitées au plus près de sa source (ce qui diminue les transferts de données), et maximise le taux d’utilisation des calculs de ressources.