Talend Integration Suite

Talend Integration Suite est la première solution open source d'entreprise pour l'intégration de données, conçue pour fonctionner en environnement multi-utilisateurs, et pour supporter les plus hauts volumes de données et les processus les plus complexes.

Talend Integration Suite est un service de souscription qui étend Talend Open Studio avec un support technique de haut niveau et des fonctionnalités supplémentaires pour faciliter le travail en équipe et industrialiser les déploiements de niveau entreprise.

Talend Open Studio est au cœur de Talend Integration Suite. Ses trois principaux logiciels, Business Modeler, Job Designer et Metadata Manager, constituent l’environnement de travail primaire des utilisateurs fonctionnels et des développeurs de processus d’intégration.

Pour choisir quelle version est la mieux adaptée à votre projet d’intégration, de migration ou de synchronisation de données, consultez la matrice de comparaison fonctionnelle.

Pour plus d’informations  sur Talend Integration Suite et vos projets d’intégration de données, de migration de données ou de synchronisation de données, consultez notre démo online ou nos témoignages d’utilisateurs.

Travail collaboratif et consolidation de développement

Talend Integration Suite: Business Modeler - Open source ETL

Le Shared Repository de Talend Integration Suite est conçu pour consolider toutes les informations projet et les métadonnées de l'entreprise dans un référentiel centralisé qui est partagé par toutes les parties prenantes des processus d'intégration : les utilisateurs fonctionnels, les développeurs de jobs, et les équipes de surveillance de la production - tous ont ainsi accès à la même version de la vérité. Ce référentiel partagé facilite la collaboration entre les membres des équipes, en leur permettant de stocker et de partager leurs modèles métier, leurs jobs d'intégration, et leurs métadonnées.

Ce référentiel promeut la réutilisabilité des objets et du code, et facilite l'adoption de standards de développement qui peuvent ainsi être exploités par tous les développeurs.

Les fonctionnalités avancées de collaboration du Shared Repository comprennent check-in/check-out au niveau de chaque objet, ainsi que la gestion des utilisateurs, rôles, permissions & privilèges.

Industrialisation

Talend Integration Suite: Industrialization

L’architecture des processus d’intégration étant de plus en plus complexe, les temps d’implémentation s’allongent. Talend Integration Suite intègre en standard des fonctions d’automatisation afin de faciliter le développement et l’implémentation de ces processus.

  • De nombreux assistants permettent d’automatiser la connexion aux sources les plus diverses, notamment les plateformes d’entreprises telles que SAP, ou les sources les plus variées telles que les formats Copybook (EBCDIC) ou les Web Services.
  • Les processus les plus utilisés peuvent être développés dans des Joblets Talend réutilisables à l’infini pour faciliter l’industrialisation des projets d’intégration de données complexes.
  • Les Projets de Référence permettent d’éviter la duplication manuelle des projets existants. Le projet «Esclave» est lié à un projet maître par référence et permet ainsi la mise à profit des développements et la réutilisation des processus validés.
  • La fonction de parallélisation permet de tirer profit des capacités serveur de l’entreprise et du nombre de processeurs disponibles, améliorant ainsi considérablement les temps de traitement.
  • La fonction Change Data Capture (Publish & Subscribe) identifie et capture rapidement les données qui ont été ajoutées, mises à jour ou enlevées des bases de données et rend accessible ces modifications (et seulement celles-ci) aux abonnés du service.
  • L’outil d’Audit de Projet analyse les données quantitatives et qualitatives sur les projets calculées sur la base de données de référence, permettant ainsi l’optimisation des projets d’intégration de données.

Gestion des Déploiements complexes

Talend Integration Suite: Gestion  des Déploiements complexes

Talend Integration Suite incorpore des fonctionnalités puissantes pour gérer tous les déploiements d’intégration de données - des processus les plus simples aux plus complexes, comprenant de quelques jobs à plusieurs milliers de jobs, gérant des volumes de données allant de quelques enregistrements à plusieurs téraoctets.

Basée Web 2.0, l’interface AJAX de l’Administration Cen­ter est conviviale et rapide.

  • Job Conductor coordonne et planifie l’exécution des jobs d’intégration de données. Il fournit une interface d’exécution centralisée à partir de laquelle tous les jobs peuvent être démarrés, soit à la demande, soit automatiquement en fonction d’un planning. Job Conductor cartographie automatiquement les serveurs d’exécution et surveille leurs ressources, afin de load balancer intelligemment l’exécution des jobs.
  • Job Conductor Advanced apporte en plus des fonctions de déclenchement de job sur des événements définis, pour une intégration en temps réel.
  • Grid Conductor optimise la montée en charge des processus d’intégration et assure une utilisation optimale du grid d’exécution, en distribuant automatiquement les jobs sur ce grid.
    Avec un load balancing dynamique, qui surveille constamment les ressources disponibles sur les serveurs d’exécution, et une distribution intelligente des jobs, Grid Conductor garantit une bonne exécution de tous les jobs, et exploite au mieux les ressources disponibles en supprimant les problèmes de performances dus à l’approche mono-serveur traditionnelle. Il permet aussi de s’affranchir des problèmes de préemption de ressources créés par l’exécution concurrente de plusieurs jobs, ou par l’utilisation de serveurs non dédiés. Grid Conductor assure également le fail-over en cas de non-disponibilité d’une ressource d’exécution.
  • CPU Balancer fournit une parallélisation maximale des processus d’intégration. Il distribue les jobs entre les ressources disponibles, parallélise leur exécution entre CPUs et cores. Il fournit également des points de synchronisation et d’attente.
  • Distant Run permet d’exécuter un job à distance sur des systèmes définis. Cette fonctionnalité s’avère indispensable pour tester des jobs dans la même configuration que l’environnement de production ou sur différents systèmes d’exploitation, ou tout simplement pour exécuter des jobs à la demande sur des systèmes données - sans avoir à procéder à un déploiement complet.

Surveillance de l'exécution

Talend Integration Suite: File Wizard - Open source ETL alend Integration Suite: dashboard - Open source ETL

Talend Integration Suite contient des fonctionnalités de surveillance sophistiquées, qui permettent de centraliser la supervision de tous les processus d'intégration.

  • L’Activity Monitoring Console permet de surveiller les événements d’exécution des jobs (succès, échecs, warnings, etc.), les temps d'exécution et les volumes de données. Le monitoring s'effectue au travers d'une console unique, intégrée à Talend Open Studio ou disponible en standalone. Des indicateurs et des seuils personnalisables fournissent une vue de haut niveau ainsi que la possibilité d’explorer en détail les jobs individuels.
  • L’Activity Monitoring Dashboard (inclus dans Talend Administration Center) est une version plus avancée de l’Activity Monitoring Console, avec une interface Web accessible au travers d’un navigateur. Le Dashboard fournit des jauges et indicateurs d’état en temps réel et également orienté business, permettant ainsi aux utilisateurs fonctionnels de visualiser le statut ainsi que l’historique d’exécution des jobs.

Option Qualité de données

Fournis en option, les outils de qualité de données incluent : un outil d’exploration et de profilage pour identifier les données non-conformes et de mauvaise qualité ainsi qu’un outil de redressement de données permettant un contrôle complet de la qualité des données. Tous les traitements de données sont facilement intégrables aux processus d’intégration, faisant de la qualité de données une étape du traitement des données.

Fournis en option, les outils de qualité de données incluent : un outil d’exploration et de profilage pour identifier les données non-conformes et de mauvaise qualité ainsi qu’un outil de redressement de données permettant un contrôle complet de la qualité des données. Tous les traitements de données sont facilement intégrables aux processus d’intégration, faisant de la qualité de données une étape du traitement des données.

Support Technique

Les centres de support technique de Talend fournissent des services de support rapide, efficace et de haute qualité aux souscripteurs de Talend Integration Suite, qui bénéficient ainsi de l'expertise des spécialistes techniques de Talend, eux-mêmes directement connectés avec la Recherche & Développement. Plus d'information sur les offres de Support Technique de Talend.

Talend Integration Suite MPx

Basée sur Talend Integration Suite, la technologie d’intégration de données de Talend orientée entreprises, l’extension MPx est une plateforme d’intégration de données hautement évolutive capable de traiter de gros volumes de données, grâce à une technologie unique de parallélisation massive.

Conçue pour les entreprises qui ont besoin de traiter d’énormes volumes de données dans un temps extrêmement court, Talend Integration Suite MPx répond aux besoins les plus exigeants en la matière et domine tous les benchmarks de performance actuels.

Demandez plus d’informations sur Talend Integration Suite MPx.

Pour en savoir plus  sur Talend Integration Suite MPx, consultez notre démo online ou nos témoignages d’utilisateurs.


Technologie FileScale

Talend Integration Suite MPx intègre une technologie unique, FileScale, qui tire parti de l’architecture matérielle du serveur d’exécution et optimise la performance des algorithmes de tri bas niveau.

La technologie FileScale travaille en mode Bulk sur de (très) grands fichiers. Elle tire pleinement parti de l’architecture d’exécution car elle ne connaît pas les limitations de JVM ou du moteur d’exécution, caractéristiques des architectures traditionnelles d’intégration de données.

La technologie FileScale trie et transforme les données par le biais d’algorithmes mathématiques innovants et hautement performants.

Appliquant le principe de l’architecture MapReduce, FileScale scinde les opérations de traitement de données en un certain nombre de petits traitements puis les distribue vers de multiples processus fils, tirant parti de l’architecture matérielle toute entière pour un traitement plus rapide et optimisé.


Processus d’intégration de données massivement parallèles

Les défis liés au traitement de gros volumes de données ressemblent à ceux rencontrés dans n’importe quel projet de grande échelle. Typiquement, la meilleure approche est de diviser la tâche en un maximum de sous-tâches et de les répartir vers toutes les ressources disponibles afin de les traiter en parallèle.

De la même façon, Talend Integration Suite MPx tire parti des architectures multi-serveur, multi-CPU et multi-core où le code et les sous-processus peuvent être exécutés en parallèle pour profiter au maximum de l’architecture. Cette fonctionnalité de parallélisations massive optimise l’utilisation des capacités du serveur d’entreprise et le nombre de processeurs disponibles améliorant ainsi considérablement les temps de traitement.

Talend Integration Suite MPx automatise le découpage de l’ensemble des données en plusieurs flux parallèles et accélère ainsi le traitement en tirant profit des fonctions de chargement massivement parallèle des moteurs SGBD.

De plus, Talend Integration Suite MPx supporte le système de fichiers distribués (HDFS) Hadoop qui fournit un accès performant aux données applicatives . Il fournit également un support de Hive, l’infrastructure de data warehouse de Hadoop qui permet de faire des synthèses de données et du requêtage ad-hoc.


Basé sur Talend Integration Suite

Talend Integration Suite MPx s’articule autour des modules socle de Talend Integration Suite, notamment: le Business Modeler, le Job Designer, et le Metadata Manager, ainsi que des fonctionnalités de travail collaboratif, de consolidation, d’industrialisation et de monitoring.


Talend Integration Suite RTx

Basée sur Talend Integration Suite, la technologie d’intégration de données Entreprise de Talend, Talend Integration Suite RTx est une plateforme d’intégration de données qui répond aux besoins d’intégration en temps réel des entreprises.

Les entreprises d’aujourd’hui vivent dans un monde « à la demande » où les données de plus d’une heure sont déjà obsolètes. Grâce à des données actualisées en temps réel, les utilisateurs souhaitent être mieux informés afin d’améliorer leurs prises de décisions.

Demandez plus d’informations sur Talend Integration Suite RTx.

Pour en savoir plus  sur Talend Integration Suite MPx, consultez notre démo online ou nos témoignages d’utilisateurs.


Une architecture orientée services

Talend Integration Suite RTx supporte divers types de services :

  • Des services d’intégration de données qui déclenchent ou intègrent des processus d’intégration de données en temps réel en fonction des besoins grâce aux services Web.
  • Des services d’accès aux données qui fournissent un accès facile et immédiat aux données critiques,  généralement difficiles d’accès via les protocoles standards.

La console d’administration de Talend Integration Suite RTx offre un environnement entièrement graphique basé Web pour exposer en tant que service un ou plusieurs jobs d’intégration de données, permettant leur déploiement automatique au sein des applications et systèmes hétérogènes à l’aide de liaisons SOAP (RPC ou documents). Un assistant WSDL dédié permet de générer des descripteurs WSDL pour exposer des Jobs en tant que Services Web et trouver les entrées UDDI correspondantes pour consommer des Services Web.

Talend Integration Suite RTx fournit en natif une fonction d’export vers JBoss ESB pour une intéropérabilité complète entre les applications.

Le SOA Manager comprend également une fonctionnalité avancée de gestion des requêtes entrantes basée sur un système optimisé de pooling et de gestion des files d’attente. Le pool de services actifs défini par l’utilisateur traite les requêtes en temps réel tandis qu’un gestionnaire des files d’attente se charge des requêtes supplémentaires, contrôlant ainsi le débit des données pour un traitement asynchrone.


Exécution sur évènements

Talend Integration Suite RTx offre des fonctions de déclenchement d’exécution temps réel orientés événements via des Services Web ou en exécution directe.

Le système d’écoute des événements permet le déclenchement à la demande des exécutions, à l’arrivée d’un message à travers un MOM JMS, ou un Enterprise Service Bus (ESB) via des fonctions RPC, HTTP et de sockets d’écoute et à l’aide de conditions de type "wait for".

Les temps de latence et les volumes peuvent être configurés pour un traitement au fil de l’eau, en mode batch (taille des lots personnalisable) pour un traitement quasi temps réel ou par une combinaison de tous les modes.

Talend Integration Suite RTx fournit un support multi-instance. Lors de l’exécution, les différents jobs  peuvent être distribués sur plusieurs processeurs et serveurs, se servant au mieux de l’équilibrage de téléchargement et de la grille d’architecture et en permettant le meilleur rendement d’exécution possible.


Connecteurs temps réel

Talend Integration Suite RTx fournit de nombreux connecteurs dédiés au traitement temps réel des données. Le composant Service Web permet aux processus d’intégration de données de consommer des Services Web à l’aide des protocoles SOAP ou REST.

Talend Integration Suite RTx supporte nativement les communications asynchrones via un Message Orienté Middleware (MOM). Il s’intègre également avec des systèmes de messagerie JMS pour permettre une architecture orientée événements (EDA) et supporter une architecture orientée service (SOA).

Les connecteurs métiers vers les APIs temps réel d’applications métiers incluent notamment : SAP, Salesforce.com, Microsoft Dynamics, etc.

L’intégration de données est possible grâce à d’autres connecteurs :

  • SGBDR
  • Unité centrale ou systèmes existants
  • Fichiers
  • LDAP, email, HTTP, FTP, etc.
  • Files de messages (MOM) & ESB

Capture des changements

La capture de changements (CDC) permet de réduire le trafic réseau et ainsi le temps d’Extraction, Transformation et Chargement (ETL). La fonction Change Data Capture identifie et capture rapidement les données en temps réel qui ont été ajoutées, mises à jour ou enlevées des tables de bases de données. Cette fonctionnalité transactionnelle est disponible nativement pour les SGBDR les plus courantes et via l’intégration Attunity pour les mainframes ou systèmes hérités.

Le mode Publish & Subscribe rend ces modifications (et seulement les modifications) disponibles aux abonnés en continu ou en mode compilé selon les besoins de l’application abonnée. Ce mode offre du support pour des temps de latence multiples et pour de nombreux types de consommateurs.


Basé sur Talend Integration Suite

Talend Integration Suite RTx s’articule autour des modules de base de Talend Integration Suite, notamment : le Business Modeler, le Job Designer et le Metadata Manager, ainsi que des fonctionnalités de travail collaboratif, de consolidation, d’industrialisation et de monitoring.