Nouveautés Talend – Fall '18

Augmentez les capacités disponibles pour offrir plus rapidement davantage d’informations aux personnes concernées.

Délivrer l'information essentielle, à grand échelle

Les solutions Talend aident les entreprises à optimiser et améliore en continu leurs capacités à collecter, traiter et exploiter les données.

Créer une source unique de données fiables

Talend Data Catalog rend les données 100 fois plus accessibles

Réduire les coûts de traitement
des données jusqu'à 80 %

Exécuter les traitements Spark serverless dans le cloud grâce à Databricks ou à Qubole Data Services

Développer des API en quelques jours –
et non en plusieurs mois

Simplifier le développement des API avec Talend Cloud API Services

Trusted Sources Infographic

Créer une source unique de données fiables

Data Catalog automatise l’exploitation de vos métadonnées : exploration, profiling, échantillonnage, catégorisation, découverte de relations et enrichissement. Jusqu'à 80 % des informations associées aux données sont documentées automatiquement et tenues à jour grâce à la sémantique et au machine learning. L'utilisateur dispose ainsi en permanence des données dont il a besoin.

Regarder : Comment Organiser et Contrôler des Données à Grande Echelle

Développer des API en quelques jours – et non en plusieurs mois

Talend Cloud API Services facilite et accélère le développement grâce au support complet du cycle de développement des API – de la phase de conception à la phase de test. Créez des API sans avoir à apprendre des langages de description complexes tels que OpenAPI Specification ou RAML. Collaborez avec vos consommateurs grâce au prototypage simplifié et à la génération automatique de documentation.

Regarder : Comment Partager des Données à Grande Echelle

data integration

Réduire les coûts de traitement des données jusqu'à 80%.

Avec les big data et les charges de travail Spark, dégagez une connaissance plus rapide et pour un coût très inférieur. Exécutez les charges de travail Spark sans serveur dans le cloud grâce au support de Microsoft Azure Databricks et Qubole Data Services on AWS.

Réduisez les tâches d'administration des serveurs et accélérez les projets de développement et de déploiement d'un simple clic et directement à partir de Talend Studio. Profitez de l'élasticité native du cloud pour augmenter/réduire automatiquement vos ressources cloud et répondre efficacement aux besoins de vos activités.

Regarder : Traiter des Données à Grande Echelle tout en Respectant le Budget

Améliorations

Décrouvrez les nouvelles fonctionnalités de tous les produits Talend Fall '18. Pour plus de détails sur les spécifications, composants et connecteurs de chaque version et produit, visitez : https://help.talend.com/.

Data Integration
Big Data Integration
Data Quality
Data Catalog
Data Preparation
Data Stewardship
MDM
Cloud API Services
ESB
Talend Data Mapper
Data Integration
  • Faites évoluer votre data warehouse vers le cloud grâce au support natif de Snowflake sur Microsoft Azure. Tirez parti des performances exceptionnelles et de l'évolutivité de Snowflake pour des analyses plus rapides. Intégrez très facilement vos données avec d'autres sources de données Azure et déchargez facilement les données sur site vers Snowflake.
  • Composants Snowflake mis à jour pour des performances et une productivité accrues :
    • Créez des tables Snowflake dans les jobs Talend pour faciliter le chargement des données
    • Les opérations de bulk loading ont été améliorées. Bénéficiez automatiquement des options de compression et de bulk loading de Snowflake.
  • Mise à jour des composants SAP pour améliorer les performances et la productivité :
    • Le support de SAP HANA ELT en mode « push-down » permet d'exploiter les capacités de traitement parallèle de HANA sans avoir besoin de coder dans SAP.
    • Bulk loading des données vers SAP HANA pour des analyses plus rapides.
    • Supporte le transfert sécurisé de fichiers (SFTP) pour vous permettre d'extraire en toute sécurité les grands datasets stockés dans SAP.
    • Extraction facile de gros volumes de données SAP en mode intégral ou delta grâce au provisionnement ODP (Operational Data Provisioning).
  • Intégrez facilement Oracle Autonomous Data Warehouse (ADW) pour une mise à l'échelle élastique et une exécution rapide des requêtes. Talend supporte les fonctionnalités ELT en mode « push-down » pour mieux exploiter la puissance de traitement parallèle d'ADW.
  • D'un simple clic dans Talend Studio, buildez et poussez votre job sous forme de conteneur vers un référentiel Docker.
Big Data Integration
  • Réduisez le coût de traitement des big data en exécutant les charges de travail Spark sans serveur dans le cloud grâce au support de Microsoft Azure Databricks et de Qubole Data Services on AWS.
  • Installez instantanément les mises à jour des distributions Hadoop dès leur sortie sans mettre à niveau Talend grâce au support dynamique des distributions pour Cloudera CDH 6.0.x (préversion technique) et Hortonworks 2.6.x et 2.5.x.
  • Exploitez les améliorations récentes de MapR et Spark 2.2 grâce au support de MapR 6.0.1 et de MEP 5.0.
  • Les composants HDFS ont été améliorés avec intégration du support de WebHDFS et d’Azure Data Lake Store pour faciliter la connexion et commutation des systèmes de fichiers.
  • Accédez aux fonctionnalités les plus récentes de Google BigQuery avec prise en compte de la région, sécurité SQL et cloud standard pour vous aider à respecter les réglementations telles que le RGPD
  • Support plus performant et plus résilient de Hive – Définissez la haute disponibilité dans le métastore de Hive directement dans Talend Studio.
  • Vérifiez l'intégrité des big data à l'aide du composant tSchemaComplianceCheck avec Spark. Cette configuration garantit que les métadonnées sont cohérentes avec le schéma dans le job Spark. Si les données ne sont pas correctes, elles seront rejetées pour agrégation.
  • Support de MapR-DB OJAI 2.0 et des composants d'entrée qui permettent de lire/écrire des données pour le traitement haute performance des documents : vous obtenez ainsi des requêtes et résultats instantanés.
Data Quality
  • Auditez toutes les actions des utilisateurs dans le Dictionary Service y compris en matière de connexion, déconnexion, mises à jour de la configuration et déploiements (version on-premises uniquement).
  • Découvrez de nouveaux patterns, par exemple pour détecter des valeurs aberrantes, grâce à l'amélioration du profiling et au support des patterns basés sur des mots.
  • Importez et exportez plusieurs types sémantiques à la fois dans le dictionnaire pour améliorer la productivité.
  • Récupérez les numéros de téléphone internationaux à l'aide du composant tGoogleAddressRow.
  • Le support des bases de données Denodo complète les options de connectivité pour le profiling des données.
  • La version japonaise inclut de nouvelles fonctions de reconnaissance de données, de masquage et de standardisation des données
  • Talend Data Quality est désormais disponible en chinois
Data Catalog

Talend Data Catalog (anciennement, Talend Metadata Manager) s’enrichit de fonctions de profiling intelligent et de machine learning. Il automatise les actions suivantes : découverte, profiling, structuration, documentation, catégorisation et recherche par facette des métadonnées.

  • Vous pouvez effectuer une recherche guidée en temps réel sur tous les aspects de vos données – une solution plus rapide et efficace pour organiser, retrouver et consommer ces données.
  • Vous pouvez améliorer l'accessibilité des données en soumettant les datasets à des opérations automatiques de profiling et de documentation.
  • La découverte intelligente et sécurisée des métadonnées enrichit celles-ci en améliorant leurs qualités : protection, classification, accessibilité, facilité de recherche et historique des données.
  • Meilleur contrôle des données grâce à l'agrégation sociale : les responsables de la gouvernance et les utilisateurs autorisés peuvent tagger les métadonnées ou les relations en les affectant d'un avertissement, en approuvant, désapprouvant ou certifiant les relations entre ces données (ces marquages faciliteront dès lors les recherches).
  • Les relations entre les données dans un data lake ou même entre des environnements disparates sont automatiquement capturées et classées en fonction de leur popularité, ce qui améliore de bout en bout l'historique des données, la gouvernance et la conformité.
  • Exploration et découverte automatiques des données du data lake, y compris les fichiers non relationnels, NoSQL et autres structures de base : CSV, XLSX, JSON, AVRO, Parquet, etc.
  • La génération automatique de la documentation des métadonnées pour tout type de ressource (datasets, colonnes, rapports, etc.) améliore l'accessibilité et la gouvernance des données grâce à des métadonnées enrichies et toujours à jour.
  • Plus de 30 connecteurs de métadonnées nouveaux ou mis à jour pour les big data, le cloud, l'analytique et les applications d’entreprise, avec pour effet la réduction des coûts de création et de maintenance de l'inventaire des données.
Data Preparation
  • Améliorez la sécurité en auditant toutes les actions des utilisateurs, y compris connexion, déconnexion et actions exécutées sur les préparations ou les datasets (on premises uniquement)
  • Découvrez de nouveaux patterns, par exemple pour détecter des valeurs aberrantes, grâce à l'amélioration du profiling et au support des patterns basés sur des mots.
  • Fonction avancée de masquage des données pour une meilleure confidentialité des données, permettant de sélectionner une fonction de masquage puis d'effectuer un masquage répétable et cohérent.
  • Préparation des builds plus rapide grâce à l'amélioration des performances de l'interface utilisateur
  • Nouvelles fonctions de qualité des données et de profiling pour les caractères japonais
  • Talend Data Preparation est maintenant disponible en chinois
Data Stewardship
  • Améliorez la sécurité en auditant toutes les actions des utilisateurs, y compris connexion, déconnexion et actions exécutées sur les campagnes et les définitions des modèles de données (on premises uniquement)
  • Découvrez de nouveaux patterns, par exemple pour détecter des valeurs aberrantes, grâce à l'amélioration du profiling et au support des patterns basées sur des mots.
  • Démarrez plus rapidement avec des modèles de données et des campagnes prédéfinis pour tous les types de campagnes.
  • Trouvez plus rapidement des tâches et des erreurs spécifiques grâce à la fonctionnalité de recherche globale
  • Fonctions de survivorship plus riches pour améliorer la fiabilité des données
  • Nouvelles fonctions de gestion des données et de profiling pour les caractères japonais
  • Talend Data Stewardship désormais disponible en chinois
MDM
  • Recherche plus rapide des master data grâce à une recherche floue sur tous les attributs d'une vue et à des opérateurs de recherche supplémentaires pour les clés étrangères.
  • Exporter les résultats de recherche vers un fichier CSV (en plus de XLSX)
  • Possibilité d'ajouter des champs complexes dans un modèle de données sans impact sur les données existantes.
  • Talend MDM maintenant disponible en japonais et en chinois
Cloud API Services

Talend Cloud API Services est une nouvelle offre qui couvre l’ensemble du cycle de développement des API (conception, test, documentation, implémentation et déploiement), avec à la clé d’importantes économies de temps pour la création et la maintenance des API.

  • Cloud API Designer
    • Outil de conception visuelle et basée sur les contrats qui évite de devoir connaître les standard complexes (Open API Specification (OAS) / Swagger et RAML)
    • La création de mocks en ligne permet un prototypage itératif qui facile la validation des API par les consommateurs.
    • Génère automatiquement et héberge la documentation des API pour en faciliter l’usage par d’autres.
    • Assure une intégration facile avec les passerelles API via le support OAS / Swagger et RAML.
    • Partage la définition d’API avec les membres de l’équipe pour un feedback collaboratif.
  • Cloud API Tester
    • Outil visuel destiné à déboguer et découvrir les API. Appelle tout type d’API HTTP (REST, SOAP...) et inspecte les réponses.
    • Utilisez les assertions avec des assistants pour effectuer tout type de contrôle sur votre API.
    • Créez facilement des scénarios de test et d’exécution composés de nombreuses requêtes API pour simuler un usage concret.
    • Partagez des tests API et collaborez avec votre équipe.
    • Fournit des tests automatisés avec intégration Maven standard et reporting Junit pour bonnes pratiques DevOps.
  • Implémentation et déploiement intégrés
    • Importez facilement dans Talend Studio afin d’ajouter visuellement des étapes avancées de routage, transformation et médiation à votre API.
    • Intégrez la qualité des données pour garantir l’intégrité des données envoyées entre les terminaux.
    • Bonnes pratiques d’intégration continue/développement continu (CI/CD) pour accélérer le développement et le déploiement.
    • Déploiement aisé sur site ou dans le Cloud en quelques clics.
ESB
  • Mises à jour intégration continue/livraison continue (CI/CD) avec standards Maven pour les services de données et les routes.
  • Le support Kafka 1.0 et Camel 2.21.2 permet d’utiliser les toutes dernières mises à jour Kafka.
  • Journaux d’amélioration des performances.
  • Support JFrog Artifactory
Talend Data Mapper
  • Masquage pour les données hiérarchiques (ex. JSON)
  • Mapping hiérarchique multi-entrée pour l’enrichissement des données et les jointures

Augmentez vos capacités d'intégration des données

Pour plus de détails sur les spécifications, composants et connecteurs de chaque version et produit, visitez : https://help.talend.com/.

Distributions Hadoop (nouvelles et mises à jour)

  • Amazon EMR 5.15
  • Cloudera CDH 6.0
  • Hortonworks 2.6x
  • MapR 6.0.1 with MEP 5.0
  • Databricks 3.5 LTS
  • Qubole Data Services 1.0
  • Spark 2.3

Produits nouveaux ou mis à jour

  • Couchbase
  • Google BigQuery
  • Greenplum
  • MapR-DB OJAI
  • MariaDB
  • MarkLogic
  • MySQL
  • Oracle ADW
  • PostgreSQL
  • Salesforce
  • SAP HANA
  • Snowflake