Talend Data Mapper Advanced – Spark

Talend Data Mapper (TDM) propose différents composants spécialisés afin de traiter les fichiers hiérarchiques avec la puissance de Spark.

Cette formation vous montrera comment créer des Jobs Big Data batch ou streaming, et comment appeler des maps TDM à partir de ces jobs. À l’issue de cette formation, vous saurez transformer des fichiers hiérarchiques et des flux d’enregistrements hiérarchiques.

Durée 1 jour (7 heures)
Target audience développeurs Java et architectes logiciels.
Prerequisites développeurs Java et architectes logiciels.
Course objectives

à l’issue de cette formation, vous pourrez :

  • Appeler des maps TDM dans des jobs Big Data batch et streaming
  • Comprendre les bases de Spark, Spark streaming et Kafka
  • Utiliser les composants TDM spécifiques aux Jobs Big Data
  • Activer les sorties multiples sur les composants Big Data de TDM
Course agenda

Introduction à Spark

  • Concepts

Connexion au cluster Hadoop

  • Ouvrir le projet de formation
  • Monitorer le cluster Hadoop
  • Créer les métadonnées du cluster

Introduction à TDM sur Spark

  • Concepts

Conversion de fichiers

  • Convertir des formats de fichiers

Transformations de fichiers

  • Transformer des fichiers – sortie unique
  • Transformer des fichiers – sorties multiples

Traitement de fichiers

  • Traiter des fichiers de données hiérarchiques

Traitement de flux

  • Comprendre les bases de Kafka
  • Traiter des flux d’enregistrements hiérarchiques