Talend Big Data Basics

Talend fournit un environnement de développement qui permet une interaction avec de nombreuses sources et destinations Big Data sans avoir à apprendre et écrire du code compliqué.

Talend Big Data Basics présente les composants Talend embarqués avec différents produits et interagissant avec des systèmes Big Data.

DuréeUn jour (7 heures)
PublicToute personne souhaitant utiliser le Studio Talend pour interagir avec des systèmes Big Data.
PrérequisAvoir suivi la formation Talend Data Integration Basics ou la formation Talend Data Integration Advanced.
Objectifs de la formation
À l’issue de cette formation, vous pourrez :
  • Créer des métadonnées de cluster manuellement à partir de fichiers de configuration, ou automatiquement
  • Créer des métadonnées HDFS et Hive
  • Vous connecter à votre cluster pour utiliser HDFS, HBase, Hive, Pig, Sqoop et Map Reduce
  • Lire et écrire des données dans HDFS (HDFS, HBase)
  • Lire et écrire des tables dans HDFS (Hive, Sqoop)
  • Traiter des tables stockées dans HDFS avec Hive
  • Traiter des données stockées dans HDFS avec Pig
  • Traiter des données stockées dans HDFS avec des Jobs Big Data Batch
Programme de la formation

Connaissances de base

  • Ouverture d’un projet
  • Monitoring du cluster Hadoop
  • Création d’une métadonnée de cluster

Lecture et écriture de données dans HDFS

  • Stockage d’un fichier dans HDFS
  • Stockage de plusieurs fichiers dans HDFS
  • Lecture de données dans HDFS
  • Utilisation de HBase pour stocker des données creuses dans HDFS

Utilisation de tables

  • Import de tables avec Sqoop
  • Création de tables avec Hive


Traitement des données et des tables dans HDFS

  • Traitement des tables Hive avec des Jobs
  • Profiling de tables Hive
  • Traitement de données avec Pig
  • Traitement de données avec des Jobs Big Data Batch