Talend Big Data Advanced – Spark streaming

Cette formation Talend fournit aux participants un environnement de développement complet, qui leur permettra d’interagir avec une architecture Big Data, sans avoir besoin de comprendre ou d’écrire de code complexe.

Cette formation traite des Jobs Big Data Streaming qui utilisent le framework Spark streaming.

Durée1 jour
(7 heures)
PublicToute personne souhaitant utiliser le Studio Talend pour interagir et exploiter les systèmes Big Data.
Pré-requis Avoir suivi la formation Talend Big Data Basics.
Objectifs

À l’issue de cette formation, vous pourrez :

  • Vous connecter à un cluster Hadoop depuis un Job Talend
  • Utiliser des variables de contexte et des métadonnées
  • Lire et écrire des fichiers dans HDFS ou dans HBase, dans des Jobs Big Data batch ou Big Data streaming
  • Lire et écrire des messages dans un topic Kafka en temps réel
  • Configurer un Job Big Data batch pour qu’il utilise le framework Spark
  • Configurer un Job Big Data streaming pour qu’il utilise le framework Spark streaming
Plan du cours

Introduction à Spark

  • Concepts

Découverte de Kafka

  • Monitorer le cluster Hadoop
  • Comprendre les principes de base de Kafka
  • Publier des messages sur un topic Kafka
  • Consommer des messages

Découverte de Spark

  • Comprendre les principes de base de Spark
  • Analyser des données client
  • Produire et consommer des messages en temps réel

Cas d’utilisation de traitement de fichiers log – génération de logs enrichis

  • Introduction au cas d’utilisation
  • Générer des logs bruts
  • Générer des logs enrichis

Cas d’utilisation de traitement de fichiers log – monitoring

  • Monitorer des logs enrichis

Cas d’utilisation de traitement de fichiers log – reporting

  • Générer des rapports d’activité à partir de fenêtres de données

Cas d’utilisation de traitement de fichiers log – analyse de batch

  • Ingérer des flux de données
  • Analyser des logs avec un Job batch