Journée typique d’un développeur d’intégration de données : Fonctionnalités de base d’AMC Studio [4e partie]

Dans cette Journée typique d’un développeur d’intégration de données , vous allez apprendre à configurer votre Activity Monitor Console (AMC) pour capturer les statistiques d’un job d’intégration de données.

L’AMC vous donne des informations essentielles sur la durée d’exécution de certains composants, les performances globales d’un job et son historique de performances.

Nous allons étudier un job d’intégration de données de table de chargement de dimensions airline.

Si vous cliquez sur l’onglet Job et que vous allez en dessous de stat and log, vous verrez que dans l’instance que j’ai, les paramètres du job ont été configurés pour capturer toutes ces statistiques et tous ces workflows, et nos points de flux de données depuis le job.

capture d’écran amc studio

La journalisation s’effectue également dans une base de données AMC par la suite, indiquant dans quelles tables aller, et en capturant les statistiques de différents composants. De plus, je peux examiner en détail chaque composant pour capturer des statistiques spécifiques. Celles-ci seront ensuite consignées dans les tables AMC. J’ai coché les trois agrégations, car je veux vérifier si une des agrégations prend plus de temps que les autres.

capture d’écran amc studio

Une fois le processus lancé, vous pouvez ouvrir la perspective AMC dans Studio. Et si elle n’est pas disponible, vous pouvez cliquer sur cette icône ici, et toutes les perspectives disponibles seront ouvertes, puis vous sélectionnez AMC.

capture d’écran amc studio

Tout en haut, vous pouvez sélectionner les projets et la connexion de votre choix, puis cliquer sur Refresh (Actualiser) : tous les jobs passés qui ont été exécutés et dont les données AMC ont été consignées s’afficheront.

Voici la table de chargement de dimensions et l’historique de toutes les exécutions présentes dans la base de données.

capture d’écran amc studio

Si vous cliquez sur l’une des exécutions, puis sur le premier onglet (ou celui du milieu) des journaux, vous verrez les détails de ces composants. Je peux voir que la lecture du fichier a pris 25 % du temps, le reste du temps étant partagé également entre les composants de l’agrégation. Donc, aucun des composants ne prend plus de temps qu’un autre.

J’ai aussi activé la surveillance, je peux donc savoir si des enregistrements sont rejetés, et avec quel pourcentage. Vous pouvez aussi appliquer des seuils. L’indicateur est en vert, montrant que 100 % des données ont été chargées, je n’ai donc pas d’erreurs ni d’incidents à déplorer.

Pour en savoir plus, regardez toute la vidéo ou cliquez sur le bouton de droite ci-dessous pour découvrir les fonctionnalités de création de job.

| Last Updated: August 7th, 2019