Talend Data Quality

La première étape d’un projet de qualité des données d’entreprise est de “profiler” ces données et les évaluer. Le data profiler est une application sophistiquée mais simple d’utilisation qui n’exige pas de connaissance particulière des moteurs de bases de données ou de la structure de fichier. Les utilisateurs métier ou les équipes en charge de la gestion des données peuvent ainsi effectuer toutes sortes d’analyses à l’aide d’un ensemble d’indicateurs, de modèles et de règles pour chaque élément de données à analyser ou superviser.

Ces indicateurs peuvent être des indicateurs statistiques simples ou avancés, des indicateurs alphanumériques ou numériques, mais aussi des données de synthèse ou une distribution statistique des données. Les modèles sont des expressions prédéfinies ou personnalisées, qui déterminent la forme attendue des données analysées tandis que les règles métier de qualité de données permettent de définir des seuils personnalisés et des plages de valeurs. Ces indicateurs, modèles et règles ont pour but de mettre en exergue toutes les valeurs anormales.

En vérifiant régulièrement les métriques et en observant leur tendance et leur évolution, une entreprise peut constater l’amélioration ou la dégradation de la qualité de ses données.

Talend Data Quality inclut d’autres fonctionnalités de profiling et de reporting des données :

• Historisation des analyses
• Analyse en mode batch
• Personnalisation des feuilles de style des rapports
• Formats de rapport : PDF, HTML et XML

Une fois les problèmes identifiés, les données doivent être corrigées. Talend Data Quality dispose d’outils puissants pour redresser et réparer toutes les données non conformes à vos normes. Elle vous permet d’utiliser des données de référence pour paramétrer les normes de valeur, des expressions régulières pour les normes de format et de taille et des algorithmes de correspondance pour les doublons et quasi-doublons contenues dans vos données.

Vous pouvez facilement mettre en place des processus de nettoyage et de redressement de données à l’aide de la bibliothèque de composants d’intégration et de qualité de données. Ces composants dédiés, notamment les composants de nettoyage des noms et adresses ou les composants de déduplication floue sont disponibles en natif dans Talend Data Quality.

L’enrichissement de données permet de compléter les données manquantes de vos données pour atteindre vos objectifs de qualité. La variété de ces informations est quasi illimitée, cela peut par exemple être des informations sur une société, les points fidélité d’un consommateur, la longitude et la latitude d’une adresse pour optimiser les itinéraires de livraison ou la collecte de données de recensement pour définir des catégories démographiques ou socioprofessionnelles. L’environnement de développement intuitif de Talend Data Quality permet de développer dans un environnement unique des processus homogènes pour consolider, fusionner ou simplement insérer des données dans tous les systèmes cible.

Data Quality Portal est un outil de reporting et monitoring de la qualité de données, personnalisable et basé web, permettant aux entreprises de suivre de près les métriques de qualité de données qui peuvent impacter les processus métier importants.

Data Quality Portal fournit des indicateurs clé (KQI – key quality indicators) via un portail Web dédié sur lequel les équipes peuvent collaborer à l’amélioration de la qualité des données à travers toute l’entreprise. Ce portail inclut notamment des fonctions de reporting PDF, de dashboards personnalisables, de requêtage Ad-hoc et de monitoring des KQI dans le temps. Il fournit également un accès à un ensemble prédéfini de rapports et de jauges de qualité globale qui signalent les violations des seuils de qualité.

Tous les produits Talend étant intégrés à la même plateforme unifiée, toutes les fonctionnalités de qualité de données sont entièrement intégrées à Talend Integration Suite ainsi que Talend MDM, garantissant aux utilisateurs une ergonomie homogène, une prise en main rapide et un niveau de réutilisation élevé. Cela offre également des avantages sans précédent en termes d’optimisation des ressources, de simplicité d’utilisation et d’homogénéité des projets.

Fonctions clés de cette plateforme intégrée :

• Un studio unique de développement basé Eclipse : Les objets tels que les règles de transformation et de validation, les règles métier, les expressions, les variables, les joblets, etc. peuvent être facilement réutilisés d’un projet à l’autre.
• Un référentiel de métadonnées commun qui facilite le partage d’informations critiques telles que les données utilisateurs, les métadonnées applicatives, les business models, les règles métier, les règles de transformation et de validation, les connecteurs, ainsi que la validation et les workflows de données.
• Un environnement unifié de déploiement qui inclut un modèle d’exécution distribué et à haute disponibilité, une console unique de monitoring et un outil de reporting des exécutions en temps réel.