ETL et Salesforce
La plate-forme Salesforce, offrant toute une gamme de services cloud, est encore aujourd'hui l'un des principaux acteurs du monde des CRM. Sa popularité est due en grande partie à ses fonctionnalités et à sa polyvalence, ainsi qu'à sa capacité d'intégration avec d'autres applications et plates-formes. Dans cet article, nous présentons ces intégrations et vous expliquons tout ce que vous devez savoir pour préparer un processus ETL avec Salesforce.
Qu'est-ce que Salesforce ?
Salesforce est la principale plate-forme mondiale de gestion de la relation client (CRM, customer relationship management) basée sur le cloud, avec 19,6 % de part de marché. Salesforce propose une large gamme d'applications pour la gestion des processus métiers, dont les ventes, le service clientèle, le marketing et l'e-commerce. Citons parmi ses fonctionnalités les plus connues le stockage et la gestion des comptes clients, l'analyse des données marketing et la Business Intelligence.
Salesforce est l'un des pionniers des solutions SaaS (software-as-a-service), ayant commercialisé ses solutions CRM dans le cloud dès 1999. Avant cette date, la plupart des sociétés choisissaient de créer leurs produits CRM en interne, ce qui impliquait un développement long et coûteux.
Deux décennies plus tard, les applications Salesforce sont déployées dans de très nombreux secteurs et sociétés, des petites start-up jusqu'aux multinationales telles que GE, Vodafone, Coca Cola et Air Asia. Les produits Salesforce sont actuellement largement utilisés au sein des organisations à but non lucratif, dans l'administration et dans le secteur privé. Les applications Salesforce les plus réputées sont notamment Sales Cloud, Marketing Cloud et Service Cloud.
La plupart des utilisateurs utilisent plusieurs applications Salesforce et non une seule. Schneider Electric est un exemple typique : la société a commencé par utiliser une seule solution CRM Salesforce en 2010, avant d'adopter 30 applications Salesforce supplémentaires.
ETL et Salesforce
Maintenant que vous connaissez mieux Salesforce, parlons de l'intégration de données, et des raisons pour lesquelles cette intégration est importante pour toute société souhaitant rationaliser, simplifier ou consolider ses sources de données.
En termes simples, l'intégration de données est le processus qui consiste à combiner des données de différentes sources internes et externes dans un référentiel unique et centralisé. Par exemple, une société peut avoir des données client enregistrées dans une ancienne base de données, gérer les données d'inventaire depuis une plate-forme tiers et collecter des données supplémentaires depuis d'autres applications. À une époque, cette configuration était peut-être la meilleure.
Des cas tels que celui-ci sont assez fréquents. À mesure de l'évolution des sociétés, leurs besoins en matière de logiciels et de données changent également. Les stratégies existantes doivent donc être réévaluées. C'est à ce moment précis que l'intégration des données doit être envisagée.
Le processus ETL (extract, transform, load ou extraire, transformer et charger) est au cœur de l'intégration de données. L'intégration de données commence par l'extraction de données depuis diverses sources et leur transfert vers un data warehouse unique. (Pour les sociétés et organisations n'utilisant pas de data warehouse, le processus est similaire, mais les données sont intégrées directement dans la source.) Afin de faciliter l'intégration, Salesforce propose de nombreux points d'interface, y compris des API REST, SOAP et BULK. Ces interfaces se connectent à de grands volumes de données et les extraient simultanément.
Durant la phase de transformation, les données sont nettoyées, validées, dé-dupliquées, organisées et standardisées. Les différents jeux de données commencent alors à communiquer entre eux. Enfin, les données fraîchement converties sont chargées (ou livrées) à leur destination finale.
Bénéfices du transfert de données vers Salesforce
Connaissances plus précises
Les données libérées des silos sont beaucoup plus utiles. Votre application Salesforce contient des informations importantes sur vos clients. Si ces données ne sont pas intégrées avec vos autres plates-formes, vous passez peut-être à côté de connaissances, modèles ou tendances critiques.
Meilleure efficacité
Lorsque l'organisation met en place une nouvelle application, l'intégration de données vous permet de transférer des données depuis cette application vers la vue unifiée. Vous gagnez ainsi un temps précieux lors de la création de rapports et de l'analyse, car vous n'avez pas besoin de vous connecter à plusieurs systèmes pour réunir les données.
Meilleure qualité des données
L'intégration de données assure une meilleure fiabilité des données, les conflits et incohérences étant résolus au cours de l'intégration.
Analyse de données plus poussée
L'intégration des données les place en contexte et offre ainsi une vue globale. Elle permet la création de rapports et de tableaux de bord qui accélèrent les analyses, et ouvre la voie aux analyses de big data, aujourd'hui indispensables pour les sociétés qui souhaitent rester compétitives.
Migration et intégration de données : quelle est la différence?
Avant de poursuivre, vous devez bien comprendre la différence entre migration de données et intégration de données. Les termes sont parfois utilisés indifféremment, mais ils font référence à des processus distincts. Ils partagent cependant certaines techniques d'implémentation.
L'intégration de données est le processus qui consiste à combiner des données de différentes sources internes et externes dans une seule vue. L'objectif est de créer une référence unique, afin d'obtenir des connaissances commerciales plus pertinentes. Par exemple, l'intégration de Salesforce à d'autres systèmes marketing peut améliorer la génération de prospects et les stratégies de canaux de distribution. L'intégration de données décrit un ensemble unifié de petits processus. En d'autres termes, l'intégration de données fait référence à une vision d'ensemble.
La migration de données, au contraire, décrit le transfert de données d'un système à un autre. Lorsqu'une société décide de remplacer son système CRM par Salesforce, ou de passer à une version plus récente, elle doit migrer toutes ses données du système actuel vers le nouveau. La migration de données est donc un processus plus spécifique que l'intégration de données.
Méthodes d'intégration courantes
Jusqu'à présent, nous avons abordé l'intégration de données d'un point de vue assez général, en expliquant la combinaison de données de différentes sources dans une vue unique. Voyons maintenant certaines des principales méthodes d'intégration de données.
Consolidation manuelle des données
Vos données doivent être déplacées dans un référentiel commun. La consolidation manuelle est l'une des méthodes pour y parvenir. Cette étape requiert généralement une méthode ETL classique, mais certaines sociétés utilisent des outils intégrés personnalisés. La consolidation manuelle est efficace pour des petits jeux de données simples, qui ne nécessitent pas de nettoyage en profondeur.Elle s'avère cependant trop longue et trop risquée pour les jeux de données plus importants. L'absence de données en temps réel limite également son utilité.
Propagation des données par applications
L'objectif ici est de propager les données depuis chaque application vers un data warehouse commun. La logique d'intégration qui permet cette propagation réside dans chaque application de vente. Plutôt que d'utiliser une approche ou un outil communs pour transférer les données dans le warehouse, chaque application est responsable du déplacement de ses données dans le magasin central. Si un nettoyage poussé ou une manipulation importante des données est nécessaire, l'application est la plus à même de le comprendre et d'effectuer les opérations. C'est pourquoi cette méthode peut être choisie.
Cependant, elle est difficile à conserver dans la durée, car les applications sont amenées à changer, ce qui implique de revoir ou d'ajuster la logique d'intégration.
Propagation des données par middleware
Comme dans la méthode précédente, l'objectif est de propager des données dans un warehouse. Cependant, cette approche transfère la responsabilité de la logique d'intégration des applications vers un middleware. Par exemple, un mécanisme de Publication-Abonnement configuré entre Salesforce et le data warehouse peut s'assurer qu'un événement soit déclenché à chaque mise à jour, pour publier automatiquement les données vers le warehouse. Ce dernier est donc toujours actualisé.
Même lorsque les applications sont modifiées, le middleware assure son rôle de transfert des données vers le magasin central.
Toutefois, pour que cette méthode fonctionne, une couche d'implémentation doit manipuler et transformer les données dans un format compris par le client (le data warehouse). Il peut également y avoir un léger décalage entre la publication et la réception par le client pour les volumes importants : cette méthode n'est donc pas appropriée pour les applications qui nécessitent des données en temps réel.
Virtualisation des données
Lors de la virtualisation, les données ne sont pas extraites puis stockées dans un référentiel commun. Cependant, cette technique offre un mécanisme permettant d'accéder à des données de différentes sources et de les visualiser depuis une interface front-end.
Elle ne nécessite pas de créer et de gérer un warehouse, et n'entraîne pas de décalage des données. Elle est parfaite pour les données hautement sécurisées qui ne peuvent pas être stockées dans un autre référentiel. Toutefois, elle limite les possibilités d'utilisation des données. Par exemple, il est difficile de tracer l'historique des données et donc d'en tirer des informations. De plus, le front-end est assez lourd et envoie constamment des requêtes aux différentes sources de données, ce qui augmente la charge de ces bases de données.
Défis de l'intégration de données
Dans l'étude Progress - Dimensional Research portant sur les utilisateurs Salesforce, 54 % des personnes interrogées ont indiqué que l'intégration des applications et sources de données était leur principal challenge. Examinons certains facteurs qui font que l'intégration de données reste problématique.
Complexité des systèmes
Regrouper des données provenant des systèmes très variés, utilisant différentes technologies et situés à différents endroits, n'est pas chose aisée. La taille, le volume et la complexité de ce processus exigent une planification et une coordination sans failles.
Mappage de données
Les champs de données sont en général enregistrés sous différents noms et types dans les sources de données. Il est donc difficile de faire correspondre chaque champ au système de destination. Certaines sources de données peuvent également être d'anciens systèmes, avec des écarts de données importants. Pour résoudre ces problèmes, les responsables commerciaux et techniques (qui ont une bonne compréhension des données) doivent collaborer.
Trouver les bons experts
Intégrer Salesforce à un data warehouse requiert des experts dans différents domaines : Salesforce, CRM, data warehouses (ou data lakes) et technologies d'intégration. Il peut être difficile de former une telle équipe et de s'assurer que tous les participants communiquent efficacement.
Formuler une stratégie d'intégration de données uniforme
Salesforce est une application cloud native. Cependant, d'autres sources peuvent exister, dans le cloud ou sur site. Pour consolider ce mélange de sources cloud et sur site, et intégrer leurs données, différentes approches peuvent être nécessaires. Cependant, des approches différentes peuvent créer des incohérences dans le traitement des données, et ainsi compromettre la qualité des données. Créer une stratégie uniforme qui assure l'intégrité des données et leur synchronisation malgré la disparité des systèmes peut être une tâche ardue.
Assurer une intégration des données continue
L'intégration de données n'est pas une tâche ponctuelle. L'effort initial d'apport de données est important, mais il ne faut pas négliger la tâche continue de mise à jour automatique du magasin de données lorsque des changements sont apportés.
Malgré ces difficultés, l'intégration de données Salesforce reste un composant important de la stratégie des sociétés pour parvenir à une vue unifiée des données. Une stratégie d'intégration claire et un outil d'intégration de données peuvent aider à surmonter ces obstacles.
Liste de contrôle avant l'intégration
Vous devez choisir votre type d'intégration de données en fonction des spécificités, des besoins et de la stratégie de votre entreprise. Voici quelques pistes pour vous aider dans votre choix.
Identifier les acteurs de l'intégration
Il peut s'agir d'experts Salesforce, de data engineers, de clients et d'autres spécialistes ayant une vision d'ensemble des données de votre société.
Établir une plate-forme de collaboration
Comment votre équipe dédiée pourra-t-elle partager le plan et les informations ?
Identifier les contraintes en matière de ressources
Quelles sont les limites de budget, de temps et de personnel ?
Connaître les contraintes techniques
Vos données doivent-elles être disponibles en temps réel ? Ou peuvent-elles être récupérées à la demande ou par lots ?
Choisir votre approche d'intégration
Quelle approche conviendra à votre société : la consolidation manuelle, la propagation de données vers un data warehouse par des applications ou par middleware, ou encore la virtualisation ?
Effectuer le mappage
Faites correspondre les champs de données Salesforce à vos propres champs.
Choisir votre méthode
Utiliserez-vous des API ou des méthodes par pointer-et-cliquer pour gérer l'intégration ?
Sélectionner votre outil
Faites appel à une plate-forme d'intégration de données pour planifier, simplifier et finaliser votre intégration.
Choisir votre méthode d'intégration Salesforce
L'approche de l'intégration de données Salesforce doit être personnalisée au cas par cas. Certaines sociétés s'appuieront sur un data warehouse, alors que d'autres n'auront pas d'espace de stockage commun. Certaines utiliseront des méthodes manuelles et d'autres l'automatisation. Certaines opteront pour la logique d'applications, d'autres pour un middleware et d'autres encore pour une méthode ETL. Certaines créeront une approche hybride, en combinant par exemple des mises à jour de données automatisées avec des validations manuelles des données par les équipes de vente back-end.
La solution idéale pour chaque entreprise dépend de nombreux facteurs : propension à créer un data warehouse, disponibilité des ressources (temps ou budget), taille des datasets, besoin des données en temps réel, etc.
Simplifier votre intégration
Un outil d'intégration de données aide à simplifier le processus, en fournissant un mécanisme automatisé de consolidation des données depuis différentes sources cloud et sur site. Il n'accélère pas simplement les opérations ETL, mais assure également la mise à jour continue en temps réel du magasin de données centralisé. Il minimise ainsi les interventions humaines, ou les élimine même complètement, il réduit les erreurs et il permet de gagner du temps. Il en résulte une amélioration de la productivité et de la qualité des données.
De plus, l'outil facilité l'évolution lorsque des sources de données sont ajoutées. Il offre une solution cohérente, plutôt qu'une approche fragmentée utilisant des méthodes d'intégrations séparées pour chaque source. Enfin, il permet à tous les acteurs de communiquer efficacement dans un cadre partagé.
Trouver votre solution de données Salesforce
Le choix d'une solution d'intégration de données est d'autant plus compliqué que les critères changent sans cesse. De nouvelles applications arrivent régulièrement sur le marché, les besoins de la société évoluent et les acteurs doivent réévaluer leurs priorités. Pourtant, l'objectif final demeure inchangé : vous souhaitez intégrer vos données pour en extraire la valeur maximale en offrant une réelle Business Intelligence.
Talend Open Studio for Data Integration est un outil ETL open source qui intègre les données Salesforce à votre data warehouse existant et synchronise les données entre les systèmes. Son environnement de développement intégré Eclipse IDE unifié offre des fonctionnalités d'intégration de données telles que le mappage, l'agrégation, le tri, l'enrichissement et la fusion de données, ainsi que les outils nécessaires au développement et au déploiement de jobs d'intégration de données. Et tout cela, dix fois plus rapidement qu'avec un codage manuel.
Éliminez toute incertitude de votre migration Salesforce. Téléchargez une version d'essai gratuite et découvrez le futur de vos données Salesforce.
