C’est un plaisir de vous présenter Pipeline Designer : un environnement de conception Cloud nouvelle génération pour l’intégration des données qui permet aux développeurs de développer et déployer des pipelines de données en quelques minutes, de réaliser des conceptions de manière fluide sur des scénarios en batch et en streaming, tout en évoluant en mode natif avec les dernières technologies hybrides et multi-cloud. ...

Dans notre dernier article, nous avons évoqué le développement de jobs de traitement de données à l’aide d’Apache Beam. Nous abordons dans cet article l’une des questions les plus fréquentes du monde des big data modernes : le traitement des données en streaming. La principale différence entre le traitem...

Dans mon article précédent, « Talend et Apache Spark : Introduction technique », je vous ai expliqué l'équivalence entre les jobs Spark Talend et la commande Spark submit. Dans cet article, je souhaite continuer à évaluer les configurations Spark Talend et la commande Apache Spark submit. Nous allons tout d'abord voir comment vous pouvez mapper les options de l'onglet Spark Configuration (Configuration Spark) dans le...

Plusieurs options sont désormais disponibles en matière d'architecture big data en temps réel. L'architecture Lambda n'est plus la seule possibilité. Dans cette série d'articles, je vous présente deux de ces architectures, dont Lambda, et je vous propose un comparatif s'appuyant sur des cas d'utilisation concrets. Vous souhaitez savoir comment sélectionner la bonne architecture pour votre projet en temps réel ? C'est parti. Les exigences du traitement en temps réel...

Ce blog est le second d'une série consacrée aux demandes d'accès aux données par les personnes concernées (DSAR) et à son importance pour regagner la confiance des clients.     Da...

  As part of a POC of Talend v6.1 Big Data capabilities, I was asked by one of our long-time customers, a major e-commerce company, to present a solution for aggregating huge files of clickstream data on Hadoop. The input data was a giant clickstream file (larger than 100GB, or even terabytes) from a website. Our goal was to aggregate the file and add a session ID column. We needed to create session records for all u...

  February is here and it seems that everyone has made their predictions (even me!) for what’s ahead for technology in 2016. As I read through the various predictions lists, I started discovering a common theme: the inclusion of real-time data initiatives as a main priority for IT. Real-time streaming data and analyt...

Hadoop and the broader Big Data ecosystem continue to innovate at an incredible rate. By harnessing the power of the community and creating a survival-of-the-fittest competitive landscape, the open-source development approach helps not only fuel the pace of innovation but also drive buyer confidence and market adoption. Open source is also important to a growing number of developers who are moving away from proprietary software looking for greater efficiency...

Tags: big data, benchmark, talend, informatica,   Talend vs Informatica – Benchmark Big Data Si vous avez déjà dialogué avec un commercial Talend ou lu certains documents mark...

Tags: talend 6, apache spark, spark streaming, real-time big data, #talend6awakens,   L'analytique en temps réel des Big Data...