L'écosystème Hadoop

"En 2004, Google a publié un article présentant son algorithme de calcul à grande échelle, MapReduce, ainsi que son système de fichier en cluster, GoogleFS. Rapidement (2005) une version open source voyait le jour sous l’impulsion de Yahoo.

Aujourd’hui il est difficile de se retrouver dans la jungle d’Hadoop pour les raisons suivantes :

• - Ce sont des technologies jeunes.
• - Beaucoup de buzz et de communication de sociétés qui veulent prendre le train Big Data en marche.
• - Des raccourcis sont souvent employés (non MapReduce ou un équivalent n’est pas suffisant pour parler d’Hadoop).
• - Beaucoup d’acteurs différents (des mastodontes, des spécialistes du web, des start-up, …).

Dans une distribution Hadoop on va retrouver les éléments suivants (ou leur équivalence) : HDFS, MapReduce, ZooKeeper, HBase, Hive, Oozie, Pig, Sqoop, …

Ces solutions sont des projets Apache et sont donc disponibles unitairement mais l’intérêt d’un package complet est évident :

• - compatibilité entre les composants,
• - simplicité d’installation,
• - support, …

Dans cet article on évoquera les trois distributions majeures que sont Cloudera, Hortonworks et MapR, toutes les trois se basant sur Apache Hadoop."