Introduction

Le cadre d'application Hadoop, géré par la fondation Apache, est une puissante plate-forme open source écrite en langage de programmation Java, capable de traiter de grandes quantités d'ensembles de données hétérogènes à grande échelle de manière distributive sur un unité d'allocation d'ordinateurs à l'aide de modèles de programmation simples. Il est conçu pour passer d'un serveur unique à des milliers de machines, chacune offrant un calcul et un entreposage sur des machines locales.

Le cadre d'application Apache Hadoop comprend les 4 modules suivants :

• Hadoop Common : Ce module contient les bibliothèques et les utilitaires Java nécessaires aux autres modules Hadoop. Ces bibliothèques donnent une abstraction du système de fichiers et du système d'exploitation et comprennent les fichiers et les scripts Java essentiels au démarrage de Hadoop.
• HDFS (Hadoop Distributed File System) : Ce module contient le système de fichiers distribué fournissant un accès à haut débit aux données d'application sur les ordinateurs de la communauté, fournissant ainsi une bande passante agrégée très élevée sur l'unité d'allocation. Voir HDFS API.
• Hadoop YARN : Ce module contient le cadre de gestion des ressources responsable de la planification des travaux et de la gestion des ressources de l'unité d'allocation.
• Hadoop MapReduce : Ce module contient le modèle de programmation basé sur YARN pour le traitement parallèle de grands ensembles de données.

Les versions plus récentes du projets Hadoop sont cependant plus complexes et comprennent un certain nombre de projets connexes comme Apache Pig, Apache Hive, Apache HBase, Apache Kafka, Apache Spark,...