MapReduce Design Patterns

Review

Depuis la publication du papier par Google, le terme MapReduce se manifeste de plus en plus souvent. De plus en plus de frameworks l’implémentent (Hadoop, MongoDB, …) mais la documentation reste limitée sur le sujet. On trouve souvent dans les ouvrages de ces solutions un chapitre consacré à l’utilisation de MapReduce. Mais cela reste limité à quelques exemples ciblés.

Quelles est l’étendue des domaines auxquels un framework comme MapReduce peut s’appliquer et surtout comment l’utiliser judicieusement sont deux questions que je voulais approfondir.

MapReduce Design Patterns apporte ces réponses mais pas complètement. Les patterns restent basiques et peu nombreux, les exemples tous centrés sur Hadoop (même si cela peut se comprendre), d’où mon appréciation générale mitigée sur l’ouvrage. Toutefois, il faut bien reconnaître que le livre comble un manque au niveau de la littérature sur MapReduce et faute d’autres livres à comparer, MapReduce Design Patterns reste un ouvrage à recommandé sur le sujet.

Le livre fait souvent le parallèle avec le langage SQL et Pig, ce qui appréciable pour la compréhension des patterns. Le livre montre aussi comment Pig implémenté ces différents patterns pour proposer une solution de plus haut niveau d’abstraction, plus facile à prendre en main et plus succinct que l’écriture des fonctions map et reduce. Grâce à Pig, on peut exploiter le framework MapReduce sans même sans rendre compte mais est-ce une bonne chose De même qu’utiliser Hibernate ne dispense pas de comprendre son fonctionnement pour bien l’appréhender, je pense que comprendre la logique MapReduce est indispensable pour utiliser les différentes solutions développées au dessus du framework.