MapReduceとは

「MapReduce（マップリデュース）」とは、大規模なデータを分散処理するためのプログラミングモデル。

分割されたデータの断片に加工を施し必要な情報を抽出するMap処理と、Mapで抽出した情報を束ねて処理結果を得るReduce処理の2段階に分けてデータ処理を行う。

このフレームワークは、クラスター上での大規模な入力データに対するバッチ処理を想定し、分散コンピューティングを支援する目的で、2004年にGoogle社が発表した。以降、Google 検索のバックエンドで検索エンジンのインデックス作成や、アクセスログの統計解析など、様々な用途で利用されている。

MapReduceのライブラリ群は、C++、C#、Erlang、Java、OCaml、Perl、Python、PHP、Ruby、F#、R言語などのプログラミング言語で実装されている。