全ての人がビッグデータを活用できる「NYSOL」 | 第一線で活躍するオープンソースエキスパートが綴るスペシャルコラム。

全ての人がビッグデータを活用できる「NYSOL」

[2016年08月02日 ]
株式会社KSKアナリティクス

 NYSOL(「にそる」と読みます。)とは、大規模データの解析に関する様々な大学やプロジェクトでの研究成果を、広く産業界に還元する目的で構築されたソフトウェアツールの総称およびそのプロジェクト活動です。

 データ分析では、分析の手法やアルゴリズムにフォーカスしがちですが、実は一番時間と労力を割くのは、分析アルゴリズムに投入するためのデータを加工する「前処理」と呼ばれるプロセスです。
 この前処理(データ加工)は、データ分析のプロセスの中で8割以上も占めています。

 NYSOLには「頻出パターンマイニング」や「データマイニング・機械学習」「テキストマイニング」「可視化」などさまざまなパッケージがありますが、今回ご紹介するのは前処理(データ加工)を簡単に行えるNYSOLのMコマンドです。

 このMコマンドを用いることで、一般的にHadoopなどで分散処理が必要とされる数百GB〜TB(数千万件〜数億件程度)の大規模なデータでも一台のサーバーで処理することが可能です。

 一般的に前処理(データ加工)では、ETLツールやプログラムが使用されることが多いですが、よく発生する問題としてはマシンのメモリ不足により、データを処理出来ないことが発生します。
 また、大規模なデータを処理する場合、メモリ上では処理出来なくなりハードディスクで処理する場合もありますが、この際に処理スピードが極端に落ちることによって、処理が終わらないといった状況が発生することもあります。

 以下の図は1億件(10GB)のデータに対して、RやPostgreSQL、NYSOLのMコマンドで前処理を実施し、ベンチマークをとった際の結果です。

 棒グラフの左2つはRですが、一部の前処理がメモリ不足で処理が出来なくなりました。また、PostgreSQLは処理結果が得られるまでに10分以上かかります。さらにデータが増えると処理時間に顕著な差があらわれます。実際の前処理(データ加工)では複数回のコマンドが実行され、長期かつチームで行われることが普通ですので、単純計算でNYSOLでは1か月で終わるプロジェクトが他では何年もかかる計算になります。また、そもそもデータ加工が出来ない状況もあるかもしれません。

 NYSOLのMコマンドはこのデータを処理出来ない処理が終わらないの2つの問題を同時に解決します。しかも1台のマシンで充分のため複数台のマシンを用意するコストも削減します。

 さらにNYSOLのMコマンドはドキュメントが充実していますので、簡単に習熟することが出来ます。また、Mコマンドの簡単なチュートリアルを使い方ページに記載していますので、こちらから段階的に実施して頂くことをお勧めします。その前に、NYSOLをインストールされていない方はまずはインストールページをご覧下さい。

 何かお困りの際はコミュニティページへご質問を投稿して頂くことも可能です。また、講師付きかつテキストをご提供するトレーニングもございます。また、本格的にビジネスで運用される際はサポートコンサルティングもご提供しておりますので、お気軽にご相談下さい。

著者プロフィール

株式会社KSKアナリティクス

KSKアナリティクスのビジョンは、
優れたアナリティクスの「オープンソース・ソフトウェア」と、
現場と協働する「アナリティクス・サービス」で、
誰もが当たり前にデータを分析・活用できる社会を作ることです。

最新TOPICS

【AI】AI国内市場予測---「AI導入検討中=17.9%」「年平均20.4%で成長」「米独市場と比べて高い成長率を維持」(2017年05月25日 10:03)

MM総研がAI国内市場予測を発表した。 【ポイント】 日本企業 ・人工知能(AI)をビジネスに導入している=1.8% ・導入検討中=17.9% AIの国内市場規模 ・2016年度=2220億円(前年度比約2倍) AIの国内市場規模成長予測 ・年平均20.4%で成長 ・2021年には5610億円に達する予測 ・米独市場と比べて高い成長率を維持

関連タグ

データマイニング(Data Mining)

  • 用語集

「データマイニング」とは、企業が収集したビッグデータを解析して、そこに潜む相関関係や価値のあるパターン(仮説)を発掘する技術。

ディープラーニング(Deep Learning)

  • 用語集

「ディープラーニング(Deep Learning:深層学習)」とは、コンピュータによる機械学習の1種であり、人間の脳の階層構造をコンピュータで再現しようと言うアイデアに基づいた「ニューラルネットワーク」を改良し、画像や音声などの認識や、自動運転などの複雑な判断を可能にする。

シンギュラリティ(Technological Singularity)

  • 用語集

シンギュラリティ(Technological Singularity:技術的特異点)とは、未来研究において、過去の歴史から今後の人類の技術開発の推測して得られる未来の正確かつ信頼できる限界点を指す。

クラスター分析(Cluster analysis)

  • 用語集

異なる性質のものが混ざりあっている集合体から互いに似たものを集めてグループ(Cluster)を作り、対象を分析する手法。

ロボット(Robot)

組み込みシステムの一種。人間と同等、またはそれ以上の作業を自律的に行う装置、もしくは機械。

関連記事

  • KSKサイド005

facebook

twitter