「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。

リアルタイムデータ処理とは

「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。

リアルタイムデータ処理とは

■概要

「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。

「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。

ストリームデータ処理

リアルタイムデータ処理はストリームデータ処理とも呼ばれる。

ストリームデータ処理とは、無限かつ流動的に発生するデータに対して、リアルタイムで処理と破棄を繰り返していくことで、リアルタイムにデータを処理し続けることができる。

■経緯

従来のITシステムの場合

従来のITシステムでは、大量データのリアルタイム分析は困難であったため、発生したデータを保存しておきバッチ処理(一括処理)をする手法が取られていた。

そのため、対象データは過去のデータとなり、分析結果も過去データをベースとしたものとなる。

リアルタイムデータ処理に対する需要増加

「SNS普及」「IoT普及」「クラウド技術普及」「グローバル化加速」などの理由により、実世界とITの融合が加速したことで、発生するデータ量は爆発的に増加している。

従来の方法では、データ鮮度が古いものが基礎となるためデータ価値が低くなり、刻一刻と変化する状況に対応できなくなってきていた。

そのため、企業は経営戦略の意思決定迅速化のために、ビッグデータを瞬時に分析し知見を発見できるITシステムを求めるようになった。

■迅速な意思決定サポート

企業内外で大量に発生し続ける膨大なデータをリアルタイムで処理して分析できることにより、実世界の状況に対して「リアルタイムモニタリング」や「変化の予兆検知」が可能となる。

リアルタイム処理による分析を行えることにより、事業に有益な情報を瞬時に導き出せるようになるため、最新の情報を基にした迅速な意思決定が可能となる。

「インメモリデータ処理技術」による低遅延高速処理

リアルタイムデータ処理を支える技術として、大量データに対して低遅延で高速処理できる「インメモリデータ処理技術」が注目されている。

■「インメモリデータ処理」とは

インメモリデータ処理技術とは、すべての処理対象データをメモリ上に格納し処理する技術。

「高速処理」「リアルタイム性」を特徴とする。

従来では高額すぎるため導入が難しかったが、メモリ価格が大幅に下がったことにより普及し始めている。

■高速処理性能

インメモリデータ処理技術は、従来のディスクベースの処理では数時間かかるデータ処理を数分に短縮できる高速処理を可能としている。

高速処理が可能なことにより、瞬時に処理して結果を返すというリアルタイム処理が可能となる。

10万倍の処理速度

HDDのアクセス速度はミリ秒クラスであるのに対して、メモリのアクセス速度はナノ秒クラスであるため、「インメモリデータ処理はディスクベース処理の約10万倍高速」に処理できる。

内部最適化アルゴリズムが簡素

インメモリデータベースは、ディスクストレージ機構によるデータベースシステムに対して、内部最適化アルゴリズムが簡素であるため、相対的に少ないCPU命令で処理できる。

ディスクアクセスのオーバーヘッドがない

HDDの場合はデータが保存されている位置にHDDヘッダを移動させる必要がある。また、シーケンシャルアクセスによりボトルネックが発生する。

インメモリデータ処理では、すべてのデータがメモリ上に存在しており、データの存在場所を考慮する必要がないため、超高速なデータ処理が行える。

また、構造上の問題による性能劣化を引き起こしにくいメリットもある。

 

参考元サイト

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

リアルタイムデータ処理最新TOPICS

【AI×リオ五輪×ニュース配信】JX通信社、リオ五輪出場選手ツイートのAIリアルタイム配信スタート(2016年08月05日 10:03)

JX通信社は、産経デジタルと協業し、 独自のAI(人工知能)によるニュース配信システムを活用して、 リオ五輪出場選手のツイートをリアルタイムに収集/解析し「産経ニュース」特設ページに自動掲載する仕組みを提供開始した。 【AIによるニュース配信システム】 ・リオ五輪に出場する全選手のTwitterアカウントの投稿を収集/解析  →注目すべき内容/話題の投稿を自動選別し掲載 ・競技別に...

リアルタイムデータ処理最新CLOSEUPコラム

  • KSKサイド007

Analytics News ACCESS RANKING

  • OSSNEWSに広告を掲載しませんか?

facebook

twitter