「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。
「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。
「リアルタイムデータ処理」とは、すべてのデータをストレージに格納して処理していた従来手法に代わり、ビッグデータをリアルタイムで処理するための手法。
「ストリームデータ処理技術」「複合イベント処理技術」「インメモリデータ処理技術」などの技術を利用することで、データをリアルタイム分析できる処理基盤が普及してきている。
リアルタイムデータ処理はストリームデータ処理とも呼ばれる。
ストリームデータ処理とは、無限かつ流動的に発生するデータに対して、リアルタイムで処理と破棄を繰り返していくことで、リアルタイムにデータを処理し続けることができる。
従来のITシステムでは、大量データのリアルタイム分析は困難であったため、発生したデータを保存しておきバッチ処理(一括処理)をする手法が取られていた。
そのため、対象データは過去のデータとなり、分析結果も過去データをベースとしたものとなる。
「SNS普及」「IoT普及」「クラウド技術普及」「グローバル化加速」などの理由により、実世界とITの融合が加速したことで、発生するデータ量は爆発的に増加している。
従来の方法では、データ鮮度が古いものが基礎となるためデータ価値が低くなり、刻一刻と変化する状況に対応できなくなってきていた。
そのため、企業は経営戦略の意思決定迅速化のために、ビッグデータを瞬時に分析し知見を発見できるITシステムを求めるようになった。
企業内外で大量に発生し続ける膨大なデータをリアルタイムで処理して分析できることにより、実世界の状況に対して「リアルタイムモニタリング」や「変化の予兆検知」が可能となる。
リアルタイム処理による分析を行えることにより、事業に有益な情報を瞬時に導き出せるようになるため、最新の情報を基にした迅速な意思決定が可能となる。
リアルタイムデータ処理を支える技術として、大量データに対して低遅延で高速処理できる「インメモリデータ処理技術」が注目されている。
インメモリデータ処理技術とは、すべての処理対象データをメモリ上に格納し処理する技術。
「高速処理」「リアルタイム性」を特徴とする。
従来では高額すぎるため導入が難しかったが、メモリ価格が大幅に下がったことにより普及し始めている。
インメモリデータ処理技術は、従来のディスクベースの処理では数時間かかるデータ処理を数分に短縮できる高速処理を可能としている。
高速処理が可能なことにより、瞬時に処理して結果を返すというリアルタイム処理が可能となる。
HDDのアクセス速度はミリ秒クラスであるのに対して、メモリのアクセス速度はナノ秒クラスであるため、「インメモリデータ処理はディスクベース処理の約10万倍高速」に処理できる。
インメモリデータベースは、ディスクストレージ機構によるデータベースシステムに対して、内部最適化アルゴリズムが簡素であるため、相対的に少ないCPU命令で処理できる。
HDDの場合はデータが保存されている位置にHDDヘッダを移動させる必要がある。また、シーケンシャルアクセスによりボトルネックが発生する。
インメモリデータ処理では、すべてのデータがメモリ上に存在しており、データの存在場所を考慮する必要がないため、超高速なデータ処理が行える。
また、構造上の問題による性能劣化を引き起こしにくいメリットもある。
参考元サイト
※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。
JX通信社は、産経デジタルと協業し、 独自のAI(人工知能)によるニュース配信システムを活用して、 リオ五輪出場選手のツイートをリアルタイムに収集/解析し「産経ニュース」特設ページに自動掲載する仕組みを提供開始した。 【AIによるニュース配信システム】 ・リオ五輪に出場する全選手のTwitterアカウントの投稿を収集/解析 →注目すべき内容/話題の投稿を自動選別し掲載 ・競技別に...
2021/03/04 セキュリティDAYS Keyspider資料
本資料を見るには次の画面でアンケートに回答していただく必要があります。
Analytics News ACCESS RANKING
