「リアルタイムデータ処理サービス」紹介

リアルタイムデータ処理機能を提供する代表的なクラウドサービスを紹介。

AWSリアルタイムストリーミングサービス「Amazon Kinesis Data Streams」

■概要

「Amazon Kinesis Data Streams(KDS)」は、AWS(Amazon Web Services)が提供するリアルタイムストリーミングサービス。

「大規模」「スケーラブル」「持続的」にリアルタイムでのデータストリーミングが可能で、「リアルタイム分析」「リアルタイムダッシュボード」「リアルタイム異常検知」「ダイナミック価格設定」などの用途に利用できる。

→AWS　→Amazon Kinesis Data Streams

■機能連携

「AWS SDK」「Kinesis Client Library」「各種コネクタ」「各種エージェント」などを利用して、「Amazon Kinesis Data Streams」を「AWS Lambda」「Amazon Kinesis Data Analytics」「Amazon Kinesis Data Firehose」などと連携することで、統合リアルタイムデータ処理システムを構築できる。

Azureリアルタイム分析サービス「Azure Stream Analytics」

■概要

「Azure Stream Analytics」は、Azureが提供するオンデマンドリアルタイム分析サービス。

SQL風のシンプルな言語を使用して、IoTなどの複数のデータストリームに対する並列リアルタイム分析機能を開発して実行できる。

高度なシナリオの場合にはカスタムコードを使用でき、インテリジェントなアクションを実現できる。

→Azure　→Azure Stream Analytics

■IoTサポート

Azure Stream Analyticsは、「Azure IoT Hub」および「Azure IoT Solution Accelerator」とシームレスに統合することで、IoTデバイスなどから取り込んだデータに対してリアルタイム分析できる。

また、「Azure IoT Edge」と連携することで、IoTデバイスにより近いリアルタイムの分析インテリジェンスを展開できる。

Google Cloud「ストリーム分析ソリューション」

■概要

Google Cloudでは「導入」「スケーリング」「管理」などを簡単に行える統合されたオープンストリーム分析ソリューションを提供している。

以下のサービス連携によりリアルタイムデータ処理システムを構築できる。

■イベント取り込みサービス「Cloud Pub/Sub」

「Cloud Pub/Sub」は、データ取り込みおよび移動のためのイベント駆動型メッセージング機能を提供する。

イベントデータの「処理」「保存」「分析」のプロセスにおいて、イベントデータ用の信頼できるステージング場所を提供する。

→Google Cloud　→Cloud Pub/Sub

■ストリームデータ処理サービス「Cloud Dataflow」

「Cloud Dataflow」は、データの信頼性と表現力を維持したままデータ変換を実行できるフルマネージドサービス。

「ストリーム(リアルタイム)モード」の他に「バッチモード」としても利用できる。

→Google Cloud　→CLOUD DATAFLOW

■クラウドデータウェアハウス「BigQuery」

「BigQuery」は企業向けデータウェアハウスサービス。

データアナリストの生産性が向上するように設計されており、データベース操作には使い慣れているSQLを使用できる。

→Google Cloud　→BigQuery