ビッグデータとは（その概要と、人工知能/AI、IoT、医療、観光、教育などの分野での事例）

概要

「ビッグデータ(Big Data)」とは、一般的なソフトウェアの能力を超えたサイズのデータ集合であり、従来のデータベース管理システムでは「記録」「保管」「管理」「解析」などの処理が難しいほどの巨大で複雑なデータ群。

「インターネット普及」「コンピュータの処理速度」「クラウド技術向上」などに伴い、日々大量に生成され溢れている大容量デジタルデータを指す。

ビッグデータとは単純に量が多いだけでなく、さまざまな「種類」「形式」「内容」が含まれる「構造化データ」や「非構造化データ(非定型的データ)」である。

「ビッグデータ」には明確な定義があるわけではなく、IT関連分野で多用されていた用語であったが、近年、一般企業でも一般的な用語として用いられはじめている。

ビッグデータの特徴

ビッグデータの特徴を示す項目として以下のものがある。

■データ量(Volume)

ビッグデータは、その名の通り、巨大なデータサイズを特徴としている。

データサイズの目安

ビッグデータとなるサイズ量については「数十テラバイトから数ペタバイト以上の範囲」という見方もある。

データ発生元

ビッグデータは以下のようにさまざまなデバイスやシステムから発生し続けている。

・ビジネストランザクション---オンラインショッピングの処理レコード
・ソーシャルメディア
・センサー類---スマートメーター
・モバイルデバイス---スマートフォン/タブレット
・RFIDタグ　など

■処理速度(Velocity)

ビッグデータは大量に発生し続けているため、適切なタイミングで処理できるように、リアルタイムで処理できる必要性が高まっている。

■多様性(Variety)

ビッグデータの種類について特定の規定はなく、多くの種類や形式のデータが混在している。

そのため、企業や組織はあらゆるフォーマットのデータを取り扱える必要がある。

構造化データ

従来のデータベース(RDBMS)で管理されているような形式が確定しているデータ。

・ビジネストランザクションデータ
・ビジネスマスタデータ---顧客マスタ、製品マスタ　など

非構造化データ

非構造的に記録され、形式が確定していないため、「検索」「整理」「変更」などの一括した処理が難しい。

・文字---テキスト文書、Eメール
・画像
・音声
・動画　など

■変動性(Variability)

ビッグデータはTwitterのトレンドのように「数日単位」「季節単位」「特定イベント」で、データ傾向が変動する場合がある。

■複雑性(Complexity)

ビッグデータは、数多くの複数のデータソースから収集するため複雑性が高いデータ群となる。

そのため、「データクレンジング」「データ変換」「データ相関設定」などのコストが高まる傾向にある。

活用例

データ管理技術の発展と低価格化により、ビッグデータの効率的かつ効果的活用が可能となってきている。

ビッグデータ解析により得られた知見により、社会動向や経済動向について事象分析や将来予測などさまざまな領域で活用できる可能性があるため、「新たなビジネス創造」や「新たなマーケット創出」が期待されている。

課題

ビッグデータは膨大な個人情報を含んでいるため、活用する場合において、プライバシー保護が大きな課題となっている。

参考元サイト

• SAS　→ビッグデータ　概要と重要性
• 総務省　→平成24年版　情報通信白書　→第1部　特集　ICTが導く震災復興・日本再生の道筋
• コトバンク　→ビッグデータ
• データのじかん　→そもそもビッグデータとは？ ビッグデータの定義から活用例までご紹介
• Wikipedia　→ビッグデータ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。