支援対象地域:札幌、仙台、関東、愛知、関西、広島、福岡

  • TOP
  •   
  • コラム
  •   
  • BigQueryとは?詳しく解説させ

BigQueryとは?

ビッグデータ時代に突入し、企業担当者にとってデータの扱いはその重要性を増す一方です。 その一方でデータ分析を行うためには「一定の技術力が必要であること」「データ分析の業務が複雑であること」「データ分析にコストがかかること」「大量のデータ処理を行うためには処理速度が要求されること」など企業にとってハードルが存在することも事実です。 例えば大量のユーザーを抱えるWEBサービスであればそのトラフィックも膨大になるため、 データの抽出・データの整理・データ分析など各段階において多くの工数がかかってしまいます。 また、マーケティング会社や小売店など大量の顧客データを抱える企業がデータ分析を行う場合においては、購買データやユーザー属性など何十億という単位の細かいデータを取得しそれをカテゴライズし目的に応じて分析を行う必要がありますので、 工数がかかる以外にも処理速度やパフォーマンス性能が非常に重要となってきます。 このように企業がデータ分析を行うためには様々なハードルが存在することはご理解いただけると思います。 ここでは、ビッグデータ時代のデータ分析において役立つBigQueryを紹介させていただきます。 BigQueryはデータウェアハウス(Data Ware House)の一つで、Google社が手掛けるGoogle Cloud Platformにおけるビッグデータ領域の中でも代表的なサービスとして有名です。 データウェアハウス(Data Ware House)とはデータを集めて整理するデータの倉庫のようなイメージであり、 データを時系列で保存することでデータを正しく分析することが可能になります。 BigQueryはGoogle社の運営するサービスとの連携がスムーズに行えるため、普段業務で取得している様々な データを無駄にすることなく活用することが可能となります。 これからのビッグデータ時代においてBigQueryのようなツールを使いデータ分析を効率的に実施することは 企業担当者にとっては必須と言えるため、興味がある方は是非参考にしてみてください。

BigQueryの特徴について

BigQueryの特徴について説明させていただきます。 ポイントを4つに絞り紹介させていただきますので、参考にしていただけましたら幸いです。

高速データ処理

BigQueryの特徴の一点目が高速データ処理となります。 これはBigQueryを利用する最大のメリットと呼べるかもしれません。 データ分析を実行する際においてデータ容量が多くなるに従い、処理速度の問題が生まれてきます。 TB(テラバイト)規模やそれ以上のデータ処理となると、データ分析サービスによって 処理速度に大きく結果が異なりますがいずれのサービスにおいても多少の影響が出ることは間違いありません。 BigQueryにおいては、PB(ペタバイト)規模であっても高速な処理を行うことが可能となります。 BigQueryの高速処理を実現しているのは、カラム型データストアとツリーアーキテクチャといった 構造と技術となります。 カラム型データストアでは列単位でのデータ保存を行い、ツリーアーキテクチャでは複数処理分散を 行うことでデータの高速データ処理を技術的に実現しております。

SQL操作

BigQueryの特徴の二点目がSQL操作となります。 BigQueryにおいてはデータの分析・抽出においてSQLを利用することとなります。 本来ビッグデータの取り扱いにおいて、データサイエンティストの場合は IT全般における知識、PythonやR言語といったプログラミング言語、データベースの知識は必須となります。 BigQueryであれば最低限のSQLの知識があればデータの操作は可能となります。 SQLは学習コストも低いため非エンジニアの方であっても時間をかけず捜査を実行することが 可能となります。 また、BigQueryにおいては「標準SQL」と「レガシーSQL」というSQLが存在しますが、 「標準SQL」を利用すれば特に問題はありません。(ここでは詳しい説明は割愛させていただきます)

コストパフォーマンス

BigQueryの特徴の三点目がコストパフォーマンスが優れていることになります。 BigQueryではデータ処理実行前にデータ量を把握することが可能なので、費用の目安を算出して 事前に把握することが可能です。 分析量・ストレージ量に応じて料金が発生するためコストパフォーマンスに優れていることが BigQueryの特徴と言えるでしょう。 BigQueryの費用については後程詳しく説明させていただきましたので、そちらとBigQueryの 公式サイトを参照にしていただけますと幸いです。

サーバーレス

BigQueryの特徴の四点目がサーバーレスであることとなります。 環境の設定やサーバーの運用・保守といったメンテナンスを企業担当者が行う必要がありません。 そのため企業担当者は余計なリソースを割く必要なくデータ分析の業務に集中することが可能となります。

BigQueryの料金について

BigQueryの料金について説明させていただきます。 BigQueryの料金については利用した分析量・ストレージ量によって料金が発生する従量課金制となります。 課金対象となる内容と料金、具体的な詳細となります。 企業担当者はまず自社のサービスにおいて分析するデータ量をどれくらい抽出し、分析するのかという点から把握すると料金の目安をつけることが容易となりますので、参考にしてみてください。

オンデマンド分析

オンデマンド料金モデルにおいては、以下の料金となります。 ●クエリ(オンデマンド)/$5.00 per TB/毎月 1 TB まで無料です。

ストレージ

ストレージの料金については以下となります。 ●アクティブ ストレージ/$0.020 per GB/毎月 10 GB まで無料。 ●長期保存/$0.010 per GB/毎月 10 GB まで無料。

データ取り込み

データ取り込みの料金については以下となります。 ●バッチ読み込み/共有スロットプールの使用は無料。 /定額料金を選択すると、保証された容量を獲得できます。データが BigQuery に読み込まれると、ストレージの料金が発生します。 ●ストリーミング挿入(tabledata.insertAll)$0.010 per 200 MB/挿入に成功した行が課金対象になります。最小サイズ 1 KB で各行が計算されます。 ●BigQuery Storage Write API/$0.025 per 1 GB/毎月最初の 2 TB まで無料。

データ抽出

●バッチ エクスポート/共有スロットプールの使用は無料。/Cloud Storage へのデータの保存では料金が発生します。 ●ストリーミング読み取り(BigQuery Storage Read API)/$1.1 per TB read/1 か月あたり最大 300 TB のデータを無料で読み取ることができます。

BigQueryを使った事例について

BigQueryを使った事例について説明させていただきます。 株式会社MonotaROは事業者向けの資材のオンラインサイトを運営している企業です。 大量のユーザーを抱える同社にとってはデータ活用は事業に大きく関連する大切な業務の一つです。 ただし従来の同社においては、データ分析基盤がオンプレミスであったこともあり、増加するデータ処理のパフォーマンスに課題を抱えておりました。 そういった背景において、BigQueryを導入することで社内の100億レコードにも及ぶデータ処理を スムーズに行うことや新しい分析方法の確立、データ処理の高速化などを実現し業務に大きな好影響を 与えました。 具体的には扱うことのできるデータ量や分析レポートの量が10倍に変化したという影響を与えました。 また、BigQuery導入前は分析するメンバーが限定的だったにも関わらず 同サービスのツールを利用することで非エンジニアでもデータ分析や可視化を実行することが可能となりました。 導入前は2時間ほどかかっていた数憶レコードが数分で終了することができるようになるなど、 データ分析にかかる時間も大幅に短縮することを実現できました。 同社の場合はBigQueryを導入することで成功したわかりやすい事例として取り上げさせていただきましたが、 社内における様々なリソースの問題で膨大にあるデータを活用しきれてない企業は非常に多いことは間違いありません。 もう一例紹介させていただきます。 株式会社オープンハウスは1996年創業の不動産会社であり、 都市部を中心に、新築戸建分譲事業、不動産仲介事業、マンション事業、不動産投資事業等を手掛けております。 同社では機械学習やデータ分析などの先端技術を活用することで、営業活動の効率化を推進することに 成功しました。 不動産業界ではネットやチラシなどを担当地域に配布しユーザーからの反響営業を行う 方法が一般的ですが、同社では足で稼ぐ情報力を強みとし様々なテクノロジーを導入することで 営業の効率化を実現しております。 不動産営業の場合、商談以外にも契約書類準備や物件紹介準備のためのデスクワーク作業などに 多くの時間が割かれる傾向になりますが、その部分を効率化することで大きな成果を上げたのが同社です。 具体的にはAI Platformにより業務の自動化やAIを導入することで、営業社員の負荷を下げデータ分析なども 導入したとのことです。 技術的な説明としましては、同社ではデータ分析基盤に BigQueryを導入し、日々のトランザクションデータから広告、ウェブ履歴、地理情報などの多様なデータを格納した DWH を構築し日々データを蓄積し マーケティング本部が分析を行います。 不動産業の場合、集客から契約までの過程が長いため、集客の質や過程の分析と改善が大きな成果となって 現れてきます。同社のように強固なデータ基盤を持ちワンストップで分析を行うことで長期的にみて効率的なマーケティング戦略を実践することが 可能となります。 また、不動産物件の案内のための地図情報や営業ルートの確認ために地理情報システム(GIS:Geographic Information System) を利用しており、従来のリレーショナルデータベースと比較した際に情報照会速度が向上したという点も営業社員にとってはメリットの一つとなります。 また、直近の事例としてアスクル株式会社を紹介させていただきます。 アスクル株式会社は1963年に創業の東証一部上場企業であり、オフィス向け用品などの通信販売などを 主力の事業としております。 アスクル株式会社においてはBigQuery を活用し、「ASKUL EARTH」という名称のビッグデータプラットフォームを構築しました。 「ASKUL EARTH」とはアスクル独自のビッグデータ分析環境の名称となり、全社のデータをクラウド環境一元管理できるように構築したものとなります。 アスクル株式会社は2013年よりオンプレミスでビッグデータ環境を稼働しておりましたが様々な課題が生まれその解決策としてBigQueryのテクノロジーを導入することとなりました。 その課題点とは膨大なデータ処理に伴うキャパシティーの問題、データ処理速度の問題、データ鮮度に関する問題でありこれらは特に大規模データをオンプレミス環境で扱う企業にとっては常に課題としてあげられることが多いテーマとも言えますが、今回BigQuery導入によりそれらが解決されました。 上記で取り上げたアスクル株式会社の抱えていた課題についてもう少し詳しく説明させていただきます。 アスクル株式会社がデータ分析を行っていたオンプレミス環境ですと拡張性に乏しく、データ容量がキャパシティー限界まで到達しようとしていても拡張ができず将来的に大きなリスクを抱えておりました。 BigQueryのテクノロジーを導入することでデータ量に応じた拡張を容易に実行できますので、「ASKUL EARTH」構築によりこれらの問題は解決することができました。 また、データ処理を行う際の処理速度にも課題を抱えておりました。 以前は社員が複数名同時にデータ分析ツールを利用する際にデータ処理速度に影響がありましたが、高機能なデータ処理能力を持つBigQueryを導入した「ASKUL EARTH」によりその課題を解決することができました。 また、データ鮮度についても改善され従来であれば2日~3日前日のデータを参照しデータ分析を実行しておりましたが「ASKUL EARTH」移行後は9時に前日までの実績を参照できるように改善され、より鮮度の高いデータで高品質なデータ分析を 行うことが可能となりました。 企業のDX(デジタルトランスフォーメーション)化については様々なメディアで取り上げられ報道されておりますが、BigQueryだけでなく様々なデータ分析ツールやプラットフォームを利用することで業務効率化が図れると言えるでしょう。

BigQuery Omniについて

BigQuery Omniについて説明させていただきます。 BigQuery Omniとは2021年にリリースされたサービスであり、BigQueryを使い Amazon Web Services(AWS)やMicrosoft Azureなどの他社クラウドにあるデータをクエリすることが可能な機能を持っております。 ビッグデータ時代において多種多様なデータが様々なクラウドに存在している中で、 BigQuery Omniはマルチクラウド分析のサービスを提供することになります。 クラウド間でのデータの移動などが不要となり一つのプラットフォームから データ分析を行うことが可能となります。 クラウドベンダーは自社のサービスを差別化して競争を行っております。 そういった中でマルチクラウドという考え方は BigQuery Omniを提供するGoogleだけでなく、多くのクラウドベンダーの理解を得ることができると見られております。 多くのデータやサービスを一つのプラットフォームにまとめることは技術面やコスト面から 課題も残りますが、他社のクラウドベンダーの動きにも注目したいところです。

まとめ

いかがでしたでしょうか? BigQueryについて説明させていただきましたので、参考にしていただけましたら幸いです。