Snowflakeとは？詳しく解説します

TOP
コラム
Snowflakeとは？詳しく解説し

Snowflakeの概要

ここでは、クラウドサービスのDWH（データウェアハウス）であるSnowflakeについて説明させていただきます。 Snowflakeは2012年にOracle社で勤務してデータベースの設計開発に携わっていた「Benoit Dageville」と「Thierry Cruanes」によって創業された会社であり、ステルスモード期間を経て2015年にサービスの一般提供を開始しました。 Snowflakeの創業された2012年はちょうどビッグデータが世間の注目を浴びはじめた時期であり、大手ベンダーやIT企業において様々な技術の研究や開発が行われだした時期でもあります。そういった時代背景の中においてSnowflakeは新しいクラウド時代のデータ分析プラットフォームを作るという目的で様々なテクノロジーを投入し、新規で開発に取り組みました。 Snowflakeは創業当初から注目を集めており、2014年・2015年・2017年・2018年に資金調達を行い 2020年にアメリカ市場にて上場が承認されます。 2020年のSnowflake上場時にはソフトウェア業界では過去最高となる38億ドルの資金を調達し上場したこともあり大きな話題を呼びました。アメリカ市場に上場する前年の2019年に日本市場へ参入しております。 Snowflakeは既存のDWHにおける課題を解決するために様々なテクノロジーによりイノベーションを起こした点が市場から高く評価されている企業と言えるでしょう。既存のオンプレミスのDWHではユーザーの増加や非構造化データの増加など様々な問題が生まれ、拡張性に優れたクラウドのDWHのサービスが誕生したという経緯があります。ところが管理の手間や、まだまだ充分にデータを活用しきれていない事例が多く「アクセス性」「ガバナンス性」「アクション」に優れたサービスが必要であることは間違いありません。 DWHの歴史を振り返り、上記の課題に対してSnowflakeは取り組んでいると同社は説明をしております。
また、Snowflakeが掲げるイノベーションのテーマは、以下の四点としております。
「Build Faster」（より高速なビルド）
「Operate Globally」（グローバルなオペレーション）
「Elminate Silos 」（組織内サイロの排除）
「Create New Business 」（新規ビジネスの創出）
Snowflakeの特徴としてもう少し具体的な説明をさせていただくと、単一のプラットフォームで単一のクラウドを形成することが可能である点です。データの一元管理を可能とする高い拡張性と柔軟性がSnowflakeの特徴ということも言えます。また、プルーニングと並列処理による高速で高いパフォーマンスを発揮する点もメリットとなります。以上が簡単ではありますがSnowflakeの概要についての説明となります。

Snowflakeのアーキテクチャについて

Snowflakeのアーキテクチャについて説明させていただきます。従来の共有ディスクデータベースアーキテクチャと非共有データベースアーキテクチャのハイブリッドであり、「データベースストレージ」「クエリ処理」「クラウドサービス」の3つのレイヤーから構成されております。

まず「データベースストレージ」のレイヤーについて説明させていただきます。「データベースストレージ」ではSnowflakeにロードされた全てのデータが蓄積するレイヤーとなり、内部の最適化された圧縮された列指向形式に再編成し、Snowflakeは、この最適化されたデータをクラウドストレージに保存する形になります。 Snowflakeにおいてはこのデータ保存の全てを管理し（組織、ファイルサイズ、構造、圧縮、メタデータ、統計、およびデータストレージなど）Snowflakeを使用して実行されるSQLクエリ操作でのみアクセスすることが可能やレイヤーとして扱われます。
次に「クエリ処理」のレイヤーについて説明させていただきます。「クエリ処理」のレイヤーは「仮想ウェアハウス」を使用してクエリを処理するレイヤーです。仮想ウェアハウスとはSnowflakeの計算リソースのクラスターであり、 CPU、メモリ、一時ストレージなどの必要なリソースを提供して計算リソースを必要とする SQL SELECT ステートメントの実行やDML操作の実行時に稼働します。
最後に「クラウドサービス」のレイヤーについて説明させていただきます。「クラウドサービス」のレイヤーではSnowflake全体のアクティビティを調整するサービスのコレクションとなり、認証、インフラストラクチャ管理、メタデータ管理、クエリの解析および最適化、アクセス制御などの管理を行うレイヤーとなります。

Snowflakeの料金と機能

Snowflakeの料金と機能ついて説明させていただきます。 Snowflakeの料金は使ったデータ量に応じて課金される形となっており、「スタンダード」「エンタープライズ」「ビジネスクリティカル」「バーチャルプライベートSNOWFLAKE（VPS)」という四つのエディションが用意されております。 Snowflakeの料金と料金と機能については、コンピュートリソースのオン/オフを切り替えることで、使った分だけ料金を払うことで無駄をなくすことが可能です。また、クラウド環境においてデータをほぼ無制限に格納できることやリニアなコストスケーラビリティにより、アナリティクスインフラストラクチャーを拡張が可能であることが特徴と言えます。「スタンダート」のエディションにおいては「完全なSQLデータウェアハウス」「すべての地域/クラウドにまたがるSecure Data Sharing」「24時間365日のプレミアサポート」「1日分のTime Travel」「移動中・保存中のデータに対し、エンタープライズ級の暗号化を常時実施」「顧客専用の仮想ウェアハウス」「連合型認証」「データベースレプリケーション」「エクスターナルファンクション」「Snowsight」「独自のData Exchangeの構築」「Data Marketplaceへのアクセス」の機能を搭載しております。

「エンタープライズ」は「スタンダード」の機能に加え以下の機能を搭載しております。
「マルチクラスターウェアハウス」「最大90日間のTime Travel」「すべての暗号化データで1年に1度キーを更新」「マテリアライズドビュー」「検索最適化サービス」「動的なデータマスキング」「エクスターナルデータトークナイゼーション」

「ビジネスクリティカル」は「エンタープライズ」の機能に加え以下の機能を搭載しております。
「HIPAAのサポート」「PCIコンプライアンス」「顧客の管理するキーを利用したTri-Secret Secure」「AWS PrivateLinkのサポート」「Azure Private Linkのサポート」「データベースのフェイルオーバー/フェイルバックにより事業継続性を確保」「外部関数 - AWS API Gatewayプライベートエンドポイントのサポート」

「バーチャルプライベートSNOWFLAKE（VPS)」は「ビジネスクリティカル」の機能に加え以下の機能を搭載しております。
「暗号化キーがメモリーに保存されていれば、どこにでも」「顧客専用の仮想サーバーを設置できる」「顧客専用のメタデータストア」「オンデマンドストレージ」「毎月使用した分だけ料金を支払う」「キャパシティストレージ」「使用する分を事前に支払う」以上がSnowflakeの料金と機能についての説明となります。

Snowflakeのアップデートについて

Snowflakeのアップデートについて説明させていただきます。 Snowflakeは2021年11月にグローバル年次カンファレンス「SNOWDAY」の開催にあわせて大型のアップデートを行うと発表しました。 Snowflakeが掲げるイノベーションのテーマは、以下の四点としております。
「Build Faster」（より高速なビルド）
「Operate Globally」（グローバルなオペレーション）
「Elminate Silos 」（組織内サイロの排除）
「Create New Business 」（新規ビジネスの創出）
今回のアップデートはそれぞれのテーマに従って機能を強化しました。「Build Faster」としての機能強化が「Snowflake for Python」となります。SnowflakeではSnowparkという開発者向けのライブラリを提供しており、Java・Scalaなどで実装したコードをSnowflakeにおいて直接実行することができます。「Snowflake for Python」では、Pythonをサポートします。これによりデータ分析エンジニアなどに対してリーチすることを見込んでおります。「Operate Globally」としての機能強化が「クロスクラウドアカウントレプリケーション」であり、 Snowflakeのネイティブなデータベースレプリケーション機能を拡張します。「Elminate Silos 」としての機能強化が、非構造化データのサポートです。「Create New Business」としての機能強化がデータマーケットプレイスであり、 Snowflakeアカウントから直接サードパーティのデータに簡単かつ安全にアクセスして、可能な限り深いインサイトを獲得することができます。データマーケットプレイスは「すばやく簡単にデータを調達」「分析コストを削減」「自社のデータを収益化」といった特徴があります。

Snowflakeの導入例

Snowflakeの導入例について説明させていただきます。 Snowflakeは2021年の12月に株式会社NTTドコモがSnowflakeのサービスを導入したことを発表しました。株式会社NTTドコモは約8000万人のユーザーを抱えるポイントプログラム「dポイント会員」を運営しております。その際に膨大なデータ基盤を採用するかという点や、データ分析を実行する際の環境などについて検討した結果、Snowflakeが採用されることになりました。株式会社NTTドコモでは、今回のデータ分析基盤の高度化コンセプトを、「利益に貢献するためのシステム」と「データを扱う責務を全うするシステム」としております。「利益に貢献するためのシステム」は様々なデータに対して高度な分析ができる環境を構築することであり、「データを扱う責務を全うするシステム」は最新のテクノロジーを利用したアーキテクチャやデータガバナンス体制強化でデータドリブンな業務改革の実現を目指すとしております。

もう一社Snowflakeの導入例について紹介させていただきます。「スシロー」「京樽」「海鮮三崎港」「杉玉」などを運営するFOOD & LIFE COMPANIES社は2021年にSnowflakeを導入したと発表がありました。 FOOD & LIFE COMPANIES社の躍進を支える理由の一つがすし皿にICチップをとりつけるシステムであり、リアルタイムで売れている商品の確認や管理を行うことで業務の分析や改善できるシステムです。例えばスシローは日本に625店舗・韓国やシンガポールなど海外に64店舗を展開しており日本の年間の来客者数は約1億5700万人であり、1年に約16億皿を顧客に対して販売している計算になります。すし皿にICチップをとりつけることでレーンを回るすしの数やどの種類の皿がどれくらいとられたのかをリアルタイムに把握することが可能です。もちろん時間帯や曜日など莫大なデータを店舗ごとに取得することができます。それだけでなく、POSレジの支払い情報や店舗の座席にある注文用端末の操作ログ、過去の受発注データなど実に多くのデータを取得しそれを経営に生かすことが可能となっております。これらのすべての情報は国内外問わずAmazon Web Services（AWS）上で一元管理を実行しておりました。今回AWS上のSnowflakeに移行することでよりリアルタイムの処理などにより高いパフォーマンスが期待できるとしております。

まとめ

いかがでしたでしょうか？ Snowflakeについて詳しく解説させていただきましたので参考にしていただけましたら幸いです。