OpenStackはクラウドのAndriodになれるか！

「AWSはiOSでOpenStackはAndroidのようだ」と言う人がいる。
上手い表現だ。考えてみればAmazonは多くのサービスを独自開発してきた。一方、OpenStackはオープンソースの徹底した公共プラットフォーム化を目指す。Amazon Web Serviceがクラウド市場をリードするiPhoneのようだとすると、果たしてOpenStackはクラウドのAndroidになれるだろうか。
  
＝企業貢献度にみる各社の戦略＝
年２回OpenStackのアップデートを行うメンバー各社の熱い思いは変わらない。2012年、OpenStack Foundationが設立され、より民主的な組織運営が進んだ。作業のコントリビュータには沢山の個人デベロッパー、企業メンバーにはBrocade、Cisco、Dell、 EMC、HP、IBM、Intel、Juniper、NetAppなどのメーカーを始め、Canonical、Red Hat、SuSEなどのLinuxディストリビュータ、IT企業からはYahoo、VMware、PayPalなど、さらにRackspaceを筆頭にVirtrustream、Mirantisなどの関連スタートアップが集まっている。現在は次期版Junoに向けた開発が急ピッチだ。図はJuno/OpenStackに関する各社の貢献度を示す。どの会社（さらにはどのエンジニア）がどの分野でどの程度貢献しているかはStackalyticsで全てが公開されている。ここを見れば各社の戦略もある程度想像できる。例えばOpenStackの4番目のリリースだったDiabloではRackspaceの貢献度は約3/4（78%）、つまり彼らの仕事が殆どだった。しかし5番目のEssexでは半分（51%）になり、次のFolsomでは1/4（25%）に、さらにGrezzlyでは1/5（20%）と同社の比重は下がってきた。これは言い出しっぺの企業が頑張らなくても、参加各社が各々の戦略に沿って開発を支援しながら製品化を進めているからだ。現在、Junoで最も貢献度が高い会社はHP。彼らは５月にHP Helionを発表した。これはOpenStackベースの同社クラウドのリブランドとして$1B（約1,000億円）を投入するプロジェクトである。その前はRed Hatだった。同社は昨年夏、Red Hat Enterprise Linux OpenStack Platformを発表。この発表を受けて、昨年10月にリリースしたHavanaではRed Hatが最大のコントリビュータだった。 IBMについてもしかりだ。同社の貢献度はGrizzlyでの15%からHavanaでは13%となり、Icehouseでは10%、現在開発中のJunoでは7%と減少している。これは従来のOpenStack重視からSoftLayerへの路線変更と見事に一致している。

＝エンタープライズへの普及が始まる＝
ともあれ、OpenStackの開発は順調だ。これからの課題はエンタープライズ市場への浸透である。ベンダーからはOpenStackディストリビューションも始まった。今年４月にリリースしたIcehouseは９番目のメジャーバージョンとして本格的な普及を目指している。そんな矢先、今年４月２日、Wall Street Journalからビッグニュースが流れた。報道によると、OpenStackベースのCloud OS MirantisとスエーデンのEricssonとの間で５年間総額$30M（約３０億円）の契約がなされたのだ。勿論、これはOpenStack関連では過去最高の取引金額だろう。この契約でEricssonは携帯電話ネットワークのバックエンドインフラを構築する。これより早くOpenStackを用いてプライベートク ラウドを手がけた企業も沢山ある。その中のひとつがサンフランシスコを本拠とする大手銀行のWells Fargoだ。 日本はもとより米国ではIT部門のコスト管理は厳しく、仕事の多くは外注化の方向だ。それでも尚多くの銀行はIT業務を自営したがる傾向にある。勿論、マ ネージドホスティングによる外部委託の方が廉価であることは解っている。この課題への回答がプライベートクラウドだ。リーマンショック後、米金融界の混乱の中、Wells FargoはWachoviaを救済合併。そして３年がかりでシステムを統合した。この中でOpenStackベースのクラウドを採用。サポートに役立ったのはHP Cloud Servicesだ。HPもこの仕事で力をつけた。つまりこれまでのHPクラウドはWells Fargoと共に歩んできたといっても過言ではない。他にも直近ではWalt Disneyのパイロットプロジェクトが動き出している。このDisneyのコンテンツ保管用プロジェクトではオブジェクトストレージのOpenStack Swiftを使い、たった３ヶ月でシステムを立ち上げた。

＝普及前夜となるか＝
5月13日、OpenStack FoundationはOpenStack Summit 2014（Atlanta）で、OpenStack導入に関するトレーニングやコンサルテーション、プロバイダ、各種ディストリビューションなどを纏めたOpenStack Marketplaceの運用開始を発表。いよいよこれからがOpenStackにとって正念場である。しかし、状況は良い。幾つかのプロバイダからOpenStackベースのクラウドが提供され、各種ディストリビューションの配布も始まった。2012年、最初に登場したのはUbuntu OpenStackとSuSE Cloudだ。次がRed Hat Enterprise Linux OpenStack Platform（RHEL OPS）、リリースは昨年７月だった。最新版はIcehouse対応のRHL OPS5、次期JunoはRHL OPS6となる予定だ。年間サブスクリプションは無制限利用のGuest OSを含む場合と含まない場合、さらにサポート種別により「Standard（ビジネスアワー）」と「Premium（24H）」がある。価格はGuest OSなしのStandardサポートでは$2,149/socket-pair/year、Guest OSありのPremiumサポートでは$4,499/socket-pair/yearとなる。これに対して後発のHP Helionは現在無償Community版のみが利用可能だが有償の商用版は８月中にリリースが予定されている。さて価格はどうか。RHL OPSは”socket-pair”が単位、しかしHP Helionでは物理サーバが単位となり、$1,400/year/serverだ。これには「Foundation Care Support（ビジネスアワーサポート）」が含まれる。24Hサポートへのアップグレードオプション有。さらに複数年利用割引やボリュームディスカウントがある。Guest OSは別途。また商用版にはHPが開発したSDN Controllerと分散ストレージStoreVirtual VSAが含まれる予定だ。
時はまさにOpenStackの普及前夜である。

価格破壊が始まった！ －Googleはクラウドで勝ち残る－

Google I/O 2014（6/25-26）が終わった。
 思い起こせばGoogle Cpmpute Engine（GCE）が登場したのはGoogle I/O 2012だった。GCEはすぐに限定リリースが始まったが、一時期、社内基準をクリア出来ずサービスを停止。そして2013年4月正式リリースとなった。このGCEサービスはGoogleが満を持して投入したIaaSだ。そして前回レポートのGartner Magic Quardrant分析でもはっきり頭角を現して来た。しかしAmazon EC2が登場して7年以上が経つ。完璧な周回遅れだ。果たしてGoogleはこの劣勢を挽回できるだろうか。答えはYESだ！彼らには秘策がある。思い出してほしい。あの一世を風靡したBlackberryがApple iPhoneの登場と共に首位の座を奪われると、すぐにGoogleからAndroidが出た。これによって市場は再度シャッフルされてAndroidが首位に立ったことを。

＝Googleはどのくらい劣勢なのか＝
ともあれ、Googleはどれくらい劣勢なのだろう。
Synergy Research Groupの報告によると、昨年度、MicrosoftとIBM、Googleの３社の売り上げはほぼ倍増したが、この間Iaas/Paas市場は世界で46％成長し、 Amazonはシェアを55％伸ばしたと言う。下図で見ると、3社合計にSalesforceのPaaSを加えてもAWSに15％程度足らない。つまり、現時点では、Amazonが独り勝ちの状況なのだ。

これほど離されると挽回は不可能なのか。いやそうではない。前回触れたようにクラウド市場はやっと裂け目を超えて、本格市場の開拓に入ったところだ。これまでの市場はAmazonが作り出し、そのレールを突っ走ってきた。つまりEarly Adopterが対象だった。これからの本格市場の中心はエンタープライズだ。ここでは大きな実績を持つIBMやMicrosoftが有利だし、さらにはVMwareだってかなりの実績がある。Googleの場合は、大企業は多くはないがスタートアップなど中小企業を中心としたシェアを持っている。それにデベロッパがGoogleに寄せる信頼は絶大だ。シリコンバレーでは有償のGmailに企業ドメインを使い、Google Documentでドキュメントやスプレッドシート、プレゼン資料を作成するのは当たり前のことである。

＝秘められた作戦＝
口の悪いアナリストは、「今は絶好調だがAmazonは所詮はインターネットの本屋。それに比べてGoogleはインターネットのオールラウンドプレイヤだ。彼らが本気になれば、その実力と総合戦略には歯が立たない」と主張する。GCEが発表された次のGoogle I/O 2013でGoolge Cloud Platformが登場した。このプラットフォームは、GCEをIaaS、App EngineをPaaS、それにCloud Storageを加えて体系化したものだ。そして今年２月のGoldman Sachs Technology and Internet ConferenceでGoogle CFOのPatrick Pichette氏がGoogle Fiberの世界展開について言及した。Google Fiberとは2011年からKansas Cityで始まった高速インターネットプロジェクトのことだ。氏は現在の１GBから10倍の10GBに上げ、ここ３年で世界展開を目指すと説明した。これこそが市場奪還の起爆剤なのだ。知っての通り、Googleのデータセンタ群は専用の高速ネットワークで繋がれ、検索やMapsなどあらゆる地域に住む我々の要求を瞬時に満たしてくれる。彼らのデータセンタはひとつのセンタがひとつのコンピュータに見える設計だ。このようなセンタを超高速で結合することにより、全てのリソースは論理的にひとつとなって、世界最大のクラウドとなる（詳細はここ）。Google Cloud Platformはこの超高速ネットワークの中に他のサービスと共存する。勿論、Google Fiberの目的は、先週のGoogle I/OでAndroid関連の話題（Android L、Wear、Auto、TV、One）が賑やかだったように、テキスト/画像から動画/音楽などのストリーミングに向かうユーザ/デバイス性向を満足させるためのものである。しかし、これはGoogleクラウドにとっても最高のプレゼントだ。これが出来れば、まさに在りし日のSunが社是とした「The Network is the Computer」そのものとなる。こうなればGoogleのクラウドは、①もうリージョンやコンテンツ配置はあまり気にならないし、②クラウドアプリはMapsやBigQueryなどのサービスとバックエンドで高速連携ができる。そして、近い将来デベロッパはGoogleサービスの全てを利用することが出来るだろう。③幾つかのベンチマークによる結果（例1、例2）はGCEの圧倒的な高速性を示している。特にPersistent Diskの効用やI/Oの高速性は素晴らしい。④さらにオープンソースのDockerやFluentdなどの整備も進んでいる。念のため、DockerはUnixやSolarisでは一般的だった軽量のコンテナ型仮想化技術、Fluentdはログ収集管理に威力を発揮するシステムだ。そしてクラウド戦略で、⑤もっとも重要なのは費用だ。Amazonに比べ、課金時間単位（Amazonは１時間、Googleは10分）やその利用料でもGCEは絶対優位にあるし、メータリングの観点からみてもVMのBootやRestartはGCEが圧倒的に早い。

 

＝Amazonの戦略＝
Googleが勝ち残るには何としてもAmazonの上を行かなくてはいけない。

Source: SiliconANGLE

Amazonのこれまでの成長過程を見ると、まずインフラを整備し、低価格でユーザを呼び込み、便利な機能を提供して利用を促進させ、さらにインフラを増強する。そして設備の効率化を図り、さらにコストを下げる。Amazonはこれまで価格改定を42回行ってきた。ということは、このサイクルをそれだけ回したということだろう。Googleがこの戦略に打ち勝つには決定的なアドバンテージがいる。ひとつはGoogle FiberやPersistent Diskに代表される高速性。もうひとつは徹底した低価格化だ。
  
 ＝価格破壊が始まった！＝
今年3月25日、Google Cloud Platform Liveで30～85％という大幅なPrice Cutが断行された。これに即応し、翌日、Amazonからも新価格が出た。まさに価格戦争の始まりである。Googleの発表内容は、通常利用の値下げ（On Demand Price Reduction）と継続利用時の割引（Sustained Use Discount）の２つだ。まず前者（On Demand Price Reduction）を個別にみると、①Compute Engineの全インスタンスで32％値下げ、②App Engineは料金体系を簡素化し、インスタンスあたり37.5％、Dedicated Memcacheは50％、Datastore Writeは33％の各値下げ、さらにSNI SSLやPageSpeedなどの機能は無償。③Cloud Storageは￠2.6/GBとなり平均ユーザでは約68％の値下げとなる。④ビッグデータ解析で有効なGoogle BigQueryは85％カットだ。後者は、⑤継続利用割引プログラム（Sustained Use Discounts）となって、１ヵ月の25％以上の期間でVMを使用すると自動的に同割引プログラムが適用される。もし1ヵ月間使用し続けるとさらに新価格より30％の値引きだ。これは旧価格に対し合計で53％の値引きである。つまり、Webアプリなどの常時アップしている業務では半値となったのだ。完全にAmazonに対する挑発である。このGoogleの値下げは今回だけにとどまらない。先週、MapReuceの後継と目されるCloud DataFlowを発表したクラウド担当Senior VPのUrs Hölzle氏は言う。「クラウドは、本来、前金なしで使用料だけ払えばVMを使えるシンプルなものであるべきだ。ハードウェアはここ数年で20～30％下落している。しかしPublic Cloudは6～8％程度しか下がっていない。つまり、普通で考えてももっとカットすべきである。」
そして、「クラウドの機能を複雑にするのはデベロッパを縛ることになる。それより重要なのは、CPUやディスク、ネットワークの早さや革新的技術の提供、そしてユーザ本位の課金だ」と暗に指摘する。
Googleが仕掛ける価格戦争にAmazonがどう対応するのか。
エンタープライズを得意とするプロバイダはどのように市場開発を進めるのか。
いよいよ本格的な第２ラウンドが始まった。

Magic Quadrantに見るIaaSプロバイダの変遷

恒例のGartner Magic Quadrant IaaS May 2014が出た。
そこで今回はクラウドの要とも言えるIaaSプロバイダの変遷を分析し、今後を考えてみようと思う。クラウド全体を俯瞰すると、現状は第１ラウンドから第２ ラウンドに差し掛かっているようである。Geoffrey Moore氏の有名なマーケティング書「チャズム－裂け目を越える－Crossing the Chasm」でいうところの初期市場（Early Adopters）から主力市場（Mainstream Market）に移りつつある。氏はユーザを３つのセグメントに分ける。最初が「技術革新を好み、物事に興味深く、すぐに使いたがる人たち」 、次が「主力市場の人たち」、最後は「何事にも保守的な人たち」だ。これらの層によって技術の受け入れ方は違う。早いもの好きの人たちは技術の興味だけで使い始めるが、主力市場の人たちを動かすにはマーケティングの力が欠かせない。この層が動き出せば技術は本物になる。そのためには、関連する企業や団体が力を発揮し、裂け目（Chasm）を越えなければならない。

IaaS プロバイダを見ると、Facebookがクラウドに参入するのではないかという噂もあるが、市場には大方のプレイヤが出揃った。そしてはっきりしていることは、現在、核となるプレイヤを中心に統廃合が進んでいる。彼らをどう区分するかは異論のあるところだが、ここでは便宜上、①メーカ系としてIBM、HP、Dell、Ciscoなど、②キャリア系はAT&T、Verizon、CenturyLinkなど、③独立系のプロバイダやデータセンタはGoGrid、Rackspace、Terremark、Joyent、Tir3、Dimension Data、CSC、SAVVIS、SunGrid、SoftLayer、Virtustreamなど、④インターネットやIT系ではVMware、 Amazon、Google、Microsoftなどに分けて説明を加えた。

＝第１ステージ：Rackspaceなど新興勢力がリード　2009～2010＝
Amazon Web Services（AWS）が登場したのは2006年のこと。その後の活躍は衆目の知るところである。しかしながらクラウド初期の2009～2010年（下図）を見ると、AWSは決して良いポジションではなかった。この時期目立つのは新興勢力の台頭だ。彼らは各々特徴を持っていた。IaaSとは言っても、JoyentはSolaris関連を領域とし、GoGridはいち早くWindowsを手がけ、OpSourceは3rd Party Applicationを得意としていた。その中にあってRackspaceは抜けた位置にいた。RackspaceがAWSと並ぶクラウドの初期プロバイダであったことはもとより、2010年7月、NASA AmesとOpenStackを立ち上げたからだ。あの時の衝撃は凄かった。もうひとつ、米キャリアが目立っていたのもこの時期だ。AT&Tは2006年にASP最大手のUSinternetworking (USi)を買収、Verizonも企業向けホスティングからクラウドに参入した。こうしてクラウドが動き出し、その有効性と将来性が解ると、時代の流れを読んだ多くのプレイヤが動き出した。ここまでが第１ステージである。

• Amazonは良いポジションにいなかった。
• 個性ある新興勢力のプロバイダが市場をリード。
• RackspaceがNASAとOpenStackを始動。
• AT&TとVerizonが既存顧客を引き連れて参入。

＝第２ステージ：頑張るキャリアと草刈場のデータセンタ　2011～2012＝
続く2011～2012年の第２ステージでは、ICTに象徴される情報と通信の流れの中でキャリアの生き残りを賭けた買収劇が相次いだ。AT&TによるUSi買収の後、2011年１月、VerizonがTerremark Worlwideを買収（$1.4B）。さらに両雄に挑戦を仕掛けたのは現在３番手のCenturyLinkである。米キャリアは本来2強プラスQwestだった。この順位を変えたのは2010年4月、業界5位のCenturyLinkによる3位Qwestの買収だ。こうして大きくなった同社は2011年4月、大手データセンタのSAVVISを買収（$2.5B）してクラウドに参入。 NTT Holdingも2010年7月、世界展開するデータセンタDimension Data（南アフリカ本社）の公開買い付けを発表、同10月に子会社化。さらにNTTは翌2011年７月、主要投資先であったOpSourceをDimension Dataに買収させることを承認して統合させた。結果、データセンタ業界はクラウドの草刈場と化し、その後もこの流れは続くことになる。詳細は米キャリアとデータセンタ業界参照。そして、この急激な流れの中でAmazonがトップに躍り出た。

• 米キャリアの草刈場となったデータセンタ業界。
• Amazonがクラウドのリーダに。

 

＝第３ステージ：ダントツAWS、MSなど各社が追撃態勢　2013～2014＝
昨年から今年にかけて市場のプレイヤはさらに整理され、一段と状況が鮮明になった。その中で特筆はAmazonだ。断然トップ、それも独走態勢に近い勢いである。次にMicrosoftの躍進がある。同社は2012年12月AzureのIaaSを発表、トライアルを経て昨年４月に正式にリリース（米国）した。この流れが効果的だった。さらにIBMも動き出した。IBMは昨年３月のPulse 2013カンファレンスでOpenStackが同社のクラウド戦略の中心になると発言。しかしその後、態度を変えて、同６月にはSoftlayerを買収。そして全面的に乗り換えると発表した。この買収による相乗効果はまだ軟弱だが、今年はどうなるのか要注意だ。前述のCenturyLinkのフットワークは依然として良い。傘下のSAVVISが2013年6月、PaaS/SaaSプロバイダのAppFogを買収、さらに同11月、CenturyLinkはTier3も買収して猛チャージ中だ。もう２つ要注意企業がある。ひとつはVMware、そしてGoogleだ。VMwareは昨年５月、 一般企業がvShereで構築したプライベートクラウドとハイブリッド接続が出来る同社のパブリッククラウドvCloud Hybrid Serviceを発表。また、GoogleはこれまでのPaaS対応のApp Engineに加え、昨年４月、IaaSのGoogle Compute Engineを正式リリース、共に追撃体制に入った。

• Amazonが断然市場をリード。 
• IBM/SoftLayer連合が巻き返しへ。
• CenturyLinkが依然買収攻勢。
• OpenStack普及に賭けるRackspace。
• VMwareがIaaS市場に参入、Googleも追撃へ。

、

＝生き残りを賭けた戦い！＝
こうしてみると、クラウド各社は第1ラウンド最後の生き残りを賭けた戦いの最中にある。或る報告では2015年までにプレイヤの1/5が姿を消す。先頭を走るAmazon、それを各社が追う展開だ。メーカ系ではSoftLayer買収で新しく生まれ変わったIBMがどれ位善戦するのか。Windowsサーバで実績のあるMicrosoftがどこまで伸びるのか。キャリア系ではVerizon/Terremark組よりCenturyLinkに勢いがある。Rackspaceは多くの支援企業を集めたOpenStackを普及させることが出来るのか。そしてIT系では共に実力のあるVMwareとGoogleが周回遅れで参入してきた。特にGoogleの追撃がどうなるのか目が離せない。これから始まる本格市場開発の第２ラウンドでは熾烈な価格競争が待っている。

Nutanixの世界！（Virtual Computing Platform） －分散システムの薦め－ －SDS11－

Nutanixを知る人は分散DB型のハードウェアを売る会社だと思っているかもしれない。実は違う。この会社はソフトウェアの会社だ。現在販売しているサーバーは台湾SuperMicroからのOEMだ。それは彼らの考えるサーバーを提供してくれるからであって、ベンダーには固執していない。実際のところ、この会社は、GoogleのGFSチームのスピンアウトだと言っても良い。GFSがGoogleデータセンタの基盤となっていることは知っての通りである。Nutanixの初期メンバーの多くはGFSのエンジニア達で、彼らは商用版のGFSとでも言うべき分散型仮想コンピューティング環境の開発を目指した。今回はそのNutanixが提案する新しいプラットフォーム（Virtual Computing Platform）について考察しよう。

＝Data Centerの変遷にみる課題解決＝
企業データセンタの変遷を同社は次のように語る。90年代初めメインフレームのアプリケーションは暫時Unixサーバーに移行。しかしこのハイエンドサーバー環境はすぐにストレージが問題になった。ストレージ需要が増加しても、複数サーバーにまたがって容量をプールすることが出来なかったからである。90年代後半になるとSANやNASが登場して、ストレージの共用プール化が実現。これによってデータセンタの大規模なストレージ構築ができるようになった。2000年代の初頭には、スナップショットや重複排除なども確立されて、データ保護や使用率の向上も改善。2000年代中期にはVMwareなどの仮想化技術がデータセンタに適用されるようになった。仮想化はサーバー利用率の向上やアプリケーションの迅速展開などに大きなメリットをもたらした。しかし仮想化が企業データセンタの主要なテーマになると、今度はSAN/NASのストレージアーキテクチャが成長を妨げる要素として浮上。つまりこれらのストレージシステムは仮想環境による膨大な仮想マシン（VM）とのやりとりを前提に設計されたものではなかったからである。そしてシステム全体はマルチベンダー環境となって、管理も煩わしく、拡張コストもかさんだ。さらに構造的な問題として、ストレージ需要が増加するにつれてパフォーマンスが低下するという傾向も散見されるようになった。これらの問題解決には、基本的なアーキテクチャの見直しが必要だと同社は主張する。

＝Virtual Computing Platformとは何か＝
Nutanixの提案する新しいアーキテクチャを見てみよう。まず、ハードウェアは、コンピューティング層とストレージ層が一体となった構造だ。これによってシームレスに拡張できる。Googleが運営する同社のサーバープラットフォームを思い出して欲しい。OSはカスタマイズされたLinux、そして特別仕様のマザーボードに共に複数のMPUとHDDが搭載されている。Nutanixの提供するハードウェアは、SANやNASを必要とせず、ローカルにストレージを抱えたGoogleやFacebookとまったく同じ構造だ。主力モデルのNX-3060シリーズでは、同一筐体（アプライアンス）に４つのノードが収められ、個々のノードにはコンピューティング層に２つのIntel Ivy Bridge E5-2680v2（10x2=20 コア）、ストレージ層にはFlash SSD（400GB）が１つと４つのHDD（１TB）が搭載されている。これらのノードは同時並行で稼動し、必要数のアプライアンスがラックされてシステムを構成する。システム容量を増強するにはアプライアンスだけを追加すればよい。このシステムの要はNDFS（Nutanix Distribution File System）である。通常の仮想環境では複数のVMが1台の物理マシン上で実行され、結果、SANやNASなどの集中型ストレージにI/Oが集中してボトルネックが起こる。 これに対してNDFSでは、各ノードのローカルストレージを高速ネットワークでクラスタリングし、さらにローカルストレージにはSSDとHDDを搭載することで、ボトルネックを無くし、かつパフォーマンスを著しく向上させている。NDFSの核となるのは仮想ストレージコントローラ（Controller VM、以下コントローラ）だ。このコントローラが各ノードに搭載され、互いにネットワークを組んで、横への拡張性と耐障害性の向上に活躍する。実際のI/Oを見てみよう。VMからのデータ書き込み要求があると、その情報はコントローラに渡され、ローカ ルのFlashに書き込まれる。この際、ノード障害に対応するためデータは複数のノードで管理される。VMからの読み出しは、通常、ローカルストレージが対象となる。つまり、コントローラによって、VMのデータは可能な限りローカルにHOTデータとして保持され、極力ネットワーク横断を避ける。Flash SSDに保持されているHOTデータが古くなってCOLDになるとHDDに押し出され、再びHOTになるとFlashに引き戻される。ノード障害が発生すると、NDFSではVMware HAなどの標準的高可用性がサポートされているので、VMは自動的に別のノードで起動する。再起動したVMのI/O要求はコントローラに送られ、コント ローラはデータのリプリカがある場所を特定して実行。さらに、その後の処理に備えて自らのローカルストレージに保持する。こうしてみるとNDFSは商用版のGFSと言っても良いだろう。

 

＝分散システムの薦め＝
Nutanixを研究すると、或ることに気付く。
これまで我々は自然と縦を重視してコンピュータアーキテクチャを作り出してきたようだ。つまり、コンピュータをCPUやメモリーなどのコンポーネントを詰め込んだエレクトロニクスのひとつの箱として進化させ、補助記憶装置は当初から別の箱として、２つは結合して使うものとして扱われてきた。さらにSANやNASが登場すると専用コントローラが開発されてエンクロージャに多数のHDDが詰め込まれた。これが縦型アーキテクチャだが、しかし、2つにはアクセス速度に関して、エレクトロニクス.対.駆動装置という決定的な違いがある。これが仮想環境で加速されてボトルネックの問題となった。救世主として現れたFlashは、高価格から未だHDDを完全に置き換えるまでには至っていない。現在はFlashとHDDの共存の時代である。このような状況にあって、Nutanixのシステムはノード内に全てを内蔵し、それを高速ネットワークで接続する横型だ。しかし、LinuxやWindowsなどは分散システムを基本的な機能としてサポートしていない。Hypervisorが既存OSを補完して仮想環境を作り上げたように、我々は慣れ親しんだ構成を一度リセットし、クラウド時代に適した新しい分散型プラットフォームを考える時代となったようである。


 ＜補足＞
無償でダウンロードできる解説本「ソフトウェア・デファインド・ストレージ」が解り易さで定評の“for DUMMIES”から出た。著者はコンサルタントのScott D. Lowe氏。スポンサーはNutanix。 勿論、Nutanix向けに書かれたものだが日本語となって内容は一読に値する。ダウンロードはここから！

第1章: 現状のストレージ
第2章: ソフトウェア・デファインド・ストレージの基礎
第3章: SDSの基本概念と成功への鍵
第4章: SDSの企業への貢献
第5章: SDSの重要な真実10項目

最高速Flash ArrayならViolin Memoryだ！ ーSDS11ー

Flashアレイには２通りある。ひとつはFlash SSDを用いる方法、Tintri（既報）やPure Storageなどだ。もうひとつはFlashをデバイスとして独自に組み上げる方法だ。一般的には、後者の方がアクセスは早いが価格も高い。Viloin Memory（以下Violin）は後者の方法でハイエンドストレージ市場の開拓を目指している。この分野にはTMSを買収して製品化したIBM FlashSystem 720/820やFlashデバイスを自製するHitachi VSP G1000などがいる。今回はチャレンジャのViloinについて紹介しよう。

＝どうすれば早くなるか＝
ViolinはDRAM の会社として2005年に設立。2009年に再投資を受けてFlashに転じた。Flashアレイの開発に当たってどうすれば最高速の製品が出来るか。共同設立者でCTOのJon Bennett氏はここが勝負だと考えていた。Flashの長所を活かし、欠点の寿命を改善したい。考え抜いた答えは、アクセスタイムを最小化するファブリック構造と新しいRAID技術だ。そのためにはアーキテクチャを一新し、コンポーネントを自社で設計する。要となるFlashは勿論SSDは使わず、デバイスを本家の東芝から調達して組み上げる。ここまでが初期のストーリーだった。その後、ラッキーなことに東芝の米子会社から投資を受け、共同開発へと進展した。こうして2011年9月、All FlashのViolin 6000シリーズが出来上がった。３Uの筐体には、①独自設計で高速アクセスを可能とするVIMM（後述）のMemory Fabric、②Flashの有効性を高める新たな冗長化技術（vRAID）のArray Controller（Array Control Module-ACM）が２つ、③ACMと対となってMemory Fabricを制御するvRAID Controller（vRAID Controller Module-VCM）が４つ、④Flashストレージ仮想化やLUN構成管理のGateway（Memory Gateway-MG）が２つ、⑤外部インターフェースのFibre Channel、iSCSI、InfiniBand、PCIeに対応するNetwork Interface（IO Module）が４つ、⑥Power Supplyが２つ収納されている。全てのコンポーネントは２重化され、かつホットスワッパブルの安全設計である。

＝最高速を生み出す仕組み－メモリーファブリック＝

このシステムは高速アクセスが可能なファブリック構造だと述べた。その要となるのは東芝から技術供与を受けて独自開発したVIMM（Violin Intelligent Memory Modules）だ。VIMMカードの裏表に16のFlashチップとFPGAを実装、容量はSLCモデルで最大17.5TB、MLCモデルは最大70TBだ。１筐体に収納されるVIMMは64．うち60が実際のストレージに割り当てられ、残り４は障害時のスワップ用となる。２つのMGとACMを介して４つのVCMが60個のVIMMに並行アクセスする。MGではストレージで通常用いるLUNをFlashに適用し、ユーザはLUN数とサイズを決めれば良い。後はACMが独自冗長技術ｖRAID（特許取得済み）を自動的に適用する。もう少し補足しよう。ここでMGは実際のところ、OSこそ乗っていないがハードウェア的にはマルチコアのIntel Xeonと大容量メモリーが搭載さ れたブレードサーバーのブレードと同様である。Violin全体を運用管理するvMOS（後述）などのファームウェアは、このMG上と連携するACMで稼働する。次ぐにｖRAID。これは同社がFlash専用に開発した冗長度技術だが、通常HDDで使われているRAID１～６とは関係がない。言い換えれば、ｖRAIDを適用すれば従来のRAID適用は不要となる。右下図ではVCMから５つのパスを使い、うち４つでLUNのデータを分割保存、残り１つで障害時の再生用パリティブロックを書き出す。これらは同時平行処理となる。 もし、パリティブロックの書き出し時にエラーが起こると、VIMM自体がECCやCRC、さらに他領域への自動修復を試み、万一、それでもダメな時は4つある予備VIMMにホットスワップされる。これらによってFlash自体の寿命が高められる。ひとつのVIMMに実装されるFlashチップは16、1筐体に64のVIMM、合計1024個のチップが乗る。シャシー内の全てのコンポーネントはシステムレベルのスイッチングレイヤーによってPCIe相当の高速バスで相互接続されている。これら全てが連携しながら高速でメッシュのように動き出す。まさにファブリック、織物のようだ。この構造こそが、最高速を生み出す仕組みである。最上位モデルはViolin 6616（SLC）。容量は17.5TB、処理性能を示すIOPSは1,000K、遅延は～250μs。もうひとつ、MLCベースの最上位機Violin 6264は、70TB、750K IOPS、遅延は～500μsとなっている。 

＝vMOSとは何か＝
このFlashアレイを効果的に制御するのはvMOS（Violin Memory Operating System）だ。vMOSは前述のようにMGとACM上で稼動し、３つの機能を持つ。まず ①システム管理者向けの“System Operation”では、Flashシステムを管理運営するWebインターフェースやCLI、REST APIを提供。vMOSによって作り出されるダッシュボードではリアルタイムやインターバル設定によって各種情報がビジュアルに掌握できる。これらはモバイルからもチェックが可能だ。システム設定は、初期値を決めれば後は基本的に自動運用となる。次に ②LUN管理とメモリーファブリックの効率的な運用を司る“System Management”。 最後は ③スナップショットやクローンなどを管理する“Data Management”。vMOSはひとつの筐体内を管理し、大規模対応には複数のvMOSを束ねるViolin Symphonyも用意されている。

＝ソリューションを追う！＝
Violinのビジネスは順調に進み始めた。これからはソリューションの時代だ。製品開発が一段落すると、今度はデータベース分野の掘り起こしが始まった。
①WFA（Windows Flash Array） ... 初めの大作業はMicrosoftとの協業だった。今年4月、やっとのことで作業が終わり、MG上にWindows Server 2012 R12を搭載することが出来た。これによってHyper-V上の仮想マシンでSQL Serverが動きだす。こうして世に出たWindows向けFlashアレイWFAはMicrosoftにとってもエンタープライズ向けAzureビジネスに役に立つ。
②SAP Adaptive Server Enterprise ... これに続き、今年５月初めには、SAP Sybase Adaptive Server Enterprise（旧Sybase）の製品認定を取得。
③ OpenStack Cinder ... さらにViolinは５月中旬、OpenStackにコーポレート会員として加盟し、Violin製品をOpenStack Block Storage Cinderと連携させるiSCSIプラグインを提供。これは現在βだが第２四半期中には正式リリースとなる。

VMセントリックストレージのTintri！ －SDS10－

Tintriの設立は2008年。Tintriとはアイルランド語で稲妻（いなずま）、まさにFlashを意味する。同社はSSDとHDDを使ったティアリングのVMセントリックストレージを開発した。Tintri ＣＴＯで共同設立者、そして初代CEOでもあったKieran Harty氏はＥＶＰとしてＶＭwareのエンジニアリングを引っ張ってきた。その彼には、長い間気になっていることがあった。ラックマウントやブレードなどのコンピュータとＳＡＮ/ＮＡＳなどのストレージ間に横たわるギャップについてである。


＝VMセントリックなストレージとは何か！VM Aware＝
両者は長足の進歩を遂げてきた。しかし、エレクトロニクスのＣＰＵ速度と物理的なディスクアクセスには大きな差がある。この差は物理サーバー全盛期にはあまり気にならなかった。しかしVMwareなどのハイパーバイザが登場して、無数の仮想マシン（VM）が1台の物理マシン上で動き出すと問題は顕在化した。こうなればVMセントリックなストレージを開発する以外に道は無い。彼は疑わなかった。沢山のVMの中にはI/O要求が極端に多いもの、そうでないものがある。特定のVMのI/Oに引きずられるとストレージI/O性能の波が安定しない。これを解決するにはハイパーバイザから得られる情報を使い、それをもとにVMのI/O動作を分析・制御する。ストレージにはHDDとFlash SDDを組み合わせてハイブリッドとし、徹底した低価格化を実現する。これがVMに目覚めたストレージのVM Awareというコンセプトとなった。

＝支えるソフトウェア、Tintri OS＝
VM Awareを具現化する道具は２つ。ソフトウェアとハードウェアだ。
そのソフトウェアの柱がTintri OSである。ストレージがVMの動きを理解し、能動的に環境にフィットさせる。そのためにVMware ESXiとAPIでネイティブに接続する。これによって仮想化構成要素のすべてが可視化され、変化の兆しを迅速に把握して、VM単位の性能予約へ結びつける。後はルールに従って自動的に実行するだけだ。勿論、この過程でVMの履歴を管理し、これも性能予約に反映させる。こうしてVM毎に必要な性能を確保することで円滑な実行が保証される。Tintri OSの構造（下図）はフロントエンドとバックエンドからなる。フロントエンドにはNFSなどのプロトコルMgrとリソースパフォーマンスマネージメント（RPM）がある。Tintri OSはESXiと高速接続されたストレージの性能を最大限に引き出すために、このRPMに並行処理のレーンを用意。VMからの個々のI/O要求はこのレーンに割り当てられ、重複排除（Deduplication）とデータ圧縮（Compress）が同時並行的に行われる。これによって本来のデータは大幅に圧縮されて、ストレージのROIを大きく改善する。バックエンドは“Tintri Hybrid Filesystem”として、ホットデータのSSDとコールドのHDDを制御し、さらにVM単位のスナップショットやクローンなどの諸機能を実行する。

＝コントローラはどうか＝
TintriのVMセントリックストレージは、これまで述べてきたように大きくソフトウェアに依存している。一方、ハードウェアの方は市販品に徹しているようだ。勿論、SSDもHDDも市販品。SSDの前に１次キャッシュとして不揮発性メモリーのNVRAMを内臓している。サーバーからの書き出し“Write”要求は、このNVRAMにデータを書き込めばすぐにOKを返す。なぜならNVRAMは電源が落ちても消えないからだ。後は非同期でSSDに書き出す。通常のハイブリッドではSSDでのヒット率は読み書き平均で40～50％だが、Tintriの場合はこの２段階キャッシュのお陰で99％のヒットが得られるという。同社はコントローラについて詳細情報を開示していないが、想像するに特別なものではないらしい。冗長度対応はどうなっているのだろう。同社によると出荷時の設定はデフォルトでRAID6、そしてTintriの１筐体が１ボリューム、１LUNとなっている。これによって、これまでのストレージ管理の煩わしさはなく、VMから見ると必要なサイズのみが重要となる。

＝最大のウリはコストパフォーマンスだ！＝

Back View of T600 Series

同社のウリは何と言ってもコストパフォーマンスである。狙いは既設のHDDアレイをTintriでリプレースすることだ。VMセントリックの使い勝手を武器に費用対効果で市場開発を進める。現在、リリースされている製品は３つ。 下位モデルのT620は総容量１９．４４TB (6x 240 GB SSD + 18x 1 TB HDD)、中位のT５４０は同26.4 TB (8x 300 GB SSD + 8 x 3 TB HDD)、最上位機のT６５０は同 9.32 TB (9x 480 GB SSD + 15x 3 TB HDD)となっている。Tintriは現在、ハイパーバイザとしてVMwareのみをサポートしているが、KVMについてはここ2ヶ月以内、Hyper-Vについても今年下半期にはリリースされる予定だと聞く。

Flashストレージへの期待！ －SDS9－

SDS（Software-Defined Storage）を議論する際の論点は初回で述べた。 
今回はストレージの高速化について述べようと思う。これには幾つかの視点がある。
まずクラウド利用か否かは別として、ストレージそのものの高速化がある。もうひとつはクラウドでの対応だ。後者は次回以降に回すとして、今回は前者の代表的な技術Flash SSDについて触れてみようと思う。このコア技術であるFlash Memoryは東芝に在籍していた舛岡富士雄氏が発明（NOR：1980年、NAND：1986年）したものである。 

＝ムーアの法則 .vs. ニュートンの法則＝ 

Source: Wikipedia

MPUの進化がMoore’s Lawに準じているという話は有名だが、HDDはディスク回転やアーム移動などの可動部改良が鍵となることからNewton’s Lawに従っているようだという説がある。周知のようにIntelのMPU開発は1971年に始まった。ビジコンから派遣された嶋正利氏とIntelチームが開発したIntel 4004である。1978年には現在の原型となる8086が登場し、DOS用80286（1982）、Windows用386（1985）が生まれ、その後Pentiumへ、さらにRISCや64ビット化、マルチコア化を取り込んで現在に至っている。
翻って、ストレージの進展はどうであろうか。
ストレージの代表格HDDは、MPUがIntelの開発史であったようにIBMから始まった。最初に登場したのはIBM 350、1956年のことである。IBM 350は表面が100トラックの24インチディスク50枚からなり、記憶容量は4.8メガバイト。その後、中型商用コンピュータ（IBM 1401）向けにIBM 1405（1960）が登場、ディスクは25枚と50枚の両面使用の２モデルで容量は10MBないし20MB。1973年、System/370用に読み書きアームとディスクが一体となったリムーバブルWinchester DriveIBM 3340が開発された。これはディスクパックのモデルにより容量は35MBないし70MB。こうしてHDDはIBMと共に成長して容量を増やしてきたが、1981年のIBM PCの登場によって大きな変革期へと入った。

＝成長から成熟へ＝
80年代前半、PCによるコモディティ化でWestern DigitalやSeagate Technologyが市場に参入、より一層の小型化、低価格化が進んだ。PC成長の裏側でメインフレームが後退、替わって登場したコモディティ技術のサーバー向けHDDも急成長。この流れは、読み取り精度の向上を目指したThin Film HeadやAMR/GMR Headなどの改良が進んだことで弾みがついた。この時期までNewton's Lawは順調に見えたが、時の流れの中で、HDDの成長は物理的装置であるが故の壁に突き当たる。下図（SNIA）で解るように、今後、まだ面密度（Areal Density）向上の余地は残されているものの、回転数はもうこれ以上あがり難く、よってSeek Timeも速くはならない見通しだ。

Source:SNIA

HDDのコモディティ化がはっきりすると、生みの親のIBMは、2002年、その技術を日立に売却、Hitachi Global Storage Technologies（HGST）となった。同社は激しい競争の中で小型HDDを断念してやっと黒字化。2011年3月、Western Digitalに再売却。同年12月にはSeagate TechnologiesがSamsung ElectronicsのHDD事業部門を買収して２強時代となる。

＝Ｆｌａｓｈの時代へ＝

Intel SSD 730

その後、HDD市場は主力の3.5ｉｎと2.5ｉｎが両輪となって成長したが、スマホとiPadの登場で状況は一変した。これらはSSDではないが同じNAND Flash Memoryを搭載し、その高速性と静音、省電力には目を見張った。以降、HDDと同型で同じSATAなどのインターフェースを持つSSDが次々に製品化され、コンピュータを少し弄った人なら自分でPCのHDDリプレースが可能となった。しかし課題もある。HDDの数倍という価格だ。普及による量産化と技術革新で徐々に下がっているとは言うものの、HDD陣営の追い上げ努力も大きく、激しい競争が続いている。

＝Flashをどう使うか＝
これまで普及してきた廉価なHDDに対して新たなFlashをどう使うか。
新たなストレージシステムを組み上げる主要コンポーネントは、コントローラ、NANDメモリ（Flash）、キャッシュ用SDRAM 、それにストレージアレイ（HDDないしSDD）。コントローラにはサーバとのインターフェースを担当するフロントエンドポートとストレージ接続を行うバックエンドポート、そしてキャッシュが内臓されている。キャッシュにはSDRAMかFlashが採用され、２層となる場合もある。バックエンドのストレージは廉価なHDDか高速のFlash SSDだ。一般にサーバからのデータ読み込み要求は、まずキャッシュでヒットさせ、ミスヒットの場合はストレージから読み込む。ストレージ書き込みの方法には２つある。サーバからの書き出し要求をキャッシュを通してストレージまでをひとつの流れとする “Write Through”方式。一方、キャッシュまでの書き込みとストレージへの書き出しを非同期で行う“Write  Back”方式がある。これらの制御はすべてコントローラ上のソフトウェアが実行する。どのようなアーキテクチャで、どのようにFlashを位置づけて製品化するかはソフトウェア次第だ。幾つかのパターンを見てみよう。

◆ Server-Attach PCI Flash
まずサーバーサイド利用の“Server-Attach PCI Flash”。これはFlash Memoryを搭載したカードをPCIeなどの標準インターフェースでサーバーに挿し込む。この場合、サーバーに挿入されたFlashは、外付けのHDDやFlash SSDと異って、RAMに準じるポジションとなり、サーバー内部に常にホットデータを保持することが可能となる。一般にメモリーが数GBなのに対し、この内臓型FlashはTB級の容量を持つことができるので、IOPSを大幅に向上させることができる。

◆ Array with Flash Cache

次にHDDアレイの高速化のためにFlashをキャシュとして組み合わせたものが“Array with Flash Cache”。このタイプの製品はHybrid Storageとして多くの製品が出荷されている。歴史的に見ると、まずHDDアレイの高速化としてSDRAMキャシュがコントローラ内に登場し、その拡張やリプレースとして大容量のFlasｈが採用されてきた。この方式はパフォーマンス改善には非常に効果的でIOPSは確実に１桁改善される。

◆ Array with Flash Tier
さらにFlash SSDとHDDアレイを組み合わせて階層化した製品が“Attach with Flash Tier”。この方式ではフロントはSSDでバックエンドはHDD。ここで良く利用するデータは“Hot”なものとしてフロントに置かれ、頻度の少ないものは“Cold”としてバックとなる。フロントにあったホットデータもアクセス頻度が落ちると自動的にバックに押し出され、逆にバックのデータもアクセス頻度が高くなるとフロントに引き上げられる。

◆ All Flash
そして、今もっとも注目されているのが“All Flash”である。HDDは使わず全てがFlath SSDで構成される。コントローラはHDD転用のものもあるが、より効果的な新設計のものが多い。この専用コントローラと新開発ソフトウェアでFlash SSDアレイの高速化に伴うサーバー間のボトルネックを解消したり、データ圧縮によってHDDとの価格差解消を狙う。今後、さらなる量産化と開発が進めばHDDの置き換えが見えてくる。

＝Flashはギャップ解消の切り札！＝
これまでHDD市場は過去2桁成長を続けてきたが、2011年（約6億台）が頂点だった。理由はHDDそのものの技術的な壁だけではない。現代は大量コンテンツ時代、そしてBig Data時代だ。このような環境にあって、コンピュータのシステムメモリーとストレージの間には大きなギャップが存在する。実際のところ、プログラム実行時のDRAMアクセスからHDDアクセスに替わったとたん、データ待ち時間が１～2桁遅くなる。この差はボトルネックとなってシステム性能を落してしまう。このギャップを埋める期待がFlashだ。Flashを上手く使えばアクセス時間は大幅に向上し、ユーザのストレスは解消される。こうして、Flashを利用したストレージアーキテクチャ（前述）の見直しが始まった。今後、どのような形に収斂するのか注視したい。