2014年6月23日月曜日

Magic Quadrantに見るIaaSプロバイダの変遷

恒例のGartner Magic Quadrant IaaS May 2014が出た。
そこで今回はクラウドの要とも言えるIaaSプロバイダの変遷を分析し、今後を考えてみようと思う。クラウド全体を俯瞰すると、現状は第1ラウンドから第2 ラウンドに差し掛かっているようである。Geoffrey Moore氏の有名なマーケティング書「チャズム-裂け目を越える-Crossing the Chasm」でいうところの初期市場(Early Adopters)から主力市場(Mainstream Market)に移りつつある。氏はユーザを3つのセグメントに分ける。最初が「技術革新を好み、物事に興味深く、すぐに使いたがる人たち」 、次が「主力市場の人たち」、最後は「何事にも保守的な人たち」だ。これらの層によって技術の受け入れ方は違う。早いもの好きの人たちは技術の興味だけで使い始めるが、主力市場の人たちを動かすにはマーケティングの力が欠かせない。この層が動き出せば技術は本物になる。そのためには、関連する企業や団体が力を発揮し、裂け目(Chasm)を越えなければならない。

IaaS プロバイダを見ると、Facebookがクラウドに参入するのではないかという噂もあるが、市場には大方のプレイヤが出揃った。そしてはっきりしていることは、現在、核となるプレイヤを中心に統廃合が進んでいる。彼らをどう区分するかは異論のあるところだが、ここでは便宜上、①メーカ系としてIBM、HP、Dell、Ciscoなど、②キャリア系はAT&T、Verizon、CenturyLinkなど、③独立系のプロバイダやデータセンタはGoGrid、Rackspace、Terremark、Joyent、Tir3、Dimension Data、CSC、SAVVIS、SunGrid、SoftLayer、Virtustreamなど、④インターネットやIT系ではVMware、 Amazon、Google、Microsoftなどに分けて説明を加えた。

=第1ステージ:Rackspaceなど新興勢力がリード 2009~2010=
Amazon Web Services(AWS)が登場したのは2006年のこと。その後の活躍は衆目の知るところである。しかしながらクラウド初期の2009~2010年(下図)を見ると、AWSは決して良いポジションではなかった。この時期目立つのは新興勢力の台頭だ。彼らは各々特徴を持っていた。IaaSとは言っても、JoyentSolaris関連を領域とし、GoGridはいち早くWindowsを手がけ、OpSourceは3rd Party Applicationを得意としていた。その中にあってRackspaceは抜けた位置にいた。RackspaceがAWSと並ぶクラウドの初期プロバイダであったことはもとより、2010年7月、NASA AmesOpenStackを立ち上げたからだ。あの時の衝撃は凄かった。もうひとつ、米キャリアが目立っていたのもこの時期だ。AT&Tは2006年にASP最大手のUSinternetworking (USi)を買収、Verizonも企業向けホスティングからクラウドに参入した。こうしてクラウドが動き出し、その有効性と将来性が解ると、時代の流れを読んだ多くのプレイヤが動き出した。ここまでが第1ステージである。
      • Amazonは良いポジションにいなかった。
      • 個性ある新興勢力のプロバイダが市場をリード。
      • RackspaceがNASAとOpenStackを始動。
      • AT&TとVerizonが既存顧客を引き連れて参入。
=第2ステージ:頑張るキャリアと草刈場のデータセンタ 2011~2012=
続く2011~2012年の第2ステージでは、ICTに象徴される情報と通信の流れの中でキャリアの生き残りを賭けた買収劇が相次いだ。AT&TによるUSi買収の後、2011年1月、VerizonがTerremark Worlwideを買収($1.4B)。さらに両雄に挑戦を仕掛けたのは現在3番手のCenturyLinkである。米キャリアは本来2強プラスQwestだった。この順位を変えたのは2010年4月、業界5位のCenturyLinkによる3位Qwestの買収だ。こうして大きくなった同社は2011年4月、大手データセンタのSAVVISを買収($2.5B)してクラウドに参入。 NTT Holdingも2010年7月、世界展開するデータセンタDimension Data(南アフリカ本社)の公開買い付けを発表、同10月に子会社化。さらにNTTは翌2011年7月、主要投資先であったOpSourceをDimension Dataに買収させることを承認して統合させた。結果、データセンタ業界はクラウドの草刈場と化し、その後もこの流れは続くことになる。詳細は米キャリアとデータセンタ業界参照。そして、この急激な流れの中でAmazonがトップに躍り出た。
      • キャリアの草刈場となったデータセンタ業界。
      • Amazonがクラウドのリーダに。
 
=第3ステージ:ダントツAWS、MSなど各社が追撃態勢 2013~2014=
昨年から今年にかけて市場のプレイヤはさらに整理され、一段と状況が鮮明になった。その中で特筆はAmazonだ。断然トップ、それも独走態勢に近い勢いである。次にMicrosoftの躍進がある。同社は2012年12月AzureのIaaSを発表、トライアルを経て昨年4月に正式にリリース(米国)した。この流れが効果的だった。さらにIBMも動き出した。IBMは昨年3月のPulse 2013カンファレンスでOpenStackが同社のクラウド戦略の中心になると発言。しかしその後、態度を変えて、同6月にはSoftlayerを買収。そして全面的に乗り換えると発表した。この買収による相乗効果はまだ軟弱だが、今年はどうなるのか要注意だ。前述のCenturyLinkのフットワークは依然として良い。傘下のSAVVISが2013年6月、PaaS/SaaSプロバイダのAppFogを買収、さらに同11月、CenturyLinkはTier3も買収して猛チャージ中だ。もう2つ要注意企業がある。ひとつはVMware、そしてGoogleだ。VMwareは昨年5月、 一般企業がvShereで構築したプライベートクラウドとハイブリッド接続が出来る同社のパブリッククラウドvCloud Hybrid Serviceを発表。また、GoogleはこれまでのPaaS対応のApp Engineに加え、昨年4月、IaaSのGoogle Compute Engineを正式リリース、共に追撃体制に入った。
      • Amazonが断然市場をリード。 
      • IBM/SoftLayer連合が巻き返しへ。
      • CenturyLinkが依然買収攻勢。
      • OpenStack普及に賭けるRackspace。
      • VMwareがIaaS市場に参入、Googleも追撃へ。
=生き残りを賭けた戦い!=
こうしてみると、クラウド各社は第1ラウンド最後の生き残りを賭けた戦いの最中にある。或る報告では2015年までにプレイヤの1/5が姿を消す。先頭を走るAmazon、それを各社が追う展開だ。メーカ系ではSoftLayer買収で新しく生まれ変わったIBMがどれ位善戦するのか。Windowsサーバで実績のあるMicrosoftがどこまで伸びるのか。キャリア系ではVerizon/Terremark組よりCenturyLinkに勢いがある。Rackspaceは多くの支援企業を集めたOpenStackを普及させることが出来るのか。そしてIT系では共に実力のあるVMwareとGoogleが周回遅れで参入してきた。特にGoogleの追撃がどうなるのか目が離せない。これから始まる本格市場開発の第2ラウンドでは熾烈な価格競争が待っている。

2014年6月11日水曜日

Nutanixの世界!(Virtual Computing Platform) 
         -分散システムの薦め-   -SDS11-

Nutanixを知る人は分散DB型のハードウェアを売る会社だと思っているかもしれない。実は違う。この会社はソフトウェアの会社だ。現在販売しているサーバーは台湾SuperMicroからのOEMだ。それは彼らの考えるサーバーを提供してくれるからであって、ベンダーには固執していない。実際のところ、この会社はGoogleのGFSチームのスピンアウトだと言っても良い。GFSがGoogleデータセンタの基盤となっていることは知っての通りである。Nutanixの初期メンバーの多くはGFSのエンジニア達で、彼らは商用版のGFSとでも言うべき分散型仮想コンピューティング環境の開発を目指した。今回はそのNutanixが提案する新しいプラットフォーム(Virtual Computing Platform)について考察しよう。

=Data Centerの変遷にみる課題解決=
企業データセンタの変遷を同社は次のように語る。90年代初めメインフレームのアプリケーションは暫時Unixサーバーに移行。しかしこのハイエンドサーバー環境はすぐにストレージが問題になった。ストレージ需要が増加しても、複数サーバーにまたがって容量をプールすることが出来なかったからである。90年代後半になるとSANNASが登場して、ストレージの共用プール化が実現。これによってデータセンタの大規模なストレージ構築ができるようになった。2000年代の初頭には、スナップショット重複排除なども確立されて、データ保護や使用率の向上も改善。2000年代中期にはVMwareなどの仮想化技術がデータセンタに適用されるようになった。仮想化はサーバー利用率の向上やアプリケーションの迅速展開などに大きなメリットをもたらした。しかし仮想化が企業データセンタの主要なテーマになると、今度はSAN/NASのストレージアーキテクチャが成長を妨げる要素として浮上。つまりこれらのストレージシステムは仮想環境による膨大な仮想マシン(VM)とのやりとりを前提に設計されたものではなかったからである。そしてシステム全体はマルチベンダー環境となって、管理も煩わしく、拡張コストもかさんだ。さらに構造的な問題として、ストレージ需要が増加するにつれてパフォーマンスが低下するという傾向も散見されるようになった。これらの問題解決には、基本的なアーキテクチャの見直しが必要だと同社は主張する。

=Virtual Computing Platformとは何か=
Nutanixの提案する新しいアーキテクチャを見てみよう。まず、ハードウェアは、コンピューティング層とストレージ層が一体となった構造だ。これによってシームレスに拡張できる。Googleが運営する同社のサーバープラットフォームを思い出して欲しい。OSはカスタマイズされたLinux、そして特別仕様のマザーボードに共に複数のMPUとHDDが搭載されている。Nutanixの提供するハードウェアは、SANやNASを必要とせず、ローカルにストレージを抱えたGoogleやFacebookとまったく同じ構造だ。主力モデルのNX-3060シリーズでは、同一筐体(アプライアンス)に4つのノードが収められ、個々のノードにはコンピューティング層に2つのIntel Ivy Bridge E5-2680v2(10x2=20 コア)、ストレージ層にはFlash SSD(400GB)が1つと4つのHDD(1TB)が搭載されている。これらのノードは同時並行で稼動し、必要数のアプライアンスがラックされてシステムを構成する。システム容量を増強するにはアプライアンスだけを追加すればよい。このシステムの要はNDFS(Nutanix Distribution File System)である。通常の仮想環境では複数のVMが1台の物理マシン上で実行され、結果、SANやNASなどの集中型ストレージにI/Oが集中してボトルネックが起こる。 これに対してNDFSでは、各ノードのローカルストレージを高速ネットワークでクラスタリングし、さらにローカルストレージにはSSDとHDDを搭載することで、ボトルネックを無くし、かつパフォーマンスを著しく向上させている。NDFSの核となるのは仮想ストレージコントローラ(Controller VM、以下コントローラ)だ。このコントローラが各ノードに搭載され、互いにネットワークを組んで、横への拡張性と耐障害性の向上に活躍する。実際のI/Oを見てみよう。VMからのデータ書き込み要求があると、その情報はコントローラに渡され、ローカ ルのFlashに書き込まれる。この際、ノード障害に対応するためデータは複数のノードで管理される。VMからの読み出しは、通常、ローカルストレージが対象となる。つまり、コントローラによって、VMのデータは可能な限りローカルにHOTデータとして保持され、極力ネットワーク横断を避ける。Flash SSDに保持されているHOTデータが古くなってCOLDになるとHDDに押し出され、再びHOTになるとFlashに引き戻される。ノード障害が発生すると、NDFSではVMware HAなどの標準的高可用性がサポートされているので、VMは自動的に別のノードで起動する。再起動したVMのI/O要求はコントローラに送られ、コント ローラはデータのリプリカがある場所を特定して実行。さらに、その後の処理に備えて自らのローカルストレージに保持する。こうしてみるとNDFSは商用版のGFSと言っても良いだろう。

 
=分散システムの薦め=
Nutanixを研究すると、或ることに気付く。
これまで我々は自然と縦を重視してコンピュータアーキテクチャを作り出してきたようだ。つまり、コンピュータをCPUやメモリーなどのコンポーネントを詰め込んだエレクトロニクスのひとつの箱として進化させ、補助記憶装置は当初から別の箱として、2つは結合して使うものとして扱われてきた。さらにSANやNASが登場すると専用コントローラが開発されてエンクロージャに多数のHDDが詰め込まれた。これが縦型アーキテクチャだが、しかし、2つにはアクセス速度に関して、エレクトロニクス.対.駆動装置という決定的な違いがある。これが仮想環境で加速されてボトルネックの問題となった。救世主として現れたFlashは、高価格から未だHDDを完全に置き換えるまでには至っていない。現在はFlashとHDDの共存の時代である。このような状況にあって、Nutanixのシステムはノード内に全てを内蔵し、それを高速ネットワークで接続する横型だ。しかし、LinuxやWindowsなどは分散システムを基本的な機能としてサポートしていない。Hypervisorが既存OSを補完して仮想環境を作り上げたように、我々は慣れ親しんだ構成を一度リセットし、クラウド時代に適した新しい分散型プラットフォームを考える時代となったようである。


 <補足>
無償でダウンロードできる解説本「ソフトウェア・デファインド・ストレージ」が解り易さで定評の“for DUMMIES”から出た。著者はコンサルタントのScott D. Lowe氏。スポンサーはNutanix。 勿論、Nutanix向けに書かれたものだが日本語となって内容は一読に値する。ダウンロードはここから

第1章: 現状のストレージ
第2章: ソフトウェア・デファインド・ストレージの基礎
第3章: SDSの基本概念と成功への鍵
第4章: SDSの企業への貢献
第5章: SDSの重要な真実10項目

2014年6月3日火曜日

最高速Flash ArrayならViolin Memoryだ! ーSDS11ー

Flashアレイには2通りある。ひとつはFlash SSDを用いる方法、Tintri既報Pure Storageなどだ。もうひとつはFlashをデバイスとして独自に組み上げる方法だ。一般的には、後者の方がアクセスは早いが価格も高い。Viloin Memory(以下Violin)は後者の方法でハイエンドストレージ市場の開拓を目指している。この分野にはTMSを買収して製品化したIBM FlashSystem 720/820やFlashデバイスを自製するHitachi VSP G1000などがいる。今回はチャレンジャのViloinについて紹介しよう。

=どうすれば早くなるか=
ViolinはDRAM の会社として2005年に設立。2009年に再投資を受けてFlashに転じた。Flashアレイの開発に当たってどうすれば最高速の製品が出来るか。共同設立者でCTOのJon Bennett氏はここが勝負だと考えていた。Flashの長所を活かし、欠点の寿命を改善したい。考え抜いた答えは、アクセスタイムを最小化するファブリック構造と新しいRAID技術だ。そのためにはアーキテクチャを一新し、コンポーネントを自社で設計する。要となるFlashは勿論SSDは使わず、デバイスを本家の東芝から調達して組み上げる。ここまでが初期のストーリーだった。その後、ラッキーなことに東芝の米子会社から投資を受け、共同開発へと進展した。こうして2011年9月、All FlashのViolin 6000シリーズが出来上がった。3Uの筐体には、①独自設計で高速アクセスを可能とするVIMM(後述)のMemory Fabric、②Flashの有効性を高める新たな冗長化技術(vRAID)のArray Controller(Array Control Module-ACM)が2つ、③ACMと対となってMemory Fabricを制御するvRAID Controller(vRAID Controller Module-VCM)が4つ、④Flashストレージ仮想化やLUN構成管理のGateway(Memory Gateway-MG)が2つ、⑤外部インターフェースのFibre ChanneliSCSIInfiniBandPCIeに対応するNetwork Interface(IO Module)が4つ、⑥Power Supplyが2つ収納されている。全てのコンポーネントは2重化され、かつホットスワッパブルの安全設計である。


=最高速を生み出す仕組み-メモリーファブリック=
このシステムは高速アクセスが可能なファブリック構造だと述べた。その要となるのは東芝から技術供与を受けて独自開発したVIMM(Violin Intelligent Memory Modules)だ。VIMMカードの裏表に16のFlashチップとFPGA実装、容量はSLCモデルで最大17.5TB、MLCモデルは最大70TBだ。1筐体に収納されるVIMMは64.うち60が実際のストレージに割り当てられ、残り4は障害時のスワップ用となる。2つのMGとACMを介して4つのVCMが60個のVIMMに並行アクセスする。MGではストレージで通常用いるLUNをFlashに適用し、ユーザはLUN数とサイズを決めれば良い。後はACMが独自冗長技術vRAID(特許取得済み)を自動的に適用する。もう少し補足しよう。ここでMGは実際のところ、OSこそ乗っていないがハードウェア的にはマルチコアのIntel Xeonと大容量メモリーが搭載さ れたブレードサーバーのブレードと同様である。Violin全体を運用管理するvMOS(後述)などのファームウェアは、このMG上と連携するACMで稼働する。次ぐにvRAID。これは同社がFlash専用に開発した冗長度技術だが、通常HDDで使われているRAID1~6とは関係がない。言い換えれば、vRAIDを適用すれば従来のRAID適用は不要となる。右下図ではVCMから5つのパスを使い、うち4つでLUNのデータを分割保存、残り1つで障害時の再生用パリティブロックを書き出す。これらは同時平行処理となる。 もし、パリティブロックの書き出し時にエラーが起こると、VIMM自体がECCCRC、さらに他領域への自動修復を試み、万一、それでもダメな時は4つある予備VIMMにホットスワップされる。これらによってFlash自体の寿命が高められる。ひとつのVIMMに実装されるFlashチップは16、1筐体に64のVIMM、合計1024個のチップが乗る。シャシー内の全てのコンポーネントはシステムレベルのスイッチングレイヤーによってPCIe相当の高速バスで相互接続されている。これら全てが連携しながら高速でメッシュのように動き出す。まさにファブリック、織物のようだ。この構造こそが、最高速を生み出す仕組みである。最上位モデルはViolin 6616(SLC)。容量は17.5TB、処理性能を示すIOPSは1,000K、遅延は~250μs。もうひとつ、MLCベースの最上位機Violin 6264は、70TB、750K IOPS、遅延は~500μsとなっている。 

=vMOSとは何か=
このFlashアレイを効果的に制御するのはvMOS(Violin Memory Operating System)だ。vMOSは前述のようにMGとACM上で稼動し、3つの機能を持つ。まず ①システム管理者向けの“System Operation”では、Flashシステムを管理運営するWebインターフェースやCLI、REST APIを提供。vMOSによって作り出されるダッシュボードではリアルタイムやインターバル設定によって各種情報がビジュアルに掌握できる。これらはモバイルからもチェックが可能だ。システム設定は、初期値を決めれば後は基本的に自動運用となる。次に ②LUN管理とメモリーファブリックの効率的な運用を司る“System Management”。 最後は ③スナップショットやクローンなどを管理する“Data Management”。vMOSはひとつの筐体内を管理し、大規模対応には複数のvMOSを束ねるViolin Symphonyも用意されている。

=ソリューションを追う!=
Violinのビジネスは順調に進み始めた。これからはソリューションの時代だ。製品開発が一段落すると、今度はデータベース分野の掘り起こしが始まった。
WFA(Windows Flash Array) ... 初めの大作業はMicrosoftとの協業だった。今年4月、やっとのことで作業が終わり、MG上にWindows Server 2012 R12を搭載することが出来た。これによってHyper-V上の仮想マシンでSQL Serverが動きだす。こうして世に出たWindows向けFlashアレイWFAはMicrosoftにとってもエンタープライズ向けAzureビジネスに役に立つ。
②SAP Adaptive Server Enterprise ... これに続き、今年5月初めには、SAP Sybase Adaptive Server Enterprise(旧Sybase)の製品認定を取得。
③ OpenStack Cinder ... さらにViolinは5月中旬、OpenStackにコーポレート会員として加盟し、Violin製品をOpenStack Block Storage Cinderと連携させるiSCSIプラグインを提供。これは現在βだが第2四半期中には正式リリースとなる。