2013年11月22日金曜日

50%費用削減を目指すSeagete Kinetic登場!-SDS4-   

HDDベンダーSeagate Technologyから、新しいアプローチのオープンストレージ構想が発表された。Seagate Kinetic Open Storageと言う。Kineticとは、ギリシャ語で「運動」(knen動く+-tic=運動の)を意味し、既存データの多くがクラウド上へ移行するムーブメント(Movemet-運動)が起きていることから名付けられた。つまり、ストレージシステムのCloud Data Center化である。

=Seagate Kineticの斬新性とは何か?=
Kineticのアーキテクチャーはこれまでのものとまったく異なる。ただ、全てのデータが対象ではない。ストレージに蓄えるデータはオブジェクトのみだ。これまでデータの多くは、ファイル形式のデータとしてストレージに格納されてきた。しかし、ビデオや写真などのデジタル化が進み、さらにクラウド化が進展して、これらのデータはオブジェクト指向となった。Amazon DynamoOpenStack SwiftHadoop MapReduceGoogle BigTableなどである。この傾向はデータベースだけではなく、アプリケーションも同様だ。オブジェクト指向データベースには、Get/Put(読み書き)、Delete(削除)はあるが、変更(Update)はない。

=Object DBとKey Value Store=
下図の左で示すように在来型システムは、Server、Storage Server、Deviceの3層ハードウェアからなり、さらにServer内にはApplicationとFile Systemのレイヤーがある。この実質4層に積み上げられたソフトウェアとハードウェアを介して、データはアプリケーションとストレージ間を行き来する。これがこれまでのファイルアクセスの仕組みだ。しかし、オブジェ クト指向のアプリケーションとブロックストレージならこのような面倒はない。Kineticでは構造を単純化して、下図右のようにTCP/IP/GbE(Gigabit Ethernet)を介した2層とする。つまり、センター内のようなGbEならベストだし、クラウド経由でも構わない。 Kineticのオブジェクト指向アプリケーションは用意されるKinetic Library(API&SDK)を使って、オブジェクトデータを直接GbE経由でディスクドライブにアクセスする。ここでデータの保存方式はNoSQLの代表とも言えるKVS(Key-Value Store)だ。周知のように、KVSは任意の保存データ(value)に対し、対応する一意の標識(key)を設定し、これらをペアで保存する。技術的にこれが可能となれば驚くほど効率が良い結果が生まれる。何しろ、Storage Serverが無いだけでも、機器費用やスペース、それに運用費が削減でき、運用のお守も要らず大助かりだ。加えて、パフォーマンスは間違いなく良い。

またインターネットを介すことで、どのアプリケーションからも、どのオブジェクトにも自在にアクセスが出来る。同じセンター内の異なるサーバーからGbE経由は勿論、世界に散在するサーバーからだって可能だ。そして出来上がったストレージはまったくのスケールアウトである。

=Cloud Data Center構想= 
今回の発表で大事なことは、技術的なKineticの革新性だけでなく、プログラムの全体である。 

<オープン> ・・・  まずオープン化。これには2つのポイントがある。ひとつは、Kineticが製品としてオープン指向であること。連携対象のクラウドも、オープンソースやデファクト製品を意識している。同社によると、Kinetic APIは2014年1Qにオープンソースとして公開予定だ。この初期リリースは、OpenStackSwiftとAWS S3互換のRiak CSが対象となる。2つ目はコミュニティーだ。現在、同社が取り組んでいるコミュニティーはパートナー関連(後述)だが、今後、デベロッパーなどへも組織化が進めば、ユーザーからの意見集約は効果的なものとなろう。 
さらに、外部のOpen Compute ProjectやOpenStack ミュニティとの関係も深めている。Open Compute Projectとは、Facebookが自社データセンター建設に伴って始めたもので、データセンターの運用面経験の共有や各種の標準化を促進する組織だ。Kineticはそれらに準拠する意向のようである。また、OpenStackとはSwift対応で出来た関係を深め、より多くのベンダーとの関係強化を目指している。

<ドライブ> 

現在、Seagateが用意しているKineticドライブは、3.5インチのニアライン(Nearline drive)だが、暫時、他のHDDにも拡大される。下図のように通常のSASドライブとKineticドライブは概観は同じだ。しかし、SASドライブは2つのSASポートを持ち、SCSIコマンドで制御されるのに対し、Kineticドライブは2つのイーサーネットポートを持って、Kinetic Key-Value APIでコントロールされる。また、アプリケーション開発の便宜性向上のためにDrive Simulatorが提供される予定である。


<パートナー>
このプログラムの成功にはパートナーが鍵となる(Seagate Cloud Builder Alliance Partner)。Kinetic Open Storageの構築には、アプリケーション開発とドライブシステムの整備の2つの作業がある。これらをサポートするストレージ特化のインテグレータがパートナーだ。パートナーはKinetic適用のために、Seagateの最新ストレージ製品を利用して、現存するデータセンターのサーバーおよびストレージソリューショ ンをカスタマイズする。また、一方のアプリケーション開発は通常Eclipse環境で行われ、同社からこれら全体に詳細なドキュメントKinetic Open Storage DocumentationとKinetic Libraryが提供されているが、パートナーが支援することも可能だ。
----------------
以上見てきたように、Seagate Kinetic Open Storageは非常に野心的である。
それは単に技術的なことだけでなく、ビジネスそのものを変えるかもしれない。これまでSeagateのようなドライブベンダーは、EMCやNetAppなどを主要な顧客としてきた。しかし、Kineticはこのビジネスモデルを覆すように見える。いや、より正確には、これまでのストレージソリューションだけではない新しい選択をユーザーに提供する。結果として、一部のソリューションはKineticに置き替わる。そのための戦略の鍵がオープン化とパートナープログラムだ。同社の見積もりでは、Kineticを上手く適用すれば、最大50%の費用削減が見込める。Seagateは、クラウド時代への変遷の中で、これまでのドライブベンダーから新たなソリューションベンダーへの脱皮に歩を進めたようだ。


2013年11月18日月曜日

LinuxやMacにもオープンストレージZFSを! -SDS3-

10月22-24日の3日間、シリコンバレーのSanta Clara Convention CenterOpenStorage Summit 2013が開かれた。勿論、スポンサーはNexentaである。(該社の記事はここ)これまで、このカンファレンスではNexenta関連の話題が多かったが、今年はクラウドコンピューティングの普及やビッグデータ、さらには情報アーカイブなどストレージ全般への関心が高まり、幅広い議論が行われた。中でも増大し続けるストレージ需要に対し、従来型ストレージシステムの容量、価格、性能への改善要求は大きなうねりとなった。この課題解決にオープン化は避けては通れない。このような背景から、カンファレンスではNexentaの基盤技術となっているZFSに注目が集まった。カンファレンス事務局によると、今年は盛況で有料参加者だけで1,200名に達した模様だ。

=時代の要請を受けたOpenZFS= 
ZFSのオープンソースプロジェクトOpenZFSが新たに組織化され、外部に伝わったのは9月17日。ビッグニュースである。カンファレンスでは、Sun時代の2001年から始まったZFSプロジェクトのCo-FounderであるMatt Ahrens氏から報告があった。OpenZFSはOracleによって終了したZFSプロジェクトの後継であり、主要メンバーはLinux、FreeBSD、Mac OS X、そしてillumos(OpenSolarisの後継プロジェクト)のコミュニティーだ。最大の目的は多様なディストリビューションの信頼性、機能性を維持し、よりパフォーマンスを向上することである。現在のZFSディストリビューションは約10種、①Darwin系のMac用MacZFSZFS-OSX、②FreeBSDとその派生として生まれた Debian GNU/kFreeBSD、④FreeNAS、⑤PC-BSD、⑥illumos系とその流れを汲む ⑥OmniOS、⑦OpenIndiana、⑧SmartOS、Linux系では⑨Gentoo、⑩ZFS on Linuxなどだ。

=LunixにもAppleにもZFSを!=
Matt Ahrens氏はカンファレンスで、「爆発的に増え続けるデータ保管のためにZFSは時代の要請を受けており、そのためにユーザーはどのOSにもZFSが搭載されることを望んでいる」と説明して、大きな拍手を受けた。この意味はZFSのこれまでの流れを追うと良く解る。2001年、氏ともうひとりのエンジニアによってSunのZFS開発は立ち上がり、Solarisと共に2005年、オープンソースとしてコードが公開された。翌年すぐにLinuxへの移植プロジェクトが動き出した。初期のFUSEプロジェクトである。その後、2008年、本格的なLinuxへの移植プロジェクトがスタートしたが、なかなか進まず、今年8月、最初の安定版がリリースされた。AppleによるZFS移植プロジェクトも2007年に開始。しかしこのプロジェクトは2年で中断、その後、コミュニティーがMacZFS開発を継続した。さらにLinuxで開発したコードを採用したZFS-OSXの整備が進み、次世代MacZFSに搭載すべく作業が進んでいる。
 
  • 2001 – Sunで2人のエンジニアによりZFS開発開始
  • 2005 – OpenSolarisの一部としてソースコードが開示
  • 2006 – Linux向けFUSE portの開発開始
  • 2007 – AppleがMac OS XにZFSの移植を開始
  • 2008 – FreeBSD 7.0の一部としてリリース
  • 2008 – Native Linux Portの開発開始
  • 2009 – AppleのZFSプロジェクト閉鎖、しかしMacZFSプロジェクトがコード開発を継続
  • 2010 – OpenSolarisが終了、その後Solaris用ZFSはオープンソースではなくなった
  • 2010 – illumosがOpenSolarisの後継として組織化、ZFSも継続、他OSはこのコードを利用
  • 2012 – 新機能サーポートのためZFS On-Disk Formatを導入
  • 2013 – MacZFSの安定化と平行し、次世代向けZFS-OSXではLinuxコードを採用
  • 2013 – Linux向けZFSの最初の安定版リリース
  • 2013 – OpenZFSの正式発足アナウンス

=OpenZFS Developer Summit 2013開催=
ZFSは新たな時代を迎え、再度、脚光を浴び始めた。
今やるべきことは、①Linux向けZFSの安定化と普及、②Mac/OSXへの適用促進だ。そのためには、もっとエンジニアを集めなければならない。議論の末、11月18-19日、San FranciscoでOpenZFS Developer Summitの開催が決まった。どの位、デベロッパーが集まるのだろうか。カンファレンスの進め方はハッカソン(Hackathon-HackerとMarathonを合わせた合成語)方式だ。日本語風に言えば、プレゼンテーター付きわいがやミーティングである。スピーカーは、各々、ZFSに関する得意分野をしゃべり、参加者はプレゼンを聞きながら、わいがやをして理解を深めていく。シリコンバレー流トレーニング術である。
---------
ZFSが如何に優れていても、勿論、万能薬ではない。
本来のデザインがSolaris標準のFile Systemであったように、高性能OSが持つ機能である。そして中小規模のストレージシステムである。しかし、近未来、Linuxの標準として整備される日、いや、どこか大手のLinux DistributionがEnterprise向けに実装する日がくれば、ユーザーの利益は計り知れない。File構造の簡単なMacユーザーにとってはなおさらのことである。

2013年11月11日月曜日

ZFSを利用したNexentaの低価格ストレージ -SDS2-

SDS(Software-Defined Storage)議論のポイントが幾つかあることは前回述べた。今回はその中でも最重要な低価格化に取り組むベンダーを紹介する。

=Nexentaが取り組むオープンソースZFS=
Nexenta SystemsはSunのオープンソース遺産を継承して始った。狙いは世界最強のファイルシステムZFS(Zettabyte File System)を商用化することである。思えばSunがZFSのコードをオープン化したのは2005年11月。Sunの全盛期、ZFSは最大の武器と言って良かった。アドレッシングにおいてほぼ無限の拡張性を持ち、多機能で信頼性は抜群、その良さを知った米金融機関の多くがZFSの虜となった。Nexentaはこのオープンソースを使って、低価格なストレージシステムを提供する。

=Sunの試み!Open Storage=
「Open Storage」は、Sun再建のため弱冠40歳にしてCEOになったジョナサン・シュワルツ(Jonathan Schwartz)氏が、就任以前から進めていたオープン化戦略の落し子である。(詳細はここ)。2005年初頭、Sun OSのopenSolarisプロジェクトが始動し、その後、Java関連製品も次々とオープン化された。Sunは2008年秋のリーマンショックで満身創痍の中、同年11月、2005年4月に買収したStorageTek製品のオープン化戦略を発表した。これがOpen Storageアーキテクチャーを採用したアプライアンス「Sun Storage 7000」シリーズである。Sun Open Storageはx86機にSolarisとZFSを搭載し、①128bit Addressingによる無限の拡張性、②Copy-on-Write型完全トランザクション処理やEnd-to-EndのCheck Sum機能による堅牢性、③DTraceによるダイナミックな管理性、④DRAM/SSD/HDDのシームレスな階層化とリソース共有(Hybrid Storage Pool)やPipeline/Random Writingなどによる高性能性、さらに ⑤Snapshot/Clone、Compression、Remote Mirroringなどの多彩な機能を持ち、その核となったZFSは究極のファイルシステムと呼ばれた。

=illumosプロジェクト= 
OracleによるSunの買収後(2010年)、ZFS関連のエンジニアの多くはNexentaに移籍した。ZFSを商品化するには課題が幾つかあった。最大はSolarisのオープンソース版であったOpenSolarisが完全でなかったことだ。欠けている要素があった。Sunが始めたOpenSolarisプロジェクトは、結局、この問題を解決せずに、2010年8月、Oracleによって打ち切られた。この後を引き継いだ流れは2つ。ひとつは完全なSolaris互換を目指すOpenIndianaプロジェクト。もうひとつはillumosプロジェクトである。illumosはより現実的にSolarisカーネルと関連ユーティリティティのみを整備し、ZFSとの融合を目指した。このためにNexentaがスポンサーとなってillumos Foundationが設立され、Committeeが始まり、OpenIndianaもこの組織下に入った。

=出来上がったNexentaStor、価格は大手ベンダーの1/3~1/2=
Nexentaが開発したのはNexentaStor。提供するのはx86で稼動するソフトウェアのみである。これまで既存ストレージベンダーがHW/SWを一体に提供してユーザーをロックインしてきた戦略とは、まったく異なる。ユーザー自身がインストール&セットアップしても良いし、同社のパートナーが提供するインストール済みのハードウェアを利用しても構わない。DellやCisco、SGIなどの大手からSIerまでが彼らのパートナー(日本はコアマイクロシステムズ)だ。 これなら稼動保障やサポートがあり、手間が省けて安心である。費用面でみると、NexentaStorをユーザーが自分で導入すれば、大手ストレージベンダー価格に比べて1/3~1/2程度、パートナーのハードウェアを利用しても1/2程度だという。NexentaStorには標準以外に、近距離遠隔HA対応のNexenta MetroHA、VMware ESXiのVMとして動くVirtual Storage ApplianceのNexenta VSAも用意されている。NexentaStorはZFSをベースとしながらも、拡張したUnified Storageとして、SAN、NAS、Objectが扱える。このObjectはOpenStackのFile SystemのSwiftを移植したものだ。サーバーインターフェースにはiSCSI、FC(Fibre Channel)、NFS(Network File System)、CIFS(Common Internet File System)、Infini Band(予定)などがあり、ストレージ接続はブロックインターフェースでSATA、SAS、FC、iSCSIなどだ。HAクラスタならStorage Enclusure経由でRAIDJBOD(Just a Bunch Of Disks)にも対応する。NexentaStorのVersionは現行が3.15、ここまでがOpenSolaris対応だが、年末までにはVersion4としてillumosベースが出荷予定である。

現在、Nexentaのビジネスは順風だ。
振り返ると、2004年、後にNexentaのCo-FounderとなるAlex AizmanとDmitry YusupovがOpen iSCSIを提唱し、翌2005年にSunがOpenSolarisとZFSを公開。すぐに、2人はこの好機を活かすべくNexentaを設立した。平行して始めていたillmosプロジェクトのお陰でこれらの組み合わせは成功し、ビジネスは軌道に乗り始めた。現在、NexentaStorのユーザーは世界で5,000社を超えると聞く。中でも最大はKT(Korean Telecom)だ。2011年、同社はAmazon対抗のクラウドサービスKT cloudwareを計画し、サービスインした。このクラウドの最大のウリは低価格サービスだ。KTのプラットフォームはCloudStack、ストレージはNexentaStor、共にオープンソースである。

2013年11月1日金曜日

SDS(Software-Defined Storage)を考える!-SDS1-

SDN(Software-Defined Network)の議論が沸騰し、それに引きずられるように、SDS(Software-Defined Storage)についても話題にのぼるようになった。
しかし、SDN議論のきっかけとなったOpenFlowNFVの定義など顕著な動きはSDSにはまだ見られない。ただ、SDS関連技術の幾つかは新しいものではない。古くて新しいのがSDSである。VMwareのSDD(Software-Defined Datacenter)構想を引用するまでもなく、SDNと並んでSDSは、クラウドだけでなく、これからのコンピュータ技術の重要な構成要素である。

Server VirtualizationのHypervisor開発(上図)はほぼ片がついた(DONE)。SDNは開発途上であり(onging)、SDSはこれ からが本格的な議論である(just started)。この議論には以下のようなポイントがあるように思う。

① ストレージの低価格化
ま ずSDSの進展によってストレージの価格は下がるのだろうか。SDNが叫ばれ始めた動機は複雑で硬直化したシステムの簡素化が主要素だった。SDSでも まったく同様である。この課題解決には、現行ストレージシステムの構造改革が不可欠だ。一方で高価格への不満もある。共に大手ベンダーによる市場寡占が原 因だ。ベンダー固有OSと付帯する各種の機能群、さらには高速化のために開発したASIC、これらは典型的な個別投資によるプロプライエタリーの文化であ る。「複雑化」と「高価 格」、この2つはまさに裏表と言える。これだけコモディティー化とオープンソース化が進みサーバー機器やOS、DBなど基本ソフトウェアの低価格化は徹底 したというのに、ストレージ機器は、ネットワーク機器同様まるでメインフレーム時代のままのようだ。これをSDSでブレークできないか。今やストレージシ ステムの記憶媒体となるお皿のHDDはコモディティーとなった。問題は制御部(Controller)である。
② ストレージの仮想化
その上で、センター内に散在する多様なストレージを何とかしなければならない。これら個別目的に利用されるストレージを統合し、多目的で利用できるシステムが必要である。回答はストレージの仮想化だ。今ふうに言えばConverged Storageである。市場では一部の異なるベンダーのものを仮想化し、共通ストレージ(Storage Pool)とみなす製品が出始めた。もうひとつ、サーバーと同じ手法でHypervisor化する議論も進んでいる。これらの議論がさらに進めばGrid Computingで世界中のPCエンジンの余力を使ってスーパーコンピュータ並の計算をしたように、散在するストレージの余力を寄せ集め、アクセス速度は遅くても、途方もない巨大なストレージが作れるかもしれない。
③ ストレージの高速化
新しい技術との融合も重要なポイントである。
CPU の演算速度の向上には「ムーアの法則」がある。HDDの性能では容量とアクセスタイムが決め手だ。アクセスタイムを決める回転数は7,200rpmから 10,000rpm、そして近年では15,000rpmの製品も出てきた。しかし、HDDの構造はそのままだ。回転数を早くし、それによってシークタイム を改善する。物理的な回転体に頼る技術、そのものがもう限界である。市場には既にフラッシュメモリーとディスクアレイを組み合わせた高速ディスクシステム が多く見られる。そして、フルフラッシュ・ストレージも登場した。SSDの価格低下が進めば、HDDに替わって、フルフラッシュ・ストレージが主役の座に なる日も遠くない。勿論、ストレージの高速化では、それ以外に、インメモリーDBもある。これらを駆使して、Big Data処理を効果的に行おうと、ベンダーは笛や太鼓で宣伝に忙しい。
④ クラウド対応
ストレージの高速化に関連して、もうひとつ大事なことがある。
ク ラウド上のストレージだ。現在、我々は便利なクラウドストレージサービスを沢山手に入れた。バックアップやクリッピング、ファイル共用など数えあげたら切 りがない。しかしこれらは一般向け(Consumer)が主だ。企業(Enterprise)向けではAWSのS3やEBSなどがクラウドサービスの一 環として提供されている。しかし、これらのクラウドストレージにユーザーは満足しているだろうか。容量はともかく、アクセス速度、つまり、レイテンシーに 関する不満は多い。これはクラウドストレージの構造からくる問題で、On-Premiseと比べれば歴然である。

-----------------------
以上、例示したような視点で議論を重ね、新たな開発が進展することを期待しながら、次回以降、幾つかの技術やベンチャーを紹介していこう。