2010年4月27日火曜日

Top 10 Cloud Players-その1 & 2
             -Amazonの成功とGoogleの挑戦-  


クラウドコンピューティングを追いかけ出したのは2007年だった。
何かとんでもないことが起こる予感があった。ボクがここシリコンバレーに始めて本格的に足を踏み入れたのは1994年。インターネット時代の扉を開けたNetscape Communications設立の年だ。同年10月、Netscape Navigator βがリリースされ、世界が変わった。その時の状況とクラウドは似ている。単一技術の登場にはない何か大きな影響力、シリコンバレーのエンジニア達は興奮につつまれた。周知のことだがクラウドより先の90年代末、グリッドコンピューティング(Grid Computing)は世界的な活動となったていたが花開かなかった。そして1996年AmazonがS3を3月、EC2を8月に発表し、クラウドコンピューティング時代が始まった。

今年始めのブログでクラウドは第2のインターネットだと書いた。
これまでのコンテンツ表示を主体とする利用形態を第1のインターネットとすると、第2のインターネット(クラウド)ではコンピュータの持つ2つの機能を扱うことが出来る。保存のためのストレージ(Storage)と演算のためのプロセシング(Processing)だ。インターネット上で演算し、結果を保存するという分かり易い構図は、仮想化の登場と共に一般化した。グリッドの時代にはなかった今日の仮想化技術がクラウドをビジネスとして離陸させ、今ではグリッドがクラウド上で動く時代となったのは何とも皮肉である。

さて、今回から“米国クラウド十傑(Top 10 Cloud Player)”と題して私見を纏めてみる。ここで取りあげるのは、クラウドをビジネスとして成功させているプロバイダーやハードウェアベンダー、さらに注目されるプロジェクトなどである。対象分野が複数にわたるため、あえて順位はつけなかった。


=Amazonの成功の秘訣=

ビジネスの成功組の筆頭がAmazonであることは間違いない。AWS(Amazon Web Services)の正確な売上げ発表はないが、昨年度の売上げは約$200M~$250M(日本円換算200~250億円)だと推測される。この数字が大きいか小さいかは読者の判断だが、これが本場米国の成功組の筆頭だ。そして、何より昨今の日本のクラウド騒ぎを見ていると、何か大きな市場が別にあって、そこになだれ込むような錯覚がある。このブログでも以前何回か書いた。クラウドの普及は短期的にコンピュータ産業全体の総売り上げを押し下げることはあっても、大きく売上げを伸ばす要素はない。仮想化技術の採用で企業の持つサーバー台数は削減され、さらに廉価な外部クラウド(Public Cloud Computing)の利用が進む。ユーザのクラウドに対する一番の期待はコスト削減にある。ましてや昨今の経済状況下ではこの傾向が強い。その上でクラウドが真に定着すれば、近未来、新たな需要が喚起されるという流れである。

さてAmazonの成功の秘訣を整理しよう。

1. ビジネス化という持続的な視点
まず大事なことは、Amazonの場合、採算に乗るビジネスにするにはどうすればよいかという視点を絶えず持ち続け、追求していることである。初期のAmazonのクラウドは本業に使うデータセンタ資源の有効活用が背景にあった。これによって初期投資を押さえ、採算性を向上させた。そしてAmazonインフラを利用するオンラインショッピングのパワーセラーにターゲットを絞り、クラウド利用へと誘導した。この戦略は当たり、気心の知れた初期ユーザの確保、小さなシステムから実績を積み、評判をあげた。

2. コミュニティーの形成
今日の技術浸透には、コミュニティーの存在が絶対条件である。ましてやクラウドのように多岐にわたる技術を導入する場合は、それらが市場に受け入れられるかどうかの検証がいる。さらには市場では今、何が要望されているかという情報も大事だ。これらの技術検証と情報提供がコミュニティーへの期待である。このコミュニティーとAmazonの絶え間ないやり取りの中でAWSは成長してきた。Amazonはコミュニティーとの関係を重視し、互いに議論、時流にあった要望に応えてきた。一方、コミュニティーに参加するデベロッパーの動機も多岐にわたる。そのため、或る層にはAWS Start-Up Challengeなどで直接のベネフィットを与えたり、或る層には優先的に先だし情報や先行利用を提供したり、特別なセミナーを実施したり、色々な角度からモチベーション向上が図られた。これらをコントロールするのがコミュニティーマネジャーの仕事である。

3. 絶え間ない改良
AWSが初期段階から抜け出し、今日の成功を手にした勝因には絶え間ないシステムの改良がある。これにはAmazonのIT部門と戦略部隊の連携が大きい。言い換えれば裏方と表方の仕事である。裏方では、初期の本業用データセンターの間借りシステムから脱し、今では専用のサーバ群が大量に導入されている。これらを維持していくには新たな方法がいる。これまでのようにトラブルが見つかるとそれを直すのではなく、直ちに切り離して、新しいものと差し替える。大規模なクラスタリングシステムからトラブルを見つけ出す“Monitoring”と切り離し“Repeal”は最短の時間で行わなければいけない。もうひとつ裏方の大事な仕事はコミュニティーの動きを注視し、システムの使われ方による負荷傾向や異常を嗅ぎ分けることだ。これらによって安定した運用が可能となる。表方の仕事はコミュニティーの教育や段階的なシステムの改良だ。これらの判断はコミュニティーのフォーラムやプロジェクト、直接のコメントなどから決める。これは学生の勉強度合いにあった授業を行う先生との関係に似ている。急に難しい機能を提供しても利用する側は当惑するし、優しすぎれば飽きてしまう。実際に行われたAWSの機能追加のペースを見ると、初年度の2006年は5件程度、2007年は10件弱、2008年は15件程度、そして昨年(2009)は一気に40件と急増した。今年は既に10件近くにのぼり、この分では50~60件に達するのではないかと思う。この動きはまさにAWSの使い手であるコミュニティーのデベロッパーが成長し、色々な業務を処理するための要求を持っており、それにAmazonが呼応していることを意味する。Amazon成功の理由、それは“コミュニティーとの共生サイクル”にある。


=Googleの壮大な挑戦=

ビジネスとしての成功組の筆頭がAmazonなら、クラウドを含めたインターネット全域で最も貢献しているのはGoogleだ。ただ、Googleが矢継ぎ早に出す各種のサービスやプロダクトが全体として、どのような戦略に則っているのか、主たる広告ビジネスモデルとどう関係しているのか、いつも迷わされる。しかし、Googleの信念がオープン化であることは間違いない。それによってのみ、真の情報化社会は進化し、インターネットは益々拡大、結果、彼らのビジネスモデルに全ては帰結する。勿論、現代のように輻輳し、ネットワーク化された社会ではダイナミックな戦術が求められる。この当たりの事情を頭に入れればGoogleの動きが読めてくる。

1. Web化の世界を広げよう
“オープン化によるインターネットの拡大”、これがGoogleの基本戦略だ。そして、それはWeb化の拡大を意味し、取りも直さずMicrosoftへの間接的な挑戦でもある。近未来、殆どのアプリケーションはWeb上で稼動する筈だ。そのための環境整備を同社は多面的に進めている。2008年秋のChromeブラウザ発表はまさに象徴的だった。Mozilla Firefoxを強力にサポートしてきたGoogleが自前のブラウザを持つという決断は、オープンソース陣営に混乱をもたらすのではないかと心配された。しかしそうはならなかった。Microsoft IE市場が侵食され、Chromeはあっという間にApple Safariを追い越し、Firefoxは微増化傾向にある。そのChromeは昨年夏にChrome OSに成長すると発表され、今年後半、登場の予定だ。Chrome OSを搭載したNetbookやタブレットの試作が既に現れ始めた。一方、2007年末にiPhone対抗として発表されたスマートフォンのAndroidもWeb時代には欠かせない。インターネット機能は向上し、電話機能は脇役に回る時代となりつつある。AndroidはHTCやMotorolaなど複数のベンダーを味方につけ、そして、今年1月、GoogleブランドのNexus Oneが登場した。AppleのiPhoneのように斬新なデザインと機能をウリにして1社で頑張るか、オープンにしてより多くの力を結集して頑張るか、戦いはいよいよ佳境に入ってきた。

2. 目指すはWebベースド・クラウドコンピューティング
今年2月、Googleは1Gbpsの光ファイバーを用いた超高速ブロードバンド計画を明らかにした。これもWeb化推進の大事な実験である。近未来、殆どのインターネットアクセスがファイバー化すれば、その先にGoogleの目指す"Web化の世界”が広がる。2008年春発表のGoogle App Engineもこの戦略の上にある。当初はPython、翌2009年はJavaが可能となった。これによってデベロッパーは自由にWebアプリケーションを開発することが出来る。開発・運用環境の整備が並行して進められた。目指すは“Webベースド・クラウドコンピューティング(Web-based Cloud Computing)”だ。何故、GoogleはAmazonのようにインフラベースのIaaSを提供しないのかという疑問も聞く。これにはシステム的な課題もあるが、それよりもWebアプリケーションの普及こそが重要だという考えが強いからだ。そのためには何が必要なのか、それを見極めるのがApp Engineの目的である。App Engineは周知のようにGoogleの本番使用環境にユーザWebアプリケーションが載るマルチテナント・インフラ(Multi-Tenant Infrastructure)構造となっている。Google Docs/AppsやGmailなども同様にテナントのひとつであり、昨年度だけで100件を超える改良が行われ、64ビット機での高速化実行や開発の容易性は数段向上した。

3. そしてエンタープライズを追う
これまでGoogleの市場はどちらかと言うと一般向けだった。この市場はほぼ色分けされた。そして軸足は少しづつ、エンタープライズに向かった。エンタープライズ市場での位置を確立するための柱はGoogle Appsだ。無償版Google Docs (Document, Spreadsheet, Presentation)は機能を拡充し、ほぼ完成の域に差し掛かり、本命のMicrosoft OfficeからもとうとうWeb版Office 2010 Web Applicationsが出た。Googleによって引っ張り出されたといって良いだろう。これからはWebの世界の勝負になる。今やGmailをパーソナルからメインに切り替える人たちも大勢いる。ここまでに5年がかかった。そして現在、企業向けのGoogle Appsは全世界200万社、延べ2,500万ユーザに達し、もはや、ここが主戦場になりつつある。中でも最大のユーザはロスアンゼルス市、市職員や関連の人たち30,000人が業務として使うまでに成長した。こうなれば、Microsoftの世界から脱してAppsの世界に入るのは慣れの問題だ。4月12日、シリコンバレーマウンテンビューの本社で開催した“Google Atmosphere 2010”はまさに"エンタープライズ宣言”のためのものだった。招待されたのは400名の企業CIOやIT部門幹部の人たちだ。彼らを前にGoogleはこれからはWeb全盛の時代だとし、Google Appsを強力に売り込んだ。今後、彼らが本腰をあげれば大きな勢力になる。ただ、問題はある。GoogleのプラットフォームGFS (Google File System)は安全設計だが、3重に採られるファイルの所在は基本的にどこになるか解らない。しかしながら公的機関の情報は、自国の情報防衛という立場から、データ保管は自国内が条件となる。前述のロスアンゼルス市の場合、住民データの流出を完全に防ぐため、契約条件に国内センターの利用、さらにファイルとしての形を見せない分割や暗号化、障害対策、損害賠償などが細かに明記されている。Googleとしては、このようなモデルユーザをこなし、そこから学んだことを一般化して行くつもりだろう。3月始めにはApps APIを使って、3rdパーティが所有のソフトウェアやサービスと組み合わせ、エンタープライズ向けに販売するGoogle Apps Marketplaceも立ちあげた。Google Appsはまた、信頼性の面でも複数のデータセンターにミラーリングするSynchronous Replicationを取り入れ、ダウン対策やディズアスターリカバリーが可能となった。プロセスベースのセキュリティ改良も動き始めている。まだ道のり半ばだが、これからが楽しみだ。

2010年4月21日水曜日

登場するクラウドスタートアップたち  
                    -Demo Spring 2010-  

Demoカンファレンスと言えば毎回、斬新なアイデアを引っさげて登場するスタートアップの登竜門だ。3月21日夕方、カリフォルニア州パームデザートのホテルのレセプションで始まったDemo Spring 2010(3/22-23)はいつもながらの盛況だった。今年の目玉は何と言ってのクラウド部門(DEMO focus on Cloud Technologies)である。登場したのは6社だ。以下はその概要を纏めてみた。

-パーソナルクラウドコンピューティングのAirset-
Airsetは無料1GBストレージを使った個人や少人数グループによるパーソナルクラウドを提供する。このストレージを使って何をやっても構わない。実際のアプリケーションはガジェットとして用意されたカレンダーやコンタクト、To-Do-List、バックアップ、フォト/ミュージックシェア、Office Tool(Zoho)などから選択できるし、Webパブリッシングも可能だ。これらアプリは自分の運営するクラウドコンピューティング毎にガジェット管理(右図)されて解り易い。利用上、気になる広告は、$2.95/月を払えば削除され、ストレージも5GBに増量される。これからは自分専用のクラウドを携帯電話のガジェットのように選んで使える時代が到来しそうだ。


-クラウドとExcelを連動させるCloudsel

今日、どの企業にとっても増え続けるデータベース、それをどうやって分析するかに将来が係っている。IT部門は並列処理のMapReduceやHadoopなども動員しはじめたが、それでも間に合わない。実際に分析するのは1億人と言われるExcelに馴染んだユーザーだ。彼らにプログラミングすることなく、得意のExcelを使って大規模データが処理できるクラウドサービスが始まった。Cloudscale の開発したExcel 2007/2010用アドインCloudcelだ。ExcelのCloudcelタブをクリックすれば、ExcelからAmazonクラウド(S3)へのデータ・アップロードやダウンロード、さらにAmazon Elastic MapReduceベースの大規模並列処理などが簡単に実行できる。クラウド上で大規模データベースを処理する“Big Data Platform”の登場である。


-クラウドDBを売り込むFathomDB-
FathomDBの場合は“Database as a Service”を標榜する。今日、最も普及しているSQLベースのデータベースの欠点は拡張性が乏しいこと。しかしクラウドを使えばその欠点が補える。このサービスはAmazon EC2ないしはRackspace Cloud Server上にFathomDBとしてMySQLサーバーを生成、データベースはクラウド上に置いてサイズを変えることが出来る。勿論、バックアップも完璧だ。アプリケーションはクラウド上でも下でも構わないので、既存プログラムの使用もOKだ。運用にあたってはパフォーマンス分析ツールも提供されるので心配は要らない。気になる利用料はベースとなるAmazonやRackspaceの費用に若干マークアップされているようで、それがビジネスモデルとなっている。


-コンタクト管理クラウドのGwabbit-
eメールのコンタクト管理は退屈な仕事だ。Gwabbit の提供するアドイン(Microsoft OutlookとBlackberry)はeメールを開くと自動スキャンでコンタクト情報を見つけ、内容を確かめてクリックすればアドレスブックに簡単に保存してくれる。これまでのような面倒な手間はない。今回これを進化させて登場したのは gwab-o-sphereと呼ばれるコンタクトクラウド。これを使えば何だってOKだ。全てのコンタクト情報はクラウド上で管理され、その人が持つTwitter、Linkedin、Facebook、FedEx、Slalesforceなどのアイコンと共に表示される。同社曰く、世界初の“ユニバーサル・リモート・コンタクトマネージメント(Universal Remote Contact Management)”の登場である。今回は発表とでもだけ、サービスは近々開始の予定だ。

-モバイルプレゼンのMightymeeting-
携帯電話しかない出先でプレゼンをしたい。そんな経験をした人にはうってつけのモバイル用プレゼンテーションクラウドが登場したMightyMeeting である。事前にPowerPointかPDFをクラウドにあげ、説明者はクラウド上のプレゼンを選んでその情報を相手のモバイルに送る。実際に送られるのはpptやPDFそのもののクラウドリンクではなく、そのプレゼンを動かすビューア情報だ。これによって互いにモバイルで話しながらビューアを操作し、理解を深めることができる。サービスはこれまで無償のパイロットとしてiPhone版とAndroid版だったが、iPad版も登場した。将来は有償化の予定のようだ。

-Infusionsoftのeメールマーケティング2.0-
クラウドを使って中小企業向けeメールマーケティングを提供するのはInfusionSoftだ。提唱するのは“eMail Marketing 2.0”。 2.0では専用のSaaSベースのCRMを核に宣伝母体となるその会社のWebサイトと連携する。そして人手を介さない自動化でeメールプロモーションだけでなく、郵便、Fax、音声、テキストMSGなども動員し、睨んだ顧客は逃がさない。一般に10,000件の広告から反応のある人たちは100人、実際に買う人は10人だ。反応の無かった9,000人、興味があるが買わなかった90人、この人たちに異なる方法で次なるプロモーションをどうやって仕掛けるか。これによって売上げ倍増を狙うのが2.0の手法である。サービスは15日間のフリー版(500 Contacts)と有償のBasic、Deluxe、Proが用意されている。

2010年4月12日月曜日

Microsoftの次世代データセンター 
         -Microsoft Generation 4 Data Center-

Microsoftのクラウドに賭ける意気込みは凄い。
これまで同社のビジネスモデルはソフトウェアをライセンス販売するものだった。
しかし今後は同社の開発したソフトウェア群をクラウド上にあげ、それをサービスとしてユーザに使ってもらう時代となる。サブスクリプションビジネスの到来だ。正確には、現在のライセンスビジネスと新しいクラウドビジネスが併走し、徐々にクラウドに移行する。そのスピードはWindows Azureの出来に係っている。

-Global Data Center Strategy-
クラウドの受け皿となるのが大規模データセンターだ。
2000年代初頭、“これからはソフトウェアビジネスからサービスの時代に移る”こう洞察したのはGates氏の後任でChief Software ArchitectになったRay Ozzie氏だ。氏はその過渡期の姿として“Software plus Service”を提唱、そしてWindows LiveやLive Search、Virtual Earthを進め、Windows Azureの開発に着手した。この流れと沿うように始まったのがMicrosoftの大規模データセンター建設である。2007年1月、テキサス州サンアントニオ(San Antonio)の新データセンター計画が決まり、同3月からワシントン州クインシー(Quincy)のセンターが稼動、2007年8月にはアイルランドのダブリン(Dublin)、同11月にもイリノイ州シカゴ(Chicago)のデータセンターの建設が決まった。









Get Microsoft Silverlight




グローバル戦略“Global Data Center Strategy”に沿ったこれら4センターが同社サービスビジネスを支える大黒柱である。大手のインターネットビジネスを手掛けるAmazon、ebay、Google、Yahoo!などは1990年代後半から本格的なデータセンター構築を手掛けた。当時のデータセンターは、センター内にラックを持ち込んでサーバーを積み上げてケーブリング、そしてソフトウェアをインストール、全てが手作業だった。これを第1世代のデータセンターとすると第2世代では100台規模のラックまでを外部ベンダーが組み上げてそれをセンターに搬入した。第3世代になるとラックドサーバー群に電源や空調、通信インターフェースなどがコンテナーに組み込まれる形となった。コンテナーを製造するのはDell、IBM、HP、SGI、Sunなどのベンダーだけでなく、FirelockVerariなどのハードウェアインテグレータも参加した。全てが個別仕様のコンテナー製造は彼らにとって得意技である。このように第2世代までは停電用の発電設備を持った大きなカラのビルを作り、その中にラックドサーバーを並べ、それが一杯になると別なセンターを作るという具合だった。第3世代ではコンテナー持込となって建物も付帯設備も簡素化され、センター建設のスピードとエネルギー効率PUE(Power Usage Effectiveness)の向上が図られた。

-Microsoft Generation 4 Data Center-
第4世代では更なる効率化がテーマとなる。
外見はコンテナーというよりプレハブに近く、より堅牢になって外置きが出来る。このプレハブには補助電源、空調、保守パネルなどが組み込まれ、外気を冷却用に取り入れ、昼間は補助空調で温度を一定に保つ。発注から設置まで数週間しかかからない。器となるデータセンターもビルではなく、簡易型の工場製作パネルとなって、囲いのようなものだ。勿論、高い塀の上には厳重なセキュリティー装置が設置されている。









Get Microsoft Silverlight




データセンターの世代進化は進む。
実際のところ、Microsoftのクインシーが一番古く、次がサンアントニオだ。これらの初期建設は第2世代だったが、環境対策として、冷却用にクインシーでは水力、サンアントニオでは廃水リサイクルを採用した。見かけはコンテナーでなくとも第3世代の要件である省エネルギー化を追求している。シカゴとダブリンでは当初から第3世代として建設が始まった。シカゴセンターは巨大倉庫のような建物にコンテナーを搬入、一部は2階建てに積み上げた“Double Deck”方式である。夏冬の温度(6~13℃)差が少ないダブリンではこの気候を生かした第4世代の外置きも開始した模様だ。

こうして、クラウドの飛躍を担うセンターは第4世代に向けて動き出した。
IT時代は大きな節目を迎え、これまでのハードソフト購入のIT資産方式から、経費扱いのクラウドへと脱皮し始めた。それを支えるのが先進のデータセンターである。

2010年4月5日月曜日

Magellan Workshop 2010
            -HPCを使ったクラウドコンピューティング-

昨年11月始めHPCを使ったクラウド-Magellanプロジェクトについて紹介した。
このプロジェクトは米エネ ルギー省(DOE-Department of Energy)傘下の国立研究所にあるHPC(High Performance Computing)を用いてクラウドコンピューティングの実証実験を行うものである。資金はObama政権下で昨年2月に成立した米経済再生法 American Recovery and Reinvestment Act から充当される。計画推進の中心となるのは国立アルゴンヌ研究所(Argonne National Laboratory)のArgonne Leadership Computing Facility (ALCF)とローレンス・バークレイー研究所(Lawrence Berkeley National Laboratory)のNational Energy Research Scientific Computing Center (NERSC)。目指すはスーパーコンピュータを用いた科学計算データ分析用クラウドコンピューティング(Nationwide Scientific Mid-Range Distributed Computing and Data Analysis Testbed)だ。

3 月23日、アルゴンヌ研究所でシステムのスタートを記念した"Magellan Workshop 2010”が開かれ、その概要が説明された。プロジェクトのターゲットは、中規模スーパーコンピューティング環境をHPCクラウドとして提供することだ。 このための事前作業が昨年10月21-22日の“Mid-Range Computing Workshop”だった。膨大な計算能力を要する仕事はオンサイトのHPCで行い、最も需要の多い中規模計算能力のタスクをクラウドで実行させようとい う判断である。機器構成は3段階に分けてスケールアップする。完成した第1段階の構成(2010 Spring)にはIntel製Nehalem Dual Quad-Core (2.66GHz)、つまり8コア換算のコンピュータノードが504基搭載される。各ノードは24GBのメモリーと500GBのディスクを持ち、ノード間 はQuadData Rate(QDR)のInfiniBand接続だ。システム全体で見れば、4032コアで40TFの計算能力、12TBのRAMメモリー、250TB のディスクを持つ。さらにQDR IBスイッチには160TBのストレージを持つ8台のFile Server、4台の管理ノード(Management Node)が接続、このFile Serverと管理ノードは10GbpsのESNet(Energy Sciences Network)にスイッチ経由で接続されている。このDOE構築のネットワークは、全ての国立研究所や主要大学、研究機関を網羅しており、外部からもこ のクラウドが利用できる仕組みとなっている。

続く第2段階は 今年の9月(Late Summer)、リリースの予定だ。
大きな変更は“ストレージ強化”と"外部ネットワーク接続”である。まず、ストレージ は"Active Storage”として、最大500TBのディスク、高速処理用にも最大10TBのSSDが追加され、これらインテリジェントなストレージノード用に最大 100のコンピュートノードも導入される。外部ネットワークは最大20台のゲートウェイノードが設置されて効率的な体制となる。その上で、最終構成が来年 初め(January 2011)に出来上がる。ここではANI(Advanced Network Initiative)の100Gbpsネットワーク対応がテーマだ。このANIプロジェクトは、ローレンス・バークレイー研究所が中心となって、複数の 国立研究所 (Sandia、Lawrence Livermore、Lawrence Berkeley、Oak Ridge、Los Alamos、Brookhaven、Argonne、Pacific Northwest)とシリコンバレーにあるNASA Ames Research Centerが結ばれる予定だ。

こうして実行段 階となったHPCクラウドは、ソフトウェア構成から見ると以下のようになる。
幾つかの利用法に対応するため、ハードウェア上に3層のレイヤーがあ る。1層目はHPCそのものをプロビジョニングする“Argonne breadboard Toolkit”、2層目はAmazon EC2/S3互換をオープンソースで実現するEucalyptus、最上位の3層 目はHPC Linux VMやHadoop/MapReduce(PVFS・・・Parallel Virtual File System)などだ。
利用方法を紹介し よう。
3層目の利用法は2つ。ひとつはHPC Linux VMを用いて、HPCをLinux上の標準仮想マシン(Standard Cloud Virtual Machines)として利用することが出来る。もうひとつは大規模データ解析(Data Intensive Applications )を行うものだ。ここではGoogleのインフラとしてお馴染となったオープンソースHadoop/MapReduce、さらに並列処理のクラスタリング PVFSが提供される。そして2層目にはEucalyptus環境があって、EC2/S3をベースとしたソフトウェアスタックを自由に組むことができる。 最後に、1層目のツールはHPCそのものがプロビジョニングできるので、今後、想定外の利用方法が出てきたときには、対応可能となっている。


このよ うにDOEのHPCクラウドは決して科学計算だけに特化したものではない。
オープンソースのEucryptusやHadoop、PVFSなどを採 用し、十分な汎用性を確保した試みである。注目は、現在普及しているブレードサーバーをHPCに置き換えて高速なInterconnectを活用し、他シ ステムとの接続にはInfiniBandを用いたことである。これらがどの程度、効率向上に寄与するのか楽しみだ。結果によっては、大規模プライベートク ラウド構築の指針になるだろう。

2010年3月31日水曜日

Google Apps Marketplace登場 
                             ・・・この指止まれ!

Googleのクラウドストレージを核とした戦略について3回述べてきた。
ひとまず、これについては終了とし、この過程で提携した3社について、Google Apps Marketplace発表と合わせて触れてみようと思う。

-Google Apps Marketplace-
Googleは3月9日夜、同社キャンパスで行われたデベロッパー向けイベントCampfire OneでGoogle Apps Marketplaceを立ち上げた。このサイトはGoogle Apps APIを使った3rd Partyのビジネスアプリケーションやサービスを販売(一部無料)するもので、同社によると現在のGoogle Appsユーザは全世界200万社、延べ2,500万人になる。この膨大な市場を目指して参入したベンダーは発表時点で50社、これからうなぎのぼりに増えるに違いない。参加ISVやプロバイダーは登録料$100、そして売上げの20%を支払う。彼らは豊富に用意されたAPIを使って、Googleの持つ機能と自らの機能を統合して提供する。これによって、より高機能で便利なプロダクトやサービスが生まれるというわけだ。勿論、OpenIDのGoolgeアカウントがあれば、シングルサインオンでGoogle DocsやAppsのユニバーサル・ナビゲーションバーから直接登録された3rd Partyクラウドに移動することも出来る。

Google Apps Marketplaceの使い方を見てみよう。
まずサイトに入り、条件検索や分野別から複数の候補を見つけ出し、さらに機能絞込み(Refine by Features)を使って最終サービスを選び出す。勿論、当該ページ内のデモビデオを見たり、インタビュー、レーティングなどを参考にすることは重要だ。最終候補が決まれば当該サービスの追加ボタン“Add it Now”を押し、Google Appsの自社ドメイン名を入れる。その上でGoogle Appsに管理者としてログインし、当該サービスの条件(Terms of Service)を確認・承認(Agree)すればOKだ。これで利用ユーザからはGoogle Apps Control Panel上に新しいサービスが見えるし、Gmailなどのアプリケーション画面上段の"Universal Navigation Toolbar”から新サービスを実行することが出来る。




-Memeo Connect for Google Apps-
さて話を少し戻し、Google Apps Marketplaceに先立ってクラウドストレージが発表(1/12)された時の提携3社について見てみよう。まずMemeoだ。同社の場合は元々Backup/Share/AutoSyncなどのパッケージを開発するISVである。今回の提携で発表されたMemeo Connect for Google AppsはAutoSncの拡張版だと考えて良い。このサービス(Memeo Connect)はPCやデバイスのSynchronization-同期化-が簡単に出来ることがウリだ。利用はGoogle Appsにログインし、ツールバーの“More”から"Memeo Connect”を選択すると専用ウィンドウが開く。このMemeo Connectウィンドウの所定場所(左下)に必要なファイルをドラッグ&ドロップすればいい。後は自動的にGoogleのクラウドストレージにあげてくれる。この際、オフライン状態でも気にすることはない。コンピュータがインターネットに接続された時に自動的にアップされる。これがAutoSyncのワザである。同社のお勧めはMicrosoft OfficeのWordやExcelなどをGoogleクラウドにアップし、Memeo Connectて自分のデスクトップやラップトップ、さらにはモバイルと同期化させたり、仲間とのコラボレーションに利用する。このように見ると、機能的にはDropboxな どと競合するが、利用はGoogle Appsユーザに限定され、サブスクリプションは$9/人/年だ。



-Syncplicity-
次にSyncplicityの場合もその名のようにシンク(Synchronization-同期化)がベースとなって、これをもとにしたバックアップ(Backup)やコラボ(Collaboration)が出来る。同社はMemeoのようなISVではなく、クラウドサービスプロバイダーである。提供されるサービスは個人向け(Personel Edition)とビジネス向け(Business Edition)。個人向けは無償版が1ユーザで2GBのクラウドストレージと2台のコンピュータまで、有償版は1ユーザで50GBストレージと5台のコンピュータまでが$15/月だ。ビジネス向けは3ユーザで$45/月~となっている。利用にあたっては所定の情報を登録してエージェントソフトをダウンロードすればOKだ。後は指定したMy Documentsなどのファイルが自動的にクラウドにアップされる。同じアカウントでログインすれば、自分の持つデスクトップやラップトップ、モバイル間でクラウドファイルとシンクされる。この際、File Manager上ではシンク済みのファイルにはチェック()が付けられているので分かり易い。同社が最も力を注いでいるビジネス版では、社員登録をし、彼らのファイルのバックアップ(Desktop、Documents、Music、Photos、Favorites)指定、コラボレーションのためのシェアリングファイル(Owner、Reader、Collaboration)権限など細かなポリシー設定が可能だ。



そしてGoogle Docsとの連携が登場した。
これまでのSyncplicityはPC上のローカルファイルをクラウドにあげてシンクをすることが基本だった。しかしGoogle DocsはWebアプリケーションで、そのファイルはクラウド上にある。SyncplicityからOpenIDでログインし、ツールバーに統合されている“Google Docs”ボタンをクリック、そしてシンクしたいDocsファイルを指定すればOKだ。これによってローカルだけでなく、クラウドファイルを含めた同期化が可能となった。

-Manymoon-
Manymoonの場合は、Google Appsにより統合されている。
例えばGmailにOpenIDででログインし、ユニバーサル・ナビゲーションバーの"More”からManymoonを選択、後はManymoonに移る。Manymoonのサービスはプロジェクトベースの情報共有がメインだ。キャッチフレーズは“Social Productivity”、つまり社内のソシアルネットワークを介し、情報共有による生産性向上を目指している。テーマやメンバーなどのプロジェクト設定、その中にタスクを定義し、タイムシートを使ったスケジュール管理、そして各種の共有ドキュメントなどを扱う。プロジェクトはメンバー管理が基本となるため、Google Docsを含めた共有ドキュメントのアクセス権管理はManymoonが行う。Google Appsとの統合では、タイムシートの替わりにGoogleカレンダー、共有ドキュメントにもGoogle Docsが利用出来るようになった。勿論、Manymoonの中からGoogle Docsのドキュメントやスプレッドシートなどの作成も出来る。



ここにあげた3社は、Google Apps Marketplaceの一部である。
最近の同サイトの人気によると、評判も導入実績もManymoonが一番だ。
その他、Microsoft Officeと連携させたOffiSyncZoho CRMなども好評、どうやら、Googleの“この指止まれ”作戦は順調のようである。

2010年3月23日火曜日

Googleのクラウドストレージ戦略を読む-3
                      ・・・Googleらしさとは何か

ここまでGoolgeのクラウドストレージ戦略を読むと題して、①その核となるGFSの改良、②次期データセンター構想のWSC(Warehouse-Scale Computer)について説明してきた。今回はその上で、同社のクラウドストレージ戦略がどうなるのか読み明かしてみたい。

-GDriveがやってきた-
今年1月12日、同社はGoogle Docsにクラウドストレージ機能を追加すると発表した。発表によれば、どのようなファイルもクラウド上のDocsにアップロード/ダウンロードが出来る。ただファイルの最大サイズは250MBまで。利用は1GBまでが無料、これを超えた場合は“Googleのクラウドストレージ戦略を読む-1”で述べたように、20GBの追加利用料がたった$5/年、400GBなら$100/年、16TBで$4096/年となる。つまり1GBあたりの1年間の利用料はわずか25¢だ。一部のサイトではGDriveの登場-GDrive is Coming-だと色めき立った。
もっともこれには予兆があった。2008年6月、GoogleがDocsにPDFをサポートするとした時点で、いずれどのようなファイル形式もサポートされると思われていたからだ。それが1年半たって現実になった。これまで .doc、.txt、.ppt、.pdfなどのオフィス関連に限定されていたDocsのファイル形式は一気に全てが扱えるようになった。勿論、アップロードファイルを共有ファイルすればコラボレーションが出来る。

-3rd Partyとの連携、その意味するもの・・・SaaS-
もうひとつ重要な発表があった。
Googleはクラウドストレージの発表に伴って、外部企業(3rd Party)との連携戦略に出た。これはSaaS領域の強化戦略と考えることが出来る。今回の発表では、PC上とクラウドの同期化を行うMomeo、PCのバックアップなどを行うSyncplicity、プロジェクト管理をベースとしたドキュメント共有Manymoonの3社だ。つまり、Googleとしては任意のファイルを扱えるクラウドストレージを低価格で提供し、後は3rd Partyに任せようというわけだ。本ブログで2月の始めから4回シリーズ-Cloud Storage (1)Cloud Storage (2)Cloud Storage (3)Cloud Storage (4)-で見てきたようにクラウドストレージの世界は百花繚乱である。このような状況ではいくらGoogleでも参入は容易ではない。

そこで考え抜いたあげくの作戦はAndroidと同じ方法だった。
市場は熟成し、多くのベンダーがいる。彼らのノウハウを生かしながらGoogleのクラウドストレージを使って貰い、共存共栄を図りたい。まさに携帯電話市場と同じだ。クラウドストレージプロバイダーは今や価格競争に晒されている。発表した低価格クラウドとの連動だけでも魅力的なはずだ。そして、AndroidがLinuxベースのオープンソースであるように、GoogleにはDocsとGmail、Google TalkGoogle CalendarGoogle SiteなどをパッケージにしたGoogle Appsがある。これらには豊富なGoogle Code APIが用意されている。Googleの基本的なオープン志向と低価格ストレージ、そして3rd Party連携が三位一体となれば大きな効果が出せる。現に Amazon S3をバックエンドエンジンに使ったプロバイダーは沢山ある。もし、彼らがS3からこの廉価なストレージに乗り換えるようなことになれば弾みがつく。そのためには、阻害要因の排除や推進策が欠かせない。

-AppEngineはどうなるか・・・PaaS-
Googleは検索エンジンの基盤となる大規模分散システム構築を自力で行ってきた。
そしてGFSの改良も済み、Datacenter as a Computerによる次世代データセンター構築も始まった。しかし、今日のクラウドコンピューティングの視点から見ると構造的な問題もある。レポートで述べられているWSC(Warehouse Scale Computer)のソフトウェア構造は、Platform/Cluster/Applicationの3層からなる。Googleはこの2層目のCluster-levelを“Data Center OS”とでも言うべきものだという。しかしユーザーからは通常のLinuxやWindowsは見ることが出来ない。
つまり、OSの上に自由にミドルウェアやアプリケーションを積み上げるこれまでの’ソフトウェアスタック構築は難しい。さらにWSCでは1層目のPlatform-levelにカーネルなどがあり、通常の仮想化技術の適用にも難点がある。簡単にいうと、Googleは説明しないがIaaSを提供できない理由はここにあるのだろう。以上のことからGoogleが当面、下位のIaaSを避けながら、PaaSのGoogle AppEngineと上位のSaaS(Docs/Appsなど)に傾注しているのは頷ける。さて、話をもう少し先に進めるとどうなるだろう。Googleの本来的な特徴は大規模分散処理であるし、WSCでも、そのことははっきりしている。PaaS強化で考えられることは、まずストレージ関連だ。現在Googleストレージには2種類ある。GFSベースとそうでないものだ。GFSは基本的にGoogle検索エンジンなどの製品に限定されているが、唯一、ユーザーに開放されているのがGoogle AppEngineだ。AppEngineのDatastoreはGFSベースで3ヶ所に分散保管され、バックアップの心配はない。ただ利用料金は1GB/月で15¢だから、20GBの年間利用料を単純計算すると$36(=20 x 12 x o.15)、Docsストレージと比べ約7倍、GFSの3ヶ所分散を加味しても2倍である。つまり、いずれかの時点でAppEngineのストレージコストが大きく下がる可能性が十分ある。

以上Googleのクラウドストレージ戦略について探ってきた。
Amazon Web Serviceにはかなり遅れをとったが、やっと追撃体制が整ってきた。
低価格のクラウドストレージをテコに3rd Partyを呼び込みたい。その上でMapReduceやDatastoreなどの分散対応機能が拡充できれば新たな展開が生まれる。いずれ、クライアントデバイスはブラウザだけあれば良い時代になるだろう。ブラウザから進化したChrome OSがSaaSと連携したり、仮想マシンより大きなクラスターの実行など、既成概念に捕らわれないGoogleらしいクラウドコンピューティングを大いに期待したい。

2010年3月16日火曜日

Googleのクラウドストレージ戦略を読む-2
                ・・・ Datacenter as a Computer

少しGoogleのクラウドストレージ戦略から横道に逸れるが、今回はGoogleの目指す“Datacenter as a Computer”について触れてみようと思う。昨年春、発表されたこのレポートは今後のGoolgeのデータセンターの在り方について述べている。

-コンテナー型データセンターの普及-
最先端のデータセンターと言えば、このところの流れはコンテナー型だ。工場でコンテナーの中にサーバーやストレージ、コミュニケーション機器、空調設備を組み込んで、大型トレーラーで搬送し、現地で組み立てる。この方法ならデータセンターの建設は早いし、必要に応じてキャパシティーの増強も自在だ。実際のところクラウドでお馴染みのAmazonやMicrosoft、さらにYahoo!eBayなど多くの大規模データセンターが採用している。勿論、Googleの場合も以前から自社仕様を導入している。

Microsoftの場合はWindows Azure専用のシカゴデータセンターが有名だ。同センターには“Generation 4 Modular Data Center”と呼ばれる仕様のコンテナーが200台以上運び込まれている。これら特別仕様のコンテナーベンダーではスーパーコンピュータを手掛けてきたSGI (旧Rackable Systemsが2009年4月に買収)が有名だが、2005年からはSun Modular Datacenter、2008年にはIBM Portable Module Data CenterやHP Performance Optimized Data Center、Dell Double Deck Containerなども登場している。

-Warehouse-Scale Computer(WSC)とは何か-
さて話を本論の“Datacenter as a Computer”に戻すと、このレポートで述べられている仕様からGoogleの次世代データセンターが見えてくる。Googleでは複数台のコンテナーから構成する現在のデータセンターを進化させ、倉庫大の超大型コンピュータ ”Warehouse Scale Computer(WSC)”を目指している。つまり、データセンターそのものを1台のコンピュータと考え、そのためのハードウェアの構成とは何か、そしてソフトウェアとはどうあるべきかをこのレポートで述べている。WSCの実際の適用場面では、市場に出てくる機器が絶えず進化するため、年毎に作られるデータセンターは必ずしも同じではない。しかしながら、通常私たちが目にする1台のサーバーを効率良く動かすハードウェアやソフトウェアの設計があるように、WSCではデータセンター全体を1台のコンピュータと見立て、そのための設計とは何かが考え抜かれている。

上図はWSCの構成例で、1Uのサーバー(左)を7フィートのラックに搭載(左から2番目)し、それら複数のサーバーラック (右から2番目)をクラスタースイッチ(右)で束ねる。ここで1つのラックは小型のクラスターとなり、ラック中央にはそのためのイーサネットスイッチ(~10Gbps)が見える。それらはさらに大型クラスターとしてクラスタースイッチ/ルターで接続、結果、1万台以上のサーバーがクラスタリングされる。勿論、1Uサーバーとしたのはひとつの事例で、時代と共にブレードであっても構わない。この例示を拡大して、実際に建設したものがWSCだと思えばよいだろう。
ストレージはどうなっているかと言えば、基本的に、ディスクドライブは直接サーバーに接続され、それらは世界規模の分散ファイルシステムGFSで管理される。勿論、ストレージをNAS(Network Attached Storage)のように見立てることも可能だが、WSCでは、GFSが複製化や誤り訂正などを行うために直結方式となっている。

下図はストレージ階層(Storage Hierarchy)の説明として、プロセッサーやサーバー、ストレージの関係を示したものである。個々のサーバーはマルチコアCPUを複数搭載(Multi-Socket)し、キャッシュ(L1/L2)を介してローカルDRAMを共有(16GB)、ディスク(2TB)は直結されている。このようなサーバーが前述のローカルラック(1U)に80台集積され、ひとつのデータセンターを意味するWSCでは30ローカルラックが組み込まれる。つまりサーバー台数は、このWSC当たり2,400台、DRAMは30TB、ストレージは4.80PBとなる。
-WSCを支えるソフトウェア-
データセンターをひとつの倉庫型コンピュータと見立てたWSCは、サーバーをクラスター型に束ねたハードウェア群と、それらを分散並列処理させるソフトウェアからなる。ソフトウェアは3層に分れている。最下層は、①膨大なサーバー群を抽象化して1台のコンピュータに見せる“Platform-level Software”、これにはファームウェアやカーネル、OS Distribution、Libraryなどが含まれる。次の2層目は、②クラスターレベルのリソース管理やサービス提供を担う分散システムソフトウェアの"Cluster-level Software”、これにはリソース利用を単純化するプログラミングモデルDryadやMapReduce、Sawzall、Chubby(その他Apache Hadoop、Amazon Dynamoなど)と同様にGFSやスケジューラ、RPC(Remote Procedure Call)が含まれる。このレイヤーは、言わば“Data Center OS”と言っても良いものだ。そして最上位層は、③特定のサービスを実行する“Application-level Software”である。この層はオンラインサービスとオフラインサービスに分れ、オンラインにはGoogle Search、Gmail、Google Mapsなど、オフラインにはGoolge Mapsのもととなる地図タイルの作成や衛星写真からGoogle Earthのインデックス作成など、大規模なデータ解析が典型的な例である。

-目指すは世界最大のクラウドコンピューティング-
WSCと支えるソフトウェア、それらは一体となって巨大なクラウドコンピュータとなる。
昨秋、ACMで行われたGoogleプレゼンテーション
“Spanner”計画では"Datacenter as a Computer”をベースに、将来的な目標として、世界に散在する100~1000ヶ所のWSC(データセンタ)の106(100万)~107(1,000万台)のコンピュータを1013のディレクトリーで連携させ、最大109(10億)のクライアン トが利用する1 Exabyte (1018)のストレージを実現するという。