Google File System

先日,ACM Digital Libraryをぐるぐるしていたら,面白そうな論文を見つけた.「Google File System」である.ACMリンクとPDFへのリンクを書いておく.

論文の内容は,GB単位のファイルが大量にあり,また,小さいファイルも同時に存在し,それらのファイルは追記のみで,障害発生が日常である,という環境下で以下に,高速かつ低コストの維持管理を実現するファイルシステムについてである.実際のGoogle内部での使われており,1000ノードで300TB級の規模となっているそうだ.細かい技術的側面や評価結果は参考になる.

もちろん分散ファイルシステムという概念は従来からあるもので,従来の提案との差分は,安いハードをターゲットとしているところ,Googleのアプリケーション(もちろん検索エンジンだろう)に合わせて,キャッシュをなくしたり,集中管理にすることで,シンプルな設計・実装にしているところ.また,耐障害性を高めたり,POSIXとの互換性をやめることで性能を引き出している,というところのようだ.

ちなみに,注目されるGoogleファイルシステムの論文だけあって,日本語の解説があるので,合せて紹介しておく.
電通大の人々のメモRadium Software Developmentの記述が参考になる.

しかし,このSOSPという会議は,なかなか他にも面白そうな論文が多い.ACMのSIGARCHとSIGOPSぐらいは,もっと真面目に定点観測しないといかんなぁ.

まったく関係ないが,北島康介三木谷社長は似ている.