TSUBAME

出典: フリー百科事典『ウィキペディア（Wikipedia）』

TSUBAME（つばめ）とは、東京工業大学に設置されたスーパーコンピューティングシステムの名称。 TSUBAMEの名称は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略であり、東京工業大学のシンボルマークであるつばめを掛けている。 Linpackベンチマークで38.18TFLOPSを達成し、2006年6月の世界のスーパーコンピューター性能ランキングTOP500において、7位にランクインした。2006年11月のランキングではClearSpeedも同時に用い47.38TFLOPSを記録し性能を伸ばしたがランクは9位と後退した。 2006年11月現在、TOP500Listで日本国内最上位を占めるスーパーコンピュータである。

[編集] 導入への流れ

東京工業大学として国立大学法人化後初のスーパーコンピュータ調達として導入が企画された。

国立大学法人化以前では文部科学省からスーパーコンピュータ借料は月額上限いくらと定められた予算があり、落札額が予算額を下回った場合は再調達もしくは文部科学省へ余剰予算の返納というものであった。一方、国立大学法人化後は運営費交付金という形で一括で予算が文部科学省から各大学法人に配分されることとなった。従って既存のスーパーコンピュータ月額借料という枠にとらわれること無く各大学法人の裁量でスーパーコンピュータの調達が行われることとなった。運営費交付金からスーパーコンピュータ導入維持費への割当が各大学法人にまかされたということは、すなわちスーパーコンピュータの導入維持経費として決まった予算枠が将来に渡って保証されるものでは無くなったということである。従って限られたごく少数の利用者のためのスーパーコンピュータではコストベネフィットの観点から大学内の他の予算との競争が予想される。

東京工業大学としては新スーパーコンピュータシステムを、既存のスーパーコンピュータシステムでは実施不可能な規模の計算を可能とし、将来に渡って大幅な増加が予想される超大型計算の需要を満すとともに、計算需要はそれほど高くはない利用者に向けても、ネットワーク経由で利用できる大規模ストレージを提供することで、計算資源だけに限らない多様なサービスを、学内のより多くのユーザに提供する意図を持って導入を進めることとした。

なお国立大学法人化後も調達手続きは政府調達による入札で総合評価方式をとり予算内でどれだけ高性能化するかということに代わりは無い。

[編集] 要求仕様

TSUBAMEの調達にあたっては「スーパーコンピューティングキャンパスグリッド基盤システム」という名称で以下の仕様が要求要件とされた。大規模分散並列型演算サーバ、高性能密結合分散並列型演算サーバ、メモリ共有型演算サーバ群はそれぞれ一つのシステムで兼ねることが許された。

大規模分散並列型演算サーバ
- MPIによる分散並列演算を提供すること。
- 単体のCPU性能はSPECint2000およびSPECfp2000がともにPeak値で1,300以上であること。
- 全体のCPU性能は、全体の合算値でSPECint_rate2000（SPEC intではない）がPeak値20,000以上であること。
- 1CPU（1プロセッサソケット）当りのローカルメモリが1GB以上であること。
- Globus、Unicore、Condor、Ninf-G2など、グリッド環境に対応していること。
- インタラクティブおよびバッチの混合で有効に部分的な利用ができること。
- x86-32のバイナリが直接実行可能であること。
- OSとしてLinuxカーネル2.4以上のAPIをサポートしていること。
高性能密結合分散並列型演算サーバ
- MPIによる分散並列演算を提供すること。
- 全体のCPU性能は、理論ピーク性能の合算値で40TFlops以上であること。また、Top500の規約に従ったLinpack性能で36TFlops以上であること。
- メモリ容量が全体の合算値で5TB以上であること。
- Globus、Unicore、Condor、Ninf-G2など、グリッド環境に対応していること。
メモリ共有型演算サーバ群
- 1ノード当りのCPU数が8CPU以上、メモリ共有型演算サーバ群全体で64CPU以上であること。
- 全体のCPU性能は、全体の合算値でSPECfp_rate2000がPeak値で1000以上であること。
- メモリ容量が全体の合算値で256GB以上であること。ただし、各ノードについて32GB以上の共有メモリ容量を有し、少なくとも一つのノードについては64GB以上の共有メモリ容量を有すること。
- Globus、Unicore、Condor、Ninf-G2など、グリッド環境に対応していること。(e)個々のノードにおいてインタラクティブおよびバッチの混合で有効な利用ができること。
ペタバイト級ストレージサーバ
- 非フォーマット時で1PB以上の物理容量を有すること。
- RAID6などの、三重のデータ保護機能を有すること。
- 高速かつ高信頼な並列ファイルシステムを有すること。
- GridFTPおよびGFarmなどのグリッドのファイル転送手段・およびグリッドのファイル複製共有システムを有すること。
- 1000以上のNFSあるいは同等の遠隔ファイルシステムのマウントポイントをサポートすること。
並列可視化サーバ
- ストレージに蓄積されたGBからTBのオーダの分散データを並列に可視化できること。
- 100GB以上のデータサイズを可視化できること。
- 現在使われているアプリケーションのプリ・ポストの表示を1600×1000ドット以上の画面で行えること
100ギガビット級ネットワーク装置
- 大規模分散並列型演算サーバ、高性能密結合分散並列型演算サーバ、ペタバイト級ストレッジサーバに対し、片方向で100Gbps以上の通信性能を有すること。
- メモリ共有型演算サーバ、可視化サーバに対して片方向で10Gbps以上の通信性能を有すること。
- 既存のキャンパス内ネットワーク(SuperTitanet)及び外部グリッドネットワーク(SuperSINET)に対して10Gbps以上の通信性能で接続できること。

以上の要求要件で借入期間を平成18年4月1日から平成22年3月31日とし政府調達による入札が行われ、総合評価落札方式にNECがプライムコントラクタとして落札した。

[編集] TSUBAMEの仕様

AMD社製64ビットCPU AMD Opteron Dual Core model 880（クロック2.4GHz） 8CPU搭載Sun Fire X4600（コードネームGalaxy4） 32GBメモリ 639ノード
AMD社製64ビットCPU AMD Opteron Dual Core model 885（クロック2.6GHz） 8CPU搭載Sun Fire X4600（コードネームGalaxy4） 64GBメモリ 16ノード
SuSE Linux Enterprise Server 9
NEC iStorage S1800AT 96TB RAID6
Sun Microsystems 1PBストレージ（コードネームThumper）
ClearSpeed CSX600 2基搭載96GFlopsアクセラレータボード
Voltaire社 ISR9288 288ポートInfinibandネットワークスイッチ

[編集] TSUBAMEの特徴

AMD Opteron CPUを搭載したSun Fire X4600が655ノードで10,480 CPUコアとx86系システムとしては世界一のCPUコア数を誇っている。またClearSpeed CSX600を採用したスーパーコンピュータシステムとしても世界初、世界最大規模である。システムの理論ピーク性能は85TFlopsと公表されているが、 50TFlopsがOpteronにより、35TFlopsがClearSpeed CSX600によるものである。

特筆すべきは、そのコストパフォーマンスであり、ほぼ同時期に調達、運用がなされた高エネルギー加速器研究機構の新スーパーコンピュータシステムが日立 SR11000モデルK1による理論ピーク性能 2TFlopsとIBMの Blue Gene 10ラックによる理論ピーク性能 57TFlopsの合計59TFlopsを総額3,491,254,200円により6年間借り入れているのに対し、TSUBAMEは85TFlopsを2,037,672,000円により4年間借り入れている。月額借料に換算すると高エネルギー加速器研究機構の新スーパーコンピュータシステムは48,489,642円（821,858円/TFlops）であり、TSUBAMEは42,451,500円（499,429円/TFlops）である。