目次 （1. FOCUSスパコンシステムの概要）
1. FOCUSスパコンシステムの概要
1.1. システム構成
1.1.1. システム概要図
1.1.2. システム構成要素の特徴
1.2. ハードウェア構成
1.2.1. サーバ
1.3. ソフトウェア構成
1.3.1. オペレーティングシステム（OS）
1.3.2. ソフトウェア
1.3.3. アプリケーション
1.3.3.1. ライセンスが必要なアプリケーション(商用・有償)
1.3.3.2. フリーソフトウェア
1.3.3.3. アプリケーションに関するサポート
1.4. 製品マニュアル
1.5. ディレクトリ構成
1.5.1. 共用フロントエンドサーバ
1.5.2. 演算ノード
1.5.3. クォータ確認コマンド（追加ストレージ/home2）
1. FOCUSスパコンシステムの概要
1.1. システム構成
1.1.1. システム概要図
1.1.2. システム構成要素の特徴
産業利用加速用計算機システムを構成する要素について、特徴は以下の通りです。
FOCUSスパコンシステムを構成する要素について、特徴は以下の通りです。
・ファイアウォール
インターネットからの不正アクセスを防ぎます。各種ポートを塞いだり一方通行にしたり等のアクセス制御を行います。
・ウェブサーバシステム
FOCUSスパコンシステムの利用に関する情報を提供します。運用情報や予約状況等を表示します。
・ログインサーバシステム
インターネットからのSSHプロトコルを使用したログイン接続、ファイル転送の中継を行います。この計算機に一旦ログインしてから再度、フロントエンドサーバシステムにSSHでログイン、ファイル転送を行います。
・フロントエンドサーバシステム
FOCUSスパコンシステムを利用するための拠点となります。プロジェクト毎の専用のファイルシステムがマウントされ、利用者がログインし、プログラムの開発、ジョブ管理システムの利用、小規模な解析・デバッグ、小規模なプリポスト処理等を行います。
・Ａシステム ノード間高並列演算指向
ノード内12コアを利用した共有メモリ並列から、Infiniband-QDR（40Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｂシステム プリポスト・大容量メモリ処理用
大容量共有メモリ（512GB）を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。ノード内に16コアを備えております。
・Ｃシステム ノード内並列専用
通信ネットワークを除いて性能はＡシステムと同等です。ノード間はGigabit Ethernetで接続されています。このためノード内並列に利用頂けます。
・Ｄシステム ノード内並列／ノード間高並列演算兼用
ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR（56Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｅシステム コプロセッサ搭載システム
インテル製 「Xeon Phi 5110P」（1基あたり60コア）をノード1台あたり4基（60×4=240コア）、合計192基を搭載しております。ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR（56Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｇシステム コプロセッサ搭載システム（デバッグキュー用）
インテル製 「Xeon Phi 5110P」（1基あたり60コア）をノード1台あたり1基搭載しております。ノード内12コアを利用した共有メモリ並列から、Gigabit Ethernetで接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・NASストレージシステム ホーム領域(/home1)
物理容量は360TBです。
/home1としてマウントされております。ユーザーのホーム領域として課題毎に200GBの利用が可能です。通信帯域は全体で500MB/sです。通信帯域はFOCUSスパコン全ユーザにて共有しているため、I/O性能は自身も含めた全ユーザのI/O状況に依存
します。
・大容量分散高速ストレージシステム ホーム兼ワーク領域(/home2)
物理容量は1640TBです。/home2としてマウントされています。ユーザのホーム兼ワーク領域となり、利用には追加契約が必要となります。通信帯域は全体で11GB/s、プロセスあたり最大1GB/sです。分散ファイルシステムであり、上記NASストレージシステムと比べて22倍の通信帯域となっておりますので、大規模並列計算の複数プロセスによるI/Oに適しております。
1.2. ハードウェア構成
1.2.1. サーバ
・Aシステム
| ハードウェア | 富士通 BX922 S2 |
| CPU | Intel Xeon L5640(2.26GHz) ×2CPU(計12コア)/ノード |
| メモリ | 48 GB/ノード |
| インタフェース | Infiniband-QDR（40Gbps）×1/ノード |
・Bシステム
| ハードウェア | 富士通製RX600 S5 |
| CPU | Intel Xeon X7520(1.86GHz) ×4CPU(計16コア)/ノード |
| メモリ | 512 GB/ノード |
| インタフェース | Infiniband-QDR（40Gbps）×1/ノード |
・Cシステム
| ハードウェア | 富士通製CX122S1 |
| CPU | Intel Xeon L5640(2.26GHz)×2CPU(計12コア)/ノード |
| メモリ | 48 GB/ノード |
・Ｄシステム
| ハードウェア | Cray H2312WFFKR (HPC専用 2Uラックマウント型 ブレードサーバ) |
| CPU | Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード |
| メモリ | 64 GB/ノード |
| インターフェース | Infiniband-FDR（56Gbps）×1/ノード |
・Ｅシステム
| ハードウェア | Cray GreenBlade GB824X (HPC専用 ブレード型サーバ) |
| CPU | Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P ×4基(計240コア)/ノード |
| メモリ | 128 GB/ノード |
| インターフェース | Infiniband-FDR（56Gbps）×1/ノード |
・Ｇシステム
| ハードウェア | NEC Express5800/HR120a-1 |
| CPU | Intel Xeon E5-2640 (2.5GHz) ×2CPU(計12コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P ×1基(計 60コア)/ノード |
| メモリ | 64 GB/ノード |
・共用フロントエンドサーバ
| ハードウェア | Intel R2308GZ4GC (HPC専用 2Uラックマウント型サーバ) |
| CPU | Intel Xeon E5-2680 v2 (2.8GHz) ×2CPU(計20コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P x 1基(計60コア)/ノード |
| メモリ | 64 GB/ノード |
・インターネット高速転送サーバ
IBM Sytem x3550M4で構成され、ハードウェアをログインサーバと共用します。
・ログインサーバ
IBM System x3550M4 2ノードによる構成です。うち一台は、インターネット高速転送サーバとハードウェアを共用します。
1.3. ソフトウェア構成
1.3.1. オペレーティングシステム（OS）
各システムで採用するオペレーティングシステム（OS）を示します。
表 1.3.1 オペレーティングシステム（OS）
| システム名 | オペレーティングシステム（OS） |
| ログインサーバ | CentOS 6.6(64bit版) |
| フロントエンドサーバ | Red Hat Enterprise Linux 6.6(64bit版) |
| 演算ノード | CentOS 6.6(64bit版) |
1.3.2. ソフトウェア
FOCUSスパコンシステムで利用可能な主なソフトウェアの一覧を示します。
表 1.3.2 ソフトウェア一覧
| ソフトウェア | フロントエンドサーバ | 演算ノード |
| ジョブスケジューラ | ||
| Slurm Workload Manager 2.6.2 | ○ | ○ |
| 開発環境（コンパイラ） | ||
| インテル(R) Cluster Studio XE 2012 | ○ | ○ |
| インテル(R) Cluster Studio XE 2013 | ○ | ○ |
| インテル(R) Cluster Studio XE 2013 SP1 | ○ | ○ |
| インテル(R) Cluster Studio XE 2013 SP1 Updae 2 | ○ | ○ |
| インテル(R) Parallel Studio XE 2015 Cluster Edition Update 1 | ○ | ○ |
| GNU 4.4.7 | ○ | ○ |
| GNU 4.8.2 | ○ | ○ |
| ソフトウェア | ||
| Java SDK 1.7.0_45 | ○ | ○ |
| Emacs 23.1.1 | ○ | － |
| vim 7.2 | ○ | － |
| OpenMPI 1.4.2 | ○ | ○ |
| OpenMPI 1.6.5 | ○ | ○ |
| MPICH2 1.4.1p1 | ○ | ○ |
| OpenMX 3.7.6 | ○ | ○ |
| GAMESS 201310 | ○ | ○ |
| ABINIT-MP 4.1 | ○ | ○ |
| ABINIT-MP 6.0 | ○ | ○ |
| ABINIT-MP 7.0 | ○ | ○ |
| NAMD 2.9 | ○ | ○ |
| GROMACS 4.6.5 | ○ | ○ |
| LAMMPS 28Jun14 | ○ | ○ |
| Quantum ESPRESSO 5.0.2 | ○ | ○ |
| OpenFOAM 2.1.x | ○ | ○ |
| OpenFOAM 2.2.2 | ○ | ○ |
| OpenFOAM 2.3.0 | ○ | ○ |
| OpenFOAM Ext 1.6 | ○ | ○ |
| ParaView 4.0.1 | ○ | ○ |
| gnuplot 4.6.4 | ○ | ○ |
| Octave 3.6.4 | ○ | ○ |
| Pov-Ray 3.6.1 | ○ | ○ |
| R 3.0.2 | ○ | ○ |
| GLview 20131211 | ○ | ○ |
| AutoDock Vina 1.1.2 | ○ | ○ |
| NTChem 2013 4.0 | ○ | ○ |
| GNU Scientific Library 1.16 | ○ | ○ |
| cmake 2.8.12 | ○ | ○ |
| Python 2.7.6 | ○ | ○ |
| Python 3.3.3 | ○ | ○ |
| FDPS 1.0 | ○ | ○ |
1.3.3. アプリケーション
/home1/share/にインストールしたアプリケーション、数値計算ライブラリ等はご自由に利用ください。FOCUSスパコン上で動作検証済みの商用・有償アプリケーション（Gaussian、MIZHO/BioStation、ParallelCONFLEX 以外）は、ソフトウェアベンダーからライセンスを取得して頂きまして利用頂けます。その他フリーソフト等、各利用者がホームディレクトリ配下に独自にインストールしたものが利用可能です。
1.3.3.1.ライセンスが必要なアプリケーション(商用・有償)
a）コンパイラ
Intelコンパイラは、導入済みのライセンスがありますので、使用していただくことができます。 （ただしまれに同時にご使用の方が多いタイミングで、導入しておりますライセンス数を越えてしまい、ご使用のためのライセンスがありませんというエラーが出ることがありますが、そのような場合はしばらく時間を置いてご利用下さい。）
b）Gaussian、MIZUHO/BioStation, ParallelCONFLEX
Gaussian、MIZUHO/BioStation や ParallelCONFLEX をFOCUSスパコンで利用する場合は、ライセンスを準備する必要はありませんが、演算ノードの利用料とは別にノード時間に応じて利用料がかかります。これらアプリケーションの利用を希望するユーザは、OKBiz（ https://secure.okbiz.okwave.jp/focus/ ）より利用希望する旨連絡してください。
c）上記以外の商用・有償ソフトウェア
上記以外の商用・有償ソフトウェアをFOCUSスパコンで利用する場合は、各アプリケーションのベンダーに問い合わせて下さい。（FOCUSスパコンに未導入の商用ソフトウェアを利用されたい場合は、各ソフトウェアベンダーにFOCUSスパコンで使用したいとご相談下さい。）
1.3.3.2.フリーソフトウェア
/home1/shareにインストールされているアプリケーション、ライブラリ等は自由に使っていただくことができます。しかしながら当該アプリケーションのご利用にあたってはFOCUSによるサポートはありません。
利用者あるいはグループとしてFOCUSスパコンに未導入のフリーソフトウェアを利用されたい場合は、各アカウントのホームディレクトリやグループ共用のホーム領域(/home1/グループ名/share)に自由にインストールして利用して頂いてかまいません。基本的にFOCUSからのサポートはありません。
1.3.3.3.アプリケーションに関するサポート
FOCUSスパコンに導入した商用ソフトウェアのサポートは各ソフトウェアベンダーが行っており、以下のサポートサービスが提供されております。
FOCUSスパコンに導入された商用ソフトウェアのサポートは各ソフトウェアベンダーが行います。 ソフトウェアベンダーのサポート以外に、現在、以下のサポートサービスが提供されております。
・OpenFOAM利用サポートサービス：（株）CAEソリューションズ
・Gaussian/GaussView/GAMESS/AMBER/CONFLEX利用サポートサービス：コンフレックス（株）
その他、ISV事業者により様々なサポートが準備されており、ご紹介が可能です。紹介をご希望の方はOKBiz（https://secure.OKBiz.okwave.jp/focus/）でお問合せ下さい。
1.4. 製品マニュアル
センターのネットワーク内で、製品マニュアルを閲覧できます。下記のURLからアクセスしてご覧ください。
〔URL〕http://fl01.j-focus.jp/ablog/manual/
表 1.4 マニュアル一覧
| 関連製品名 | マニュアル名称 | 形式 | 和 | 英 |
| インテル® Cluster Studio XE 2013 | インテル Cluster Studio XE リリースノート | ○ | ||
| インテル Visual Fortran Composer XE 2013 入門ガイド | ○ | |||
| インテル Parallel Studio XE 2013 入門ガイド | ○ | |||
| インテル® Cluster Studio XE 関連ドキュメント | コンパイラー OpenMP 入門 | ○ | ||
| インテル CilkPlus ユーザーズガイド | ○ | |||
| OpenMP 3.0 C/C++構文の概要 | ○ | |||
| インテル OpenMP 互換ライブラリー 利用ガイド | ○ | |||
| コンパイラー最適化 クイック・リファレンス・ガイド | ○ | |||
| SP1Update1リリースノート | ○ | |||
| インテル® C++ Composer XE 2013 Linux 版 | インテル C/C++ コンパイラー OpenMP 活用ガイド | ○ | ||
| 日本語ユーザー・リファレンス・ガイド | ○ | |||
| インテル® Fortran Composer XE 2013 Linux 版 | インテル Fortran コンパイラー OpenMP 活用ガイド | ○ | ||
| 日本語ユーザー・リファレンス・ガイド | ○ | |||
| インテル Fortran ライブラリー・リファレンス | ○ | |||
| インテル® MPI ライブラリー | Intel MPI 入門ガイド | ○ | ||
| インテル® Inspector XE | チュートリアル-メモリーエラーを検出する(C++) | ○ | ||
| チュートリアル-メモリーエラーを検出する(Fortran) | ○ | |||
| チュートリアル-スレッド化エラーを検出する(C++) | ○ | |||
| チュートリアル-スレッド化エラーを検出する(Fortran) | ○ | |||
| インテル® MKL | MKL ユーザーズガイド | ○ | ||
| 入門チュートリアル C++ 言語向け | ○ | |||
| 入門チュートリアル Fortran 言語向け | ○ | |||
| インテル® VTune Amplifier XE | チュートリアル-hotspotを見つける(C++) | ○ | ||
| チュートリアル-hotspotを見つける(Fortran) | ○ | |||
| チュートリアル-ハードウェアの問題を特定する | ○ | |||
| チュートリアル-ロックと待機を解析する | ○ | |||
| SLURM 2.6.2 | SLURM 2.6.2 Documentation | HTML | ○ | |
| Gaussian09 | Gaussian 09 User's Reference | HTML | ○ | |
| IOps Reference | HTML | ○ | ||
| 電子構造論による化学の探究 | 製本 | ○ | ||
| Linda | Using Gaussian 09 with Linda | HTML | ○ | |
| GaussView | GaussView 5 Reference | ○ |
1.5. ディレクトリ構成
ご利用の形態やソフトウェア、ジョブの特性によってディレクトリ（ストレージシステム）を使い分けていただくようお願い致します。
1.5.1.共用フロントエンドサーバ
共用フロントエンドサーバのディレクトリ構成は下表のとおりです。
表1.5.1 ディレクトリ構成（共用フロントエンドサーバ）
| ディレクトリパス | 利用目的 |
| /home1/グループ名/アカウント名 | ホームディレクトリ |
| /home1/グループ名 | グループ共用のホーム領域。容量は課題（グループ）あたり200GB |
| /home1/グループ名/share | グループで共用するソフトウェアを格納するための領域 |
| /home2/グループ名 | グループ共用の追加ストレージ領域 |
|
/home1/グループ名/アカウント名/skeed または /home2/グループ名/アカウント名/skeed |
インターネット高速転送システムでデータ授受を行う場合に使用。専用ソフトウェアでは”/”と表示される。 |
| /home1/share | システム全体で共用するソフトウェアを格納 |
※グループ名は「g」＋“課題ID”、アカウント名は「u」＋“課題名”＋数字4桁です。
（参考）
/home1 NASストレージシステム（書込み性能 全体で500MB/s）
/home2 分散ファイルシステム（書込み性能 全体で11GB/s、1プロセスあたり最大1GB/s）
1.5.2.演算ノード
演算ノードのディレクトリ構成は下表のとおりです。
表1.5.2 ディレクトリ構成（演算ノード）
| ディレクトリパス | 利用目的 |
| /work | スクラッチディレクトリ（演算ノードのローカルディスク） |
※演算ノードにログインすることはありません。
（参考）/workの書込み性能は各システムにより異なります。
実測値は付録A「スパコンシステム各種サーバ及びファイルシステム構成図」をご参照ください。
1.5.3.クォータ確認コマンド（追加ストレージ/home2）
/home1の容量は課題（グループ）あたり200GBですが、追加ストレージ領域（/home2）の容量についてはご契約内容により異なります。現在の容量（上限値）を確認するには次のlfsコマンドを使用します。
〔コマンド〕
| lfs quota -g グループ名 /home2 |
〔実行結果〕
|
% lfs quota -g gXXX /home2 Disk quotas for group gXXX (gid XXXX): Filesystem kbytes quota limit grace files quota limit grace /home2 4 1059061760 1059061760 - 1 0 0 - |
※quota列に上限値（kbytes）が表示されます。