目次 （1. FOCUSスパコンシステムの概要）
1. FOCUSスパコンシステムの概要
1.1. システム構成
1.1.1. システム概要図
1.1.2. システム構成要素の特徴
1.2. ハードウェア構成
1.2.1. サーバ
1.3. ソフトウェア構成
1.3.1. オペレーティングシステム（OS）
1.3.2. ソフトウェア
1.3.3. アプリケーション
1.3.3.1. ライセンスが必要なアプリケーション(商用・有償)
1.3.3.2. フリーソフトウェア
1.3.3.3. アプリケーションに関するサポート
1.4. 製品マニュアル
1.5. ディレクトリ構成
1.5.1. 共用フロントエンドサーバ
1.5.2. 演算ノード
1. FOCUSスパコンシステムの概要
1.1. システム構成
1.1.1. システム概要図
※高度計算科学研究支援センター外にクラウドストレージシステムがあり、フロントエンドサーバからアクセス可能です。
1.1.2. システム構成要素の特徴
産業利用加速用計算機システムを構成する要素について、特徴は以下の通りです。
FOCUSスパコンシステムを構成する要素について、特徴は以下の通りです。
・ファイアウォール
インターネットからの不正アクセスを防ぎます。各種ポートを塞いだり一方通行にしたり等のアクセス制御を行います。
・ウェブサーバシステム
FOCUSスパコンシステムの利用に関する情報を提供します。運用情報や予約状況等を表示します。
・ログインサーバシステム
インターネットからのSSHプロトコルを使用したログイン接続、ファイル転送の中継を行います。この計算機に一旦ログインしてから再度、フロントエンドサーバシステムにSSHでログイン、ファイル転送を行います。
・フロントエンドサーバシステム
FOCUSスパコンシステムを利用するための拠点となります。プロジェクト毎の専用のファイルシステムがマウントされ、利用者がログインし、プログラムの開発、ジョブ管理システムの利用、小規模な解析・デバッグ、小規模なプリポスト処理等を行います。
共用フロントエンドサーバの利用については 「2.1.1.3.共用フロントエンドサーバへの接続」に記載の 【共用フロントエンド利用についての注意点】をご確認ください。
・Ａシステム ノード間高並列演算指向
ノード内12コアを利用した共有メモリ並列から、Infiniband-QDR（40Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｂシステム プリポスト・大容量メモリ処理用
大容量共有メモリ（512GB）を備え、入力データを作成したり、計算した結果をディスク上から大規模共有メモリに読込んで高速にポスト処理を行ったりするためのシステムです。ノード内に16コアを備えております。
・Ｃシステム ノード内並列専用
通信ネットワークを除いて性能はＡシステムと同等です。ノード間はGigabit Ethernetで接続されています。このためノード内並列に利用頂けます。
・Ｄシステム ノード内並列／ノード間高並列演算兼用
ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR（56Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｅシステム コプロセッサ搭載システム
インテル製 「Xeon Phi 5110P」（1基あたり60コア）をノード1台あたり4基（60×4=240コア）、合計192基を搭載しております。ノード内20コアを利用した共有メモリ並列から、Infiniband-FDR（56Gbit/s）で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・Ｇシステム コプロセッサ搭載システム
インテル製 「Xeon Phi 5110P」（1基あたり60コア）をノード1台あたり1基搭載しております。ノード内12コアを利用した共有メモリ並列から、Gigabit Ethernet (10Gbps) で接続されたノード間分散メモリ並列、それらを組み合わせたハイブリッド並列に利用頂けます。
・NASストレージシステム ホーム領域(/home1)
物理容量は360TBです。
/home1としてマウントされております。ユーザーのホーム領域として課題毎に200GBの利用が可能です。通信帯域は全体で500MB/sです。通信帯域はFOCUSスパコン全利用者にて共有しているため、I/O性能は自身も含めた全ユーザのI/O状況に依存します。
・大容量分散高速ストレージシステム ホーム兼ワーク領域(/home2)
物理容量は1640TBです。
/home2としてマウントされています。ユーザのホーム兼ワーク領域となり、利用には追加契約が必要となります。月単位・10GB単位で容量を追加/削減することが可能です。契約容量を削減し、実利用量が契約容量を上回っている場合は利用分課金されます(10GB単位）のでご留意ください。通信帯域は全体で11GB/s、プロセスあたり最大1GB/sです。分散ファイルシステムであり、上記NASストレージシステムと比べて22倍、後述クラウドストレージシステムの1100倍の通信帯域となっておりますので、大規模並列計算の複数プロセスによるI/Oに適しております。
・クラウドストレージシステム バックアップ・アーカイブ領域(/cloud1)
FOCUSスパコンが設置された計算科学センタービル（日本データセンター協会 データセンターファシリティスタンダード ティア１）から専用線で接続された日本国内のデーターセンター（ティア３）に設置されたクラウドストレージが /cloud1としてマウントされています。
/home1や/home2のバックアップ・アーカイブ領域となり、利用には追加契約が必要です。 月単位・10GB単位で容量を追加することが可能です。通信帯域は全体で10MB/s です。通信帯域は FOCUS スパコン全利用者にて共有しているため、I/O 性能は自身も含めた全利用者の I/O 状況に依存します。 /home2のデータをバックアップするときは性能差が3桁あることをよく認識して ご利用ください。なお、通信帯域は別契約で年単位にて課題専用に増やすことが可能です。
また、クラウドストレージサービス提供元と契約することでクラウドストレージを利用者のサイトと接続することも可能です。その際はFOCUSスパコンがメンテナンス中でもクラウドストレージのデータにアクセスすることが可能です。
1.2. ハードウェア構成
1.2.1. サーバ
・Aシステム
| ハードウェア | 富士通 BX922 S2 |
| CPU | Intel Xeon L5640(2.26GHz) ×2CPU(計12コア)/ノード |
| メモリ | 48 GB/ノード |
| インタフェース | Infiniband-QDR（40Gbps）×1/ノード |
| ターボブースト | OFF |
・Bシステム
| ハードウェア | 富士通製RX600 S5 |
| CPU | Intel Xeon E7520(1.86GHz) ×4CPU(計16コア)/ノード |
| メモリ | 512 GB/ノード |
| インタフェース | Infiniband-QDR（40Gbps）×1/ノード |
| ターボブースト | 未対応 |
・Cシステム
| ハードウェア | 富士通製CX122S1 |
| CPU | Intel Xeon L5640(2.26GHz)×2CPU(計12コア)/ノード |
| メモリ | 48 GB/ノード |
| ターボブースト | OFF |
・Ｄシステム
| ハードウェア | Cray H2312WFFKR (HPC専用 2Uラックマウント型 ブレードサーバ) |
| CPU | Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード |
| メモリ | 64 GB/ノード |
| インターフェース | Infiniband-FDR（56Gbps）×1/ノード |
| ターボブースト | ON |
・Ｅシステム
| ハードウェア | Cray GreenBlade GB824X (HPC専用 ブレード型サーバ) |
| CPU | Intel Xeon E5-2670 v2 (2.5GHz) ×2CPU(計20コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P ×4基(計240コア)/ノード |
| メモリ | 128 GB/ノード |
| インターフェース | Infiniband-FDR（56Gbps）×1/ノード |
| ターボブースト | ON |
・Ｆシステム
| ハードウェア | 富士通製CX2550M2 |
| CPU | Intel Xeon E5-2698v4 (2.2GHz) ×2CPU(計40コア)/ノード |
| GPU | NVIDIA Tesla P100 16GB ×1/ノード （2 ノードのみ搭載） |
| メモリ | 128 GB/ノード |
| インターフェース | Infiniband-FDR（56Gbps）×1/ノード |
| ターボブースト | ON |
・Ｇシステム
| ハードウェア | NEC Express5800/HR120a-1 |
| CPU | Intel Xeon E5-2640 (2.5GHz) ×2CPU(計12コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P ×1基(計 60コア)/ノード |
| メモリ | 64 GB/ノード |
| インターフェース | Gigabit Ethernet（10Gpbs）×1/ノード |
| ターボブースト | ON |
・Ｈシステム
| ハードウェア | NEC DX2000 サーバモジュール |
| CPU | Intel Xeon D-1541 (2.10GHz) ×1CPU(計8 コア)/ノード |
| メモリ | 64 GB/ノード |
| インターフェース | Gigabit Ethernet（10Gpbs）×1/ノード |
| ターボブースト | ON |
・共用フロントエンドサーバ
| ハードウェア | Intel R2308GZ4GC (HPC専用 2Uラックマウント型サーバ) |
| CPU | Intel Xeon E5-2680 v2 (2.8GHz) ×2CPU(計20コア)/ノード |
| コプロセッサ | Intel Xeon Phi 5110P x 1基(計60コア)/ノード |
| メモリ | 64 GB/ノード |
・インターネット高速転送サーバ
IBM Sytem x3550M4で構成され、ハードウェアをログインサーバと共用します。
・ログインサーバ
IBM System x3550M4 2ノードによる構成です。うち一台は、インターネット高速転送サーバとハードウェアを共用します。
1.3. ソフトウェア構成
1.3.1. オペレーティングシステム（OS）
各システムで採用するオペレーティングシステム（OS）を示します。
表 1.3.1 オペレーティングシステム（OS）
| システム名 | オペレーティングシステム（OS） |
| ログインサーバ | CentOS 6.6(64bit版) |
| 共用フロントエンドサーバ | Red Hat Enterprise Linux 6.6(64bit版) |
| 演算ノード | CentOS 6.6(64bit版) |
1.3.2. ソフトウェア
FOCUSスパコンシステムで利用可能な主なソフトウェアの一覧を示します。
表 1.3.2 ソフトウェア一覧
| ソフトウェア | フロントエンドサーバ | 演算ノード |
| ジョブスケジューラ | ||
| Slurm Workload Manager 15.08.8 | ○ | ○ |
| 開発環境（コンパイラ） | ||
| インテル(R) Cluster Studio XE 2013 SP1 | ○ | ○ |
| インテル(R) Cluster Studio XE 2013 SP1 Updae 2 | ○ | ○ |
| インテル(R) Parallel Studio XE 2015 Cluster Edition Update 1 | ○ | ○ |
| インテル(R) Cluster Studio XE 2016 Cluster Edition Update 2 | ○ | ○ |
| インテル(R) Cluster Studio XE 2017 Cluster Edition Update 1 | ○ | ○ |
| GNU 4.4.7 | ○ | ○ |
| GNU 4.8.2 | ○ | ○ |
| ソフトウェア | ||
| Java SDK 1.7.0_45 | ○ | ○ |
| Emacs 23.1.1 | ○ | － |
| vim 7.2 | ○ | － |
| OpenMPI 1.4.2 | ○ | ○ |
| OpenMPI 1.6.5 | ○ | ○ |
| MPICH2 1.4.1p1 | ○ | ○ |
| OpenMX 3.7.6 | ○ | ○ |
| GAMESS 201310 | ○ | ○ |
| ABINIT-MP 4.1 | ○ | ○ |
| ABINIT-MP 6.0 | ○ | ○ |
| ABINIT-MP 7.0 | ○ | ○ |
| NAMD 2.9 | ○ | ○ |
| GROMACS 4.6.5 | ○ | ○ |
| LAMMPS 28Jun14 | ○ | ○ |
| Quantum ESPRESSO 5.0.2 | ○ | ○ |
| OpenFOAM 2.1.x | ○ | ○ |
| OpenFOAM 2.2.2 | ○ | ○ |
| OpenFOAM 2.3.0 | ○ | ○ |
| OpenFOAM Ext 1.6 | ○ | ○ |
| ParaView 4.0.1 | ○ | ○ |
| gnuplot 4.6.4 | ○ | ○ |
| Octave 3.6.4 | ○ | ○ |
| Pov-Ray 3.6.1 | ○ | ○ |
| R 3.0.2 | ○ | ○ |
| GLview 20131211 | ○ | ○ |
| AutoDock Vina 1.1.2 | ○ | ○ |
| NTChem 2013 4.0 | ○ | ○ |
| GNU Scientific Library 1.16 | ○ | ○ |
| cmake 2.8.12 | ○ | ○ |
| Python 2.7.6 | ○ | ○ |
| Python 3.3.3 | ○ | ○ |
| FDPS 1.0 | ○ | ○ |
1.3.3. アプリケーション
/home1/share/にインストールしたアプリケーション、数値計算ライブラリ等はご自由に利用ください。FOCUSスパコン上で動作検証済みの商用・有償アプリケーション（Gaussian、MIZHO/BioStation 以外）は、ソフトウェアベンダーからライセンスを取得して頂きまして利用頂けます。その他フリーソフト等、各利用者がホームディレクトリ配下に独自にインストールしたものが利用可能です。
1.3.3.1.ライセンスが必要なアプリケーション(商用・有償)
a）コンパイラ
Intelコンパイラは、導入済みのライセンスがありますので、使用していただくことができます。 （ただしまれに同時にご使用の方が多いタイミングで、導入しておりますライセンス数を越えてしまい、ご使用のためのライセンスがありませんというエラーが出ることがありますが、そのような場合はしばらく時間を置いてご利用下さい。）
b）Gaussian、MIZUHO/BioStation
Gaussiany や MIZUHO/BioStation をFOCUSスパコンで利用する場合は、ライセンスを準備する必要はありませんが、演算ノードの利用料とは別にノード時間に応じて利用料がかかります。これらアプリケーションの利用を希望するユーザは、OKBiz（ https://secure.okbiz.okwave.jp/focus/ ）より利用希望する旨連絡してください。
c）上記以外の商用・有償ソフトウェア
上記以外の商用・有償ソフトウェアをFOCUSスパコンで利用する場合は、各アプリケーションのベンダーに問い合わせて下さい。（FOCUSスパコンに未導入の商用ソフトウェアを利用されたい場合は、各ソフトウェアベンダーにFOCUSスパコンで使用したいとご相談下さい。）
1.3.3.2.フリーソフトウェア
/home1/shareにインストールされているアプリケーション、ライブラリ等は自由に使っていただくことができます。しかしながら当該アプリケーションのご利用にあたってはFOCUSによるサポートはありません。
利用者あるいはグループとしてFOCUSスパコンに未導入のフリーソフトウェアを利用されたい場合は、各アカウントのホームディレクトリやグループ共用のホーム領域(/home1/グループ名/share)に自由にインストールして利用して頂いてかまいません。基本的にFOCUSからのサポートはありません。
1.3.3.3.アプリケーションに関するサポート
FOCUSスパコンに導入した商用ソフトウエアのサポートは、各ソフトウェアベンダーが行っています。
提供されているサポートサービスについては、以下をご参照ください。
公益財団法人 計算科学振興財団 > FOCUSスパコン > 利用サポート
「アプリケーションに関するサポート」
http://www.j-focus.or.jp/focus/support.html#h17285
1.4. 製品マニュアル
センターのネットワーク内で、製品マニュアルを閲覧できます。下記のURLからアクセスしてご覧ください。
〔URL〕https://portal.j-focus.jp/focus/app/common/page/view?id=softwaremanual
表 1.4 マニュアル一覧
| 関連製品名 | マニュアル名称 | 形式 | 和 | 英 |
| インテル® Paralle Studio XE 2016 | リリースノート | ○ | ||
| インテル Parallel Studio XE 2016 入門ガイド | ○ | |||
| インテル® Paralle Studio XE Cluster Edition関連ドキュメント | インテル CilkPlus ユーザーズガイド | ○ | ||
| コンパイラー OpenMP 入門 | ○ | |||
| OpenMP 3.0 C/C++構文の概要 | ○ | |||
| インテル OpenMP 互換ライブラリー 利用ガイド | ○ | |||
| コンパイラー最適化 クイック・リファレンス・ガイド | ○ | |||
| インテル® Parallel Studion XE 2016 Composer Edition for C++ Linux | インテル コンパイラーリリースノート | ○ | ||
| インテル C++ コンパイラーのベクトル化ガイド | ○ | |||
| インテル C/C++ コンパイラー OpenMP 活用ガイド | ○ | |||
| インテル® Parallel Studion XE 2016 Composer Edition for Fortran Linux | インテル Fortran ライブラリー・リファレンス | ○ | ||
| インテル Fortran コンパイラー OpenMP 活用ガイド | ○ | |||
| インテル® MPI ライブラリー | リファレンス・マニュアル | ○ | ||
| ユーザーズガイド | ○ | |||
| リリースノート | ○ | |||
| インテル® Trace Analyzer & Collector | チュートリアル： MPI Perfomance Snapshot で MPI アプリケーションを解析する | ○ | ||
| チュートリアル: MPI アプリケーションの解析 | ○ | |||
| リリースノート | ○ | |||
| インテル® MKL | ユーザーズガイド | HTML | ○ | |
| インテル MKL クックブック | ○ | |||
| チュートリアル(C++) | HTML | ○ | ||
| チュートリアル(Fortran) | HTML | ○ | ||
| インテル® IPP | ユーザーズガイド | HTML | ○ | |
| チュートリアル | HTML | ○ | ||
| インテル® TBB | リリースノート | TXT | ○ | |
| ユーザーガイド＆リファレンス・マニュアル | HTML | ○ | ||
| チュートリアル | HTML | ○ | ||
| インテル® DAAL | ゲッティング・スタート | HTML | ○ | |
| プログラミング・ガイド | HTML | ○ | ||
| インテル® VTune Amplifier XE | パフォーマンス解析入門ガイド | ○ | ||
| リリースノート | ○ | |||
| チュートリアル | HTML | ○ | ||
| インテル® Inspector XE | リリースノート | ○ | ||
| SLURM 15.08 | Documentation | HTML | ○ | |
| MIZUHO / ABNIT-MP | 利用マニュアル | ○ | ||
| CONFLEX | ユーザマニュアル | ○ | ||
| チュートリアル | ○ |
1.5. ディレクトリ構成
ご利用の形態やソフトウェア、ジョブの特性によってディレクトリ（ストレージシステム）を使い分けていただくようお願い致します。
1.5.1.共用フロントエンドサーバ
共用フロントエンドサーバのディレクトリ構成は下表のとおりです。
表1.5.1 ディレクトリ構成（共用フロントエンドサーバ）
| ディレクトリパス | 利用目的 |
| /home1/グループ名/アカウント名 | ホームディレクトリ |
| /home1/グループ名 | グループ共用のホーム領域。容量は課題（グループ）あたり200GB |
| /home1/グループ名/share | グループで共用するソフトウェアを格納するための領域 |
| /home2/グループ名 | グループ共用の追加ストレージ領域 |
|
/home1/グループ名/アカウント名/skeed または /home2/グループ名/アカウント名/skeed |
インターネット高速転送システムでデータ授受を行う場合に使用。専用ソフトウェアでは”/”と表示される。 |
| /home1/share | システム全体で共用するソフトウェアを格納 |
| /cloud1/グループ名 | グループ共用のバックアップ・アーカイブ領域。 |
※グループ名は「g」＋“課題ID”、アカウント名は「u」＋“課題名”＋数字4桁です。
（参考）
/home1 NASストレージシステム（書込み性能 全体で500MB/s）
/home2 分散ファイルシステム（書込み性能 全体で11GB/s、1プロセスあたり最大1GB/s）
/cloud1 クラウドストレージシステム（通信帯域 全体で10MB/s）
1.5.2.演算ノード
演算ノードのディレクトリ構成は下表のとおりです。
表1.5.2 ディレクトリ構成（演算ノード）
| ディレクトリパス | 利用目的 |
| /work | スクラッチディレクトリ（演算ノードのローカルディスク） |
※演算ノードにログインすることはありません。
（参考）/workの書込み性能は各システムにより異なります。
実測値は「付録A.FOCUSスパコンシステム各種サーバ・ストレージ概要」をご参照ください。