【MPI/SX修正内容】3/31CMCサービス停止のお知らせ

3月31日の年末作業に伴い、午前9時から午後21時（もしくは翌朝）までCMCのすべてのサービスが停止いたします。
(ログイン、フロント端末、PCC、SX8R、SX9)

ILEノードは、サービスを継続いたしますが、以下2点ご注意お願いいたします。

■MPIの修正に関する注意
SXのMPIの修正作業もありますので、ILEノードでMPIを利用しているジョブがあると、影響を受ける可能性があります。
ILEノードで、MPIを実行される方は、計算機室までお知らせください。

■ILEノードのディスクアクセスに関する注意
ILEノード（Lp8,Lp4,Lslなど）は、実行を継続しますが、
/sc/ile/short
/sc/ile/perm2
の領域にアクセスするとジョブがアボートする可能性がありますので、ILEノードで実行させるジョブは、
/sc/ile/home
/sc/ile/perm
/sc/ile/temp
のみをアクセスするようにご注意ください。

また、SX8RとSX9のMPI/SXの修正が下記のように行われます。

ILEノードでMPIを利用しているジョブがあると、影響を受ける可能性があります。
31日に、ILEノードでMPIを実行される方は、高性能計算機室までお知らせください。

■MPI/SX 修正物件適用について(SX-8R/SX-9)

SX-8R 用 MPI/SX、SX-9 用 MPI/SX の修正物件を2009/03/31に適用させて頂きます。
今回の修正物件適用により、以下に記載された内容が強化・修正されます。

− SX-8R 用 MPI/SX
library Version 7.2.0 → 8.0.1
daemon Version 7.2.0 → 7.2.4

機能強化内容
(1) 下記手続きにより生成される派生データ型において、その下限または上限に構成要素数 0 のブロックが配置されている派生データ型の処理方式に関する MPICH-2 互換機能を導入する。

MPI_TYPE_INDEXED
MPI_TYPE_HINDEXED
MPI_TYPE_STRUCT
MPI_TYPE_CREATE_INDEXED
MPI_TYPE_CREATE_HINDEXED
MPI_TYPE_CREATE_STRUCT

MPICH-1 では、派生データ型の下限または上限に構成要素数 0 のブロックが配置された場合、当該ブロックを派生データ型の 1 エントリとみなして、extent の算出を行っている。一方、MPICH-2 では、当該ブロックを派生データ型のエントリとみなさずに上記処理を行っている。

従来 MPI/SX では上記派生データ型に対して、MPICH-1 と同様の処理方式を採用していたが、MPICH-2 と同様の処理方式を既定値とするよう変更する。また MPI プログラム実行時に環境変数 MPIBLOCKLEN0 を設定することにより、上記派生データ型に対
する処理方式の選択を可能とする。

MPIBLOCKLEN0の値 説明
OFF 上記派生データ型に対してMPICH-2と同様の処理を行う(既定値)
ON 上記派生データ型に対してMPICH-1と同様の処理を行う

(2) 2008年9月4日 に公開された MPI-2.1 仕様をサポートした。

障害内容
(1)現象 : ユーザプログラムアボート
内容 : 動的プロセス生成機能および動的プロセス結合機能利用時の MPI プログラム異常終了。
条件 : 動的プロセス生成機能により複数の MPI プロセスを生成し、動的プロセス結合機能によりそれらの MPI プロセスを結合する操作を繰り返し行った場合、MPIプログラムが異常終了することがある。

(2)現象 : ユーザプログラムアボート
内容 : MPI 内部ルーチン内でのデッドロック。
条件 : suspend/resume 方式を選択した MPI プログラム実行において、デッドロックが発生する場合がある。

(3)現象 : 結果異常
内容 : MPI_Bsend 結果不正。
条件 : データサイズが 200KB 以上のデータを MPI_Bsend で転送した場合、結果不正が発生する場合がある。

(4)現象 : 結果異常
内容 : MPI_Allgather 結果不正。
条件 : MPI プログラムのシングルノード実行において、転送元データ領域および転送先データ領域をグローバルメモリ上に割り付け、データサイズが 1MB 以上のデータを MPI_Allgather または MPI_Allgatherv で転送した場合、結果不正が発生する場合がある。

(5)現象 : 結果異常
内容 : TotalView を用いたデバッグにおけるブレイクポイント設置不可。
条件 : TotalView を用いた MPI Fortran プログラムのデバッグにおいて、ブレイクポイントが設置できない場合がある。

(6)現象 : 結果異常
内容 : mpirun および mpiexec man ページ更新。
条件 : mpirun および mpiexec の man ページの以下の内容を更新した。
(a) 間接指定形式における指定不可オプションの記述を修正。
(b) デバッグ時のMPIプロセス間待ち合わせ方式に関する注意事項を追加。

(7)現象 : 結果異常
内容 : MPIPROGINF 結果不正。
条件 : MPI マルチタスクプログラムを NQSII 環境でマルチノード実行した場合、MPIPROGINF 情報として出力される "Max. Concurrent Processes" が不正となる場合がある。

(8)現象 : 結果異常
内容 : 翻訳リストが生成されない。
条件 : mpif90 にコンパイラ詳細オプション -L およびサブオプションf[ilename] を指定して翻訳リストを生成する場合、翻訳リストが生成されない。

(8)現象 : 結果異常
内容 : メモリリークが発生する。
条件 : MPI_Comm_spawn または MPI_Comm_spawn_multiple による動的プロセス生成を行い、かつ MPI_Comm_accept/MPI_Comm_connect による動的プロセス結合を行った場合、MPI ライブラリが動的に確保したメモリ領域の一部が解放されず、残存する。

(10)現象 : 結果異常
内容 : コンパイルエラーが発生する。
条件 : mpi++.h ファイルおよび fstream ファイルをインクルードする C++ プログラムにおいて、コンパイルエラーが発生する場合がある。

− SX-9 用 MPI/SX
library Version 7.2.4 → 8.0.1
daemon Version 7.2.4 → 7.2.6

機能強化内容
(1) SX-9 向けにノード間通信性能を強化した。

(2) 2008年9月4日 に公開された MPI-2.1 仕様をサポートした。

障害内容
(1)現象 : 結果異常
内容 : メモリリークが発生する。
条件 : MPI_Comm_spawn または MPI_Comm_spawn_multiple による動的プロセス生成を行い、かつ MPI_Comm_accept/MPI_Comm_connect による動的プロセス結合を行った場合、MPIライブラリが動的に確保したメモリ領域の一部が解放されず、残存する。

(2)現象 : 結果異常
内容 : コンパイルエラーが発生する。
条件 : mpi++.h ファイルおよび fstream ファイルをインクルードする C++ プログラムにおいて、コンパイルエラーが発生する場合がある。

(3)現象 : 結果異常
内容 : プロセス起動失敗による MPI ジョブストール。
条件 : シェルスクリプトを利用して MPI プロセスの起動を行う際、シェルスクリプト中で指定された実行ファイルが存在しない、あるいは、実行権が欠落している等の理由から起動に失敗した場合、mpirun コマンドが終了せず、ジョブストールとなることがある。

(4)現象 : 結果異常
内容 : ジョブ単位の資源制限超過による MPI ジョブストール。
条件 : MPI プログラムのバッチ実行において、ジョブ単位の資源制限(CPU 時間制限、ファイルシステム資源制限グループ(RLGn) のファイルサイズなど) が設定されており、その制限を超過した場合、一部の MPI プロセスが終了せず、ジョブストールとなることがある。

【終了報告】FORTRAN90/SX, C++/SXコンパイラのバージョンアップ作業(3/26)

コンパイラバージョンアップが完了しました。
お気づきのことがあれば、 高性能計算機室までご連絡ください。

[作業期間]
(1) ２００９年３月２６日(木) １０：００〜１２：１５
(2) ２００９年３月２６日(木) １３：００〜１５：００
(3) ２００９年３月２６日(木) １５：００〜１７：３０

[対象機器]
(1) F90/SX, C++ Cross 及びインタラクティブ利用ノード上 Self コンパイラ置換 fronta - frontd, sx806, sx803, sx810
(2) F90/SX, C++ Self コンパイラ置換 sx800 - sx805, sx807 - sx809, sx811 - sx819, sx900 - sx909
(3) MathKeisan 3.0 インストール sx900 - sx909

[リビジョンの変更] 　　
　 (SX-8R用) 　　　FORTRAN90/SX　Rev.345 → Rev.384 　　　 C++/SX　　　　Rev.083 → Rev.084 　　　
　　(SX-9用) 　　　FORTRAN90/SX　Rev.381 → Rev.384 　　　C++/SX　　　　Rev.083 → Rev.084 　　　MathKeisan　　R2.999 → R3.000

SX9の制限緩和とデバッグキューのサービス開始について

SX9のデバッグキューのサービスが開始され、 SX9へのジョブ投入の制限もなくなりました。
（64GB以下、8CPU以下のジョブも投入できます）
詳細は、front端末で、「about-sx9-class」とすると表示されます。

レーザー研利用者は、キューの指定のときに
■CMCノード（SX8R,SX9とも） 　　#PBS -q SX9 #PBS -q DBG9 のように@cmcを指定しない
■ILEノード 　　#PBS -q Lp4@ile 　のように@ileを指定する
というのが、よいと思います。

以下、CMCの「about-sx9-class」より抜粋。
----- 　　 新スーパーコンピュータSX-9のサービスについて (2009.2.3修正)
★2009年2月3日より、SX-9用のデバッグクラスDBG9クラスを作成しました。ま た、SX-9のCPU数９以上、メモリ64GB以上の制限をなくし、SX9クラスのCPUの既 定値を1、メモリの既定値を1GBにしました。この変更により利用負担額のコー スが、50万円以下の方もSX-9にジョブを投入できるようになりました。

研究報告・原稿をご提出ください

■ スパコンを用いた研究についてのWord原稿をご提出ください
※転出する学生の皆さまは必ずご提出ください！
CMCシステムを利用して研究したことを、日本語でよいので2〜3ページにまとめご提出ください（図・表含む）。

提出期限：　2月27日（金）

■ スパコンを用いたPPT研究報告をご提出ください
※CMCシステム利用者は全員ご提出ください。
※STARSシステムも利用されている場合は、1つの研究課題につき1報告の提出でかまいません。

CMCシステムを用いた研究についてのPPTでの報告書をご提出願います。
特に書式を決めているわけではありませんので自由に作成ください。
昨年度提出くださっている方は、そのバージョンアップ版でも構いませんし新しい課題として提出くださっても構いません。

提出期限：　2月27日（金）

1研究課題につきパワーポイント1枚. 日付は不要です.
タイトル、氏名、研究内容の概要、計算結果の図、CPU時間、メモリ量、ベクトル化率、並列化の有無、今後の予定やシステムに関する要望　などなど。。。

報告書の利用について： 　　所外Webに掲載します。
文科省などから要求があったときに提出したり、部分的に利用させていただき書類などを作成する場合があります。所外Webに掲載しますので、専門家ではなく、一般の方（高校生）でも 　理解できるよう、わかりやすく作っていただければありがたいです。 スパコン（特にベクトル型スパコン）に対する風あたりは年々厳しさを 増しています。 スパコンの有用性をアピールするためにも、皆様のご協力が不可欠です。 ご協力よろしくお願いします。

メンバー募集:シミュレーション利用者情報共有メーリングリスト

計算機シミュレーションに関する様々な情報共有を目的としたメーリングリストを開設しました。
今後は、質問の送り先として、ile-compではなく、このML（計算機室メンバーを含む）をアナウンスしていく予定です。
回答ややりとりも個人にお送りするのではなく、MLを利用することで情報共有を促進します。

このメーリングリストは、レーザー研のCMCおよびSTARSシステムの利用者の中から希望者で構成したいと思います。
メンバー登録を希望される方は高性能計算機室までご連絡ください。

【SX9】512GBより大きなメモリの自動並列について

500GB以上のメモリを利用するFORTRAN自動並列の場合に並列がうまく動かない場合がある件について、以下の回答がありましたのでお知らせいたします。ご注意ください。

従来 SX-8R までは実装メモリが 256GB までだったこともあり、プログラムのメモリ空間として 512GB メモリレイアウトとして実行モジュールが作成される仕様になっておりましたが、SX-9では実装メモリが 1TB に拡張されたことで 4TB まで当該機能が拡張されております。
しかしながら、既定値については 512GB メモリレイアウトのままとなっておりますので、これを超える場合は 4TB メモリレイアウトを指定して頂く必要があります。
当該振る舞いとして、自動並列でタスク数が増加した際に、512GB を超える場合は、512GB 以内になるように並列数が自動的に調整されます。(使用メモリ量は、sxsize コマンドで確認が可能です)

(指定例) リンカオプション -h でメモリレイアウト 4TB を指定。
　　　　　　sxf90 -cfsx9 -Wl,-h 4T_memlayout .....

(参考) CMC 様ポータルで公開されているマニュアル：「SX-9(SUPER-UX R18.1)マニュアル (英語版)」「Multi-tasking users' Guide」「7.2 Linker option」
尚、当該オプションについての既定値化については検討させて頂きたいと思います。

------(参考：about-sx9コマンドより抜粋）-----
CMCでは、モジュールがSX8R用かSX9用かを確認するために Sxsymmapコマンドが提供されていますが、そこで以下のように 512Gレイアウトと表示されている場合は512GBメモリレイアウトとのことです。
　　　sxsymmap -f a.out ----　（コマンドの使用例）
SX-8：SUPER-UX executable (SX-8R) not stripped uses floating point
　　data 512G Layout large paging　（SX-8用のモジュールの場合）
SX-9：SUPER-UX executable (SX-9) not stripped uses floating point
　　data 512G Layout large paging 　(SX-9用のモジュールの場合）

クロス環境に関する注意など

■クロス環境について注意
【a】と【b, c, d】には明らかに差があり、sxmpif90 で「use mpi」モジュールをコンパイルするときなどに、ファイルが見つからないというエラーとなり、コンパイルできない場合があることがわかっています。
18日の作業時に環境を整える予定ですが、それまではエラーに遭遇したら fronta をお試しください。
それでも駄目な場合は、詳細をご連絡ください。

■sxc++ で #pragma cdir atomic 指示行を利用される方へ
sxc++でコンパイルしたときに、総和計算のループが並列化はされるがベクトル化されない、という問題がみつかっており、近日中に対処される予定です。利用される方はご注意ください。
なお、この現象の発見に貢献されたユーザは、PROGINF の O-Cache と CPU Port Conf. の値が SX-8 より増加するということで気がつかれました。

■SXLキューのエラプス時間にマージン時間の追加
詳細の説明は割愛しますが、最大5日間のSXLのキューに2時間のマージンを設定する予定です。
実質的には利用者への影響はありませんが、表示などが変更になったり、ジョブが予定より早く実行され戸惑われるかもしれませんのでお知らせいたします。
実施は、12月18日以降の予定です。（ジョブが予定より早く実行されるということは今でもあるので問題ないと認識しております）

■SX-9 実行の制限緩和
SX-9のサービスも開始して5か月がすぎました。
メモリは 64GB 以上、CPUは 9 以上という制限でサービスされてきましたが、制限を緩和していく予定です。
ご希望がありましたら、高性能計算機室までご連絡ください。

C++SXコンパイラのリビジョンアップのお知らせ

下記の時間帯は、C++SXによるコンパイル作業を行わないようにご注意ください。
実行に影響はありません

[日時]　11月5日（水）13時から14時
[内容]　　SX-8R 用 C++/SX コンパイラのバージョンアップ(Rev.074 -> Rev.083)
　　　　　　フロントエンド上のクロスコンパイラ、および SX-8R のセルフコンパイラの作業
　　　　　　 SX-9用は、すでに Rev.083 ですので、変更ありません。

その他、リビジョンアップの詳細は、CMCの以下のページに 掲載されていますのでご参照ください。
http://www.hpc.cmc.osaka-u.ac.jp/j/news/news20081030.html

SX8＆SX9用のコンパイラ＆ASLのバージョンアップのお知らせ

CMC利用者の皆様、
10月7日の午前中はコンパイル・リンク作業はしないようにご注意ください。

詳細は、以下をご参照ください
（ログイン時のお知らせにも表示されています）

----
　 SX-9用コンパイラのメモリ使用機能の強化を下記日程で実施いたします。
Fortran、C言語の両方に対応し、セルフコンパイラ、クロスコンパイラの両方が対応となります。
SX-9のプログラムは、本作業終了後に再コンパイルしてください。

　MPI、HPFについても機能強化作業を実施いたします。SX-8用Fortranコンパイラにおきましては OpenMP に関する不具合を修正する作業を実施いたします。
その他、SX-8R の ASL ライブラリで一部プログラムで発生していた不具合に対応した修正作業を実施いたします。

・作業日時日時　10月7日（火）
　　　 9時 〜12時 SX-8R, SX-9 用コンパイラ置換作業
　　　13時〜17時 ASL 置換作業
（注1）作業中は、SX-9用のコンパイラ及びASLライブラリを使ったコンパイル・リンク作業をしないでください。
（注2）コンパイラのバージョン情報は、about-sx9コマンドの最後に追加しました。
（注3）準備作業のため、frontdをログインからはずしています。

コンパイラのバージョン

(現) (新)
SX-8R FORTRAN90/SX Rev.344 -> Rev.345
C++/SX Rev.074 -> Rev.074 (１ファイルのみ修正の為)
ASL R22.0 -> R22.0.1
ASLSTAT R5.0 -> R5.0.1

SX-9 FORTRAN90/SX Rev.366 -> Rev.381
C++/SX Rev.081 -> Rev.083
MPI/SX Rev.7.2.3 -> Rev.7.2.4
HPF/SX Rev.2.5 -> Rev.2.5.1

古いshort領域が見えなくなります

2008年6月までのPhase1で利用していた、
古いshort領域は、8月31日にサービスを終了します。

現在、
/sc/ile/OLD_short/ile****
で見えている箇所です。

必要なファイルがまだ残っている場合は、それまでに、各自コピーして下さい。

9月1日の9時にこの領域はumountされます。

何かご不明な点などありましたら、ご連絡下さいませ。

SX9サービス開始しました

CMCシステムのサービスが再開し、SX9のサービスも開始されました。
（ジョブは順次、リスタートされております）

■short領域が新しいディスクになっています!!!
　 以前のshortは、7月末まで、 /sc/ile/OLD_short/ile**** 配下にありますので、
　 もし必要なファイルがある場合は、各自コピーなどしてください。（Read Onlyです）
ディスクの詳細は下記webをご覧ください。
http://www.ile.osaka-u.ac.jp/research/comp/cmc/SX8/sx8rdisk.html

■SX9ジョブクラスが開始されました
9CPU以上、64GBメモリ以上のジョブクラスです。
詳細については、下記webをご覧ください。
http://www.ile.osaka-u.ac.jp/research/comp/cmc/SX8/sx8rque.html

CMCのSX-9アナウンス
http://www.hpc.cmc.osaka-u.ac.jp/j/news/SX-9_20080630.pdf

SX9のnqsファイルの記述例は、下記のようになります。
#!/usr/bin/csh
#PBS -q SX9
#PBS -M メールアドレス
#PBS -l cpunum_job=16,elapstim_req=1:23:45,memsz_job=80GB
※CPU数を９以上、メモリを64GB以上に指定してください。

何かご不明な点や、気付かれた点がある場合は、ご連絡ください。

7月1日　SX9サービス開始について

7月1日の10時から、CMCのSX9のサービスが開始される予定です。

■注意（/sc/ile/short 新しくなります）
　　 既存のshortは7月末まで、/sc/ile/OLD_short/ileとして　Read Onlyで参照可能です

詳細は、
http://www.ile.osaka-u.ac.jp/research/cmp/cmc/
をご参照ください。

以下、CMCからのアナウンスです。
------
新スーパーコンピュータSX-9 のサービス開始について

大阪大学 情報推進部情報基盤課 研究系システム班
サイバーメディアセンター システム運用管理担当

　本センターが2007 年１月に導入したスーパーコンピュータシステムは、2008 年７月に中間バージョンアップ行う二段階調達方式をとっています。
この案内は、現在サービスしているSX-8R（20 ノード）に加えて、新規導入するSX-9（10 ノード）の紹介およびサービス開始にあたっての運用変更等についてのお知らせです。
案内が遅くなり申し訳ございませんが、一読いただき新システムをお試しくださいますようお願いします。

１． システムの性能について
SX-9 のCPU はプロセッサ当たり102.4GFLOPS の性能を持ち、各ノードには16 個のCPU を搭載、ノード毎の演算性能は1.6TFLOPS、主記憶容量は1TB を有します。
10 ノードの総合演算性能は16TFLOPS、総合メモリは10TB の大規模システムになり、MPI を用いた並列処理により最高で8 ノード（12.8TFLPS , 8TB メモリ）の演算が可能です。
また、ディスク装置を750TB 増設し、現在の250TB と合わせシステム全体で1PB の容量を実現します。

２． サービス開始にあたって
SX-9 のサービスは、７月１日（火）午前10 時からを予定しています。
SX-9 は、製品リリースからの期間が短く導入事例が少ない事もあり、サービスの安定化に多少の期間を有すると見込んでいます。
まずは、SX-8 では実行できない大規模ジョブのみを SX-9 で処理するような運用形態でサービスを開始したいと思いますので、
当初数ヵ月は評価期間とご理解ください。
なお、７月は試行サービス期間とし、７月中に実行したSX-9 のジョブは使用実績値をクリアいたします。

３） ジョブクラス
SX-9 でジョブを実行する専用のクラス”SX9”を新設し、SX-8 では実行できないCPU 数が９以上、メモリを64GB 以上
必要とするジョブのみ受け付けます。
（負担額が、50 万円以下の方はご利用頂けません）
なお、SX-8 のジョブクラスはSX-8 で実行することを明確にするため、”SX8F”と”SX8L”に名称を変更します。
現在のジョブクラス名”SXF”と”SXL”も当面は利用できますが、”SX8F”と”SX8L”のジョブクラス名を意識的に使うようにしてください。

４）コンパイラ
SX-9 で実行するプログラムについては、SX-9 用に再コンパイルする必要があり、今後 SX-8 用と使い分けてご利用ください。
また、SX-9 用のコンパイラは、front 端末のみでの提供となり、インタラクティブのセルフ環境は、SX-8 専用ですのでご注意ください。

・SX-9 用コンパイル・リンク方法：
sxf90, sxc++ コマンドに "-cfsx9" オプションを指定します。その他、従来のオプションが指定できます。
例） sxf90 -cfsx9 -Pauto -R5 test.f

・作成済みモジュールの確認方法：
sxsymmap コマンドにて、SX-8 , SX-9 いずれのバイナリーファイルかを確認できます。

例） sxsymmap -f a.out
SX-8：SUPER-UX executable (SX-8R) not stripped
　　　　　　　 uses floating point data 512G Layout large paging
SX-9：SUPER-UX executable (SX-9) not stripped
　　　　　　 　 uses floating point data 512G Layout large paging

【7/1サービス開始SX9】6/30サービス停止

CMC利用者の皆さんへ

CMCのログインメッセージにアナウンスされていますように、6/30　12時から、再びCMCの全サービス停止を行い、明日の10時からSX9も含めたサービス開始予定です。

詳細は、本日午後にアナウンス予定ですので、しばらくお待ちください。

----------CMCのログインメッセージより---------
＃＃　サービス停止とSX-9のサービス開始について　　＃＃ (2008.6.27)

新スーパーコンピュータSX-9のサービスは、7月1日（火）午前10時からを予定しています。
SX-9について詳しくは、本センターのホームページで紹介いたします。
7/1のサービス開始にともない、下記の期間計算機サービスを停止させていただきます。
ご案内が遅くなり、申し訳ありません。

・サービス停止日時　6/30（月）12時〜7/1日（火）午前10時
（注）SX-8、PCクラスタ、フロント端末の計算機サービス及び、パスワード変更サービスを停止いたします。