強弱と高低

Python3をメインに

産総研スパコンAI橋渡しクラウド ABCIを使ってみた

ABCIとは

産業技術総合研究所東工大が提供し始めたスパコンである.
トップページの文言を引用すると, 次のとおり.

AI橋渡しクラウド(AI Bridging Cloud Infrastructure、ABCI)は、国立研究開発法人 産業技術総合研究所が構築・運用する、世界最大規模の人工知能処理向け計算インフラストラクチャです。2018年8月に本格運用開始しました。

https://abci.ai/ja/
橋渡しクラウド.... うん,そういう名前もアリだね,うん.

率直にいって

想像してたよりずっと使いやすい. 一番は,対話型のシェルが起動できることだろう. だいたいは, シェルスクリプトを投げて,実行を待つという,いわゆるバッチキュー型が多いと聞く. もちろんABCIでバッチキュー型も使えるが, 対話型のシェルが起動できるのもありがたい.

どう使うのか

次のような手順.とても簡単.

  1. インタラクティブノードへログイン
  2. (対話型なら)計算ノードへログイン
  3. 実行!

事務手続きについては省くとして, まずはインタラクティブノードへログインする. ここはいくら滞在していても無料. ただし,ここで計算を回すとBANになりそう(当然).

そして, 計算ノードへログインする. そして,スクリプトなりを実行する. とても使いやすい.

開発環境についても, インタラクティブノードで構築した環境を 対話型ノードへ引き継げる ので対話型ノードへログインしてすぐに使える.

もちろん, 「インタラクティブ実行型ジョブサービス」というのが, 対話型シェルであり, 「バッチ実行型ジョブサービス」というのがシェルスクリプトを投げて計算する方法である.

ストレージは?

各アカウントのホームディレクトリには, おおよそ200GB 割り当てられており, そこにデータは無理にしてもコードは置くことができる. チームのディレクトリを1TB単位で借りることができるので, それを主に利用することになりそうだ. チームのディレクトリへシンボリックリンクをはれば何も気にせずTB単位のストレージにアクセスできる.

計算ノードの使い勝手

インタラクティブノードへログインしてから, 更にこの計算ノードへログインする必要がある. 気になるのは, 対話型ノードで計算を開始したとき途中で離脱するにはどうするか?だ. 今のところインタラクティブノードでtmuxを起動して, そこから計算ノードへログインしている.

課金は,計算ノードへログインしている時間でとられるよりも, 計算を実行している間だけとられるようだ. ちなみに ls するだけでも1円とられた(汗). lsって高い....

ログインするには?

ユーザーガイドを参照するのが最善だが.... 次のようなssh-configが存在することを前提とします. また,公開鍵の登録を事務的にしておかなければログインできないのであしからず. 公開鍵の登録については,公開できるドキュメントが無いので,利用開始後に送付される 手続きを参考にしてください.

Host abci
   HostName localhost
   User <your_user_name>
   Port 10022

Host abci_forward
   HostName as.abci.ai
   User <your_user_name>
   LocalForward 10022 es:22

事前にポートフォワーディングする

ポートフォワーディングをするためだけにターミナルを1つ立てておく.

ssh -L 10022:es:22 -l aaa10285cd as.abci.ai

ログインする

localhostの10022ポートにアクセスするように設定してやることで,ログインする.

ssh -p 10022 -l aaa10285cd localhost

おわりに

使い方がきになったら, ドキュメントを参照しましょう. dockerとか使えていいですね. python環境がインタラクティブノードと計算ノードで同じなのも良い点. バッチは使ってないので知らない.使ってみたら更新してみようかな.

portal.abci.ai