強弱と高低

Python3をメインに

python sklearn MinMaxScalarの入力データを reshapeするときのエラー

以前みたいに入力に無頓着には済まされなくなった (224, ) みたいな形の入力を受け付けていた以前のヴァージョン(現在は0.20.3)とは異なり, ちゃんとエラーを吐くようになった. 例えば, ValueError: Expected 2D array, got 1D array instead: array=[1…

Xperia Ear Duoは安全に日常を送れるアイテム

Xperia Ear Duo とは 両耳セパレートタイプのBluetooth接続によるイヤホン.しかし,外部音響がもろに入ってくるので これは新しい.さながら,耳元にスピーカーがある感じ. www.sonymobile.co.jp Bluetooth接続とはいえ,専用のスマホアプリを通してしか接…

産総研スパコン ABCI でFTPクライアントを使う

SFTP使いたい! 研究をしているときでも,結果やデータの送受信をリモートとローカルで行いたいと思うことは当然ありますよね.ABCIのストレージとSFTPをしたいときにどうするか?を自分のためしたことを書きます. 環境 Windows10 home edition Ubuntu 18.0…

産総研スパコンAI橋渡しクラウド ABCIを使ってみた

ABCIとは 産業技術総合研究所と東工大が提供し始めたスパコンである. トップページの文言を引用すると, 次のとおり. AI橋渡しクラウド(AI Bridging Cloud Infrastructure、ABCI)は、国立研究開発法人 産業技術総合研究所が構築・運用する、世界最大規模…

Box Syncで同期フォルダを設定する場合

community.box.com ここを参考にすれば良いだけだった. パラメータを設定できるところがあってよかった. でもBox syncなんて使ってる人いるんか?

Keras2でカスタムレイヤー(自作の)の読み込みをする

Keras2でカスタムレイヤーを作った時 load_modelを単純にしようとすると,「そんなLayerは無い」と怒られる. load_modelの引数を追加する load_model(model_name, custom_objects={'AAA': AAA}) としてあげる. FAQ - Keras Documentation の Handling cust…

ファイルを列方向に結合するpasteコマンド

テキストファイルを列方向に結合できるコマンド. 実際に,2つの文章を比較するときに必要になるコマンド. 大変便利なコマンドを知ったので,書かざるを得なかった.知らなかった..... 参考URL pasteコマンドについて詳しくまとめました 【Linuxコマン…

2Lペットボトル水は送料込みでどこが最安値か知りたい

一人暮らしといえば 一人暮らしをしていると,水の問題は避けて通れません. 浄水器や,スーパーで採水する,を体験して一番自分の生活様式に 合致しているのが2Lペットボトル水だとわかった.そして気になるのが,値段である. 家まで届けてほしい わがまま…

matplotlibでROC曲線を描画する(3. ROC描画編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する. 1つの記事を大きくするするのは可読性が低くなるので分割する. 全体の流れ(今回は1) ROCやAUCを描画・計…

matplotlibでROC曲線を描画する(2. データ準備編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する. 1つの記事を大きくするするのは可読性が低くなるので分割する. 全体の流れ(今回は1) ROCやAUCを描画・計…

matplotlibでROC曲線を描画する(1. import編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する. 1つの記事を大きくするするのは可読性が低くなるので分割する. 全体の流れ(今回は1) ROCやAUCを描画・計…

銀行振り込み先を間違ってしまったときの組戻し 体験

発端 学会費納入をしようと銀行からゆうちょ銀行にネットバンク経由で振り込もうとしたら,口座番号が間違っていた.当座とか店番号は合っていたが,肝心の口座番号のうち1つの数字が異なっていた.間違った口座番号が誰かの口座番号だったことに驚いた. …

オンライン英会話を始めた

国際会議での辛酸を忘れないうちに,ということでオンライン英会話を始めました. なぜオンライン マンツーマンの英会話スクールは目が飛び出るくらいに高額だった.効果もあるのだろうが,次の比較項目と私情(こちらが大きい?)によりオンラインを選択. …

国際会議で口頭発表をする人のために

確認すべきこと 発表する国際会議の現地時間 発表時間と質問時間 セッション名 何時から口頭発表するのかや,発表していいのは何分間か? という情報が無いことにはスライドは作りようがありません. あとは質問時間.大体の国際会議は発表+Q&Aで25分とかで…

ハゲタカ出版社チェックはしておきましょう

ハゲタカ出版社 金を出してくれたら,論文誌に掲載してやるよという出版社. 論文誌や国際会議に優劣を付けてはいけないという善意に漬け込んだ悪い商売をしているようで, 何も知らない人からみたら,論文誌1件は1件なのだ. 研究者界隈から見たら,嘲笑…

pythonのzipの扱いは注意

事象 例えば, 下のようなプログラムがあったとしよう. ここで期待されるのは, i, jが標準出力されることである. for i, j in zip(list_A, list_B): print(i, j) しかし, なぜかi, jの中身がprintされない...なぜだ...となった. 原因 zipは短い方…

pycharmでGit Pushができなくなってしまったら, 設定を見直す

pycharmでGitを使ったPushができなくなってしまう現象 バージョンを上げたあたりから, GitでPushやPull等, リモートを通信する機能が すべて使えなくなってしまった. 解決するには設定を見直す Gitの設定で, SSH executable を Native から Built-in に…

matplotlibで目盛りと目盛線を消す方法

目盛りを消す -> 表示させない 位置指定ができる (略) plt.tick_params(labelbottom=False, labelleft=False, labelright=False, labeltop=False) 目盛線を消す (略) plt.tick_params(color='white') これは白にしたら見えないだろ,という戦法.本筋で…

Kerasでモデルのロードがしくってしまったら

エラー文 ValueError: Optimizer weight shape (1024,) not compatible with provided weight shape (165, 1024) (1024とかは埋め込み適当な数字なのであしからず.) モデルを読み込むときにエラーが出てしまう.... model.load()でエラーが出る.... …

mongodb で空のドキュメントを含むレコードを見つけるクエリ

MongoDB v3.4.5であるキーの中身が空のリストになっているレコードを見つけたい { _id: xxxxxxx, Nakami: [1,2,3], } { _id: xxxxxx1, Nakami: [] } こういった具合。ちなみにNakamiにはindexをふっていない前提。 さていくつか方法があるのでみていきたい。…

サーバーのディレクトリをマウントする

鯖のとあるディレクトリをマウントしたい(しかも手軽に) NASとかそういうの別にいいので,さっさと読み出し権限だけでいいから欲しい. という場合. 主に以下にあるわけですが,簡単に書くと, 別サーバのフォルダをマウントする|名古屋で働くエンジニア…

サーバーのディレクトリをマウントする

鯖のとあるディレクトリをマウントしたい(しかも手軽に) NASとかそういうの別にいいので,さっさと読み出し権限だけでいいから欲しい. という場合. 主に以下にあるわけですが,簡単に書くと, 別サーバのフォルダをマウントする|名古屋で働くエンジニア…

Python3 リストの中の要素を要素ごとにカウントする

問題 離散データが含まれているリストが与えられたとき, 最頻値を出してよ, とかヒストグラムもいいけど各年齢でどれくらいいるのか教えてよとか言われたりする. そのとき, カウンティング関数を実装する?しない?面倒だな, 何か使えないか. 解答 Python…

sklearn 0.18.1 でのKL-Divergence of two GMMs

KLダイバージェンスを2つのGMMで求めたいとき 過去に, python - KL-Divergence of two GMMs - Stack Overflow があった. そこから引用すると, def gmm_kl(gmm_p, gmm_q, n_samples=10**5): X = gmm_p.sample(n_samples) log_p_X, _ = gmm_p.score_samples…

Python3で素因数分解する

素因数分解をライブラリで行う from sympy.ntheory import factorint これが正体. 詳細は, Number Theory — SymPy 1.0 documentation . 動作例 In [1]: from sympy.ntheory import factorint In [2]: factorint(100) Out[2]: {2: 2, 5: 2} はい簡単. 実…

Kerasで学習したモデルを保存する OR モデルを再利用する

Keras @TF backendで構築したモデルを再利用したい ドキュメントにすべて書いてありますので堅い字面でも読める人は以下参照のこと. FAQ - Keras Documentation モデルの保存 (略) model.fit((略)) model.save('AAAA.h5') これでモデルがAAAA.h5という名前…

入れ子になったリストを作る方法

目的 入れ子になったリストを作る group = [[], [], [], ...., []] このようなリストで, 且つ任意の数だけ入れ子にさせる 方法 group = [[] for i in range(n)] >> [[], [], [],..., []] 補足 入れ子はnestedとかネストした, とか呼ばれる. むしろ, 「入れ…

ファイルのサイズを確認後, 空を削除する

流れ API等でファイルを取得 ファイルサイズを取得 空なら削除 ファイルサイズを取得 os.path.getsize(path) pathでファイル名も含めたPATHを与える ファイルを削除する os.remove(path) ファイル名を含めたPATHを与える

sklearn.manifold.tsneのメモリリークを回避するために(Anacondaのみ)

現象 大規模データでscikit-learnのmanifold.tsneを使うとメモリエラーを起こします。Pythonでメモリエラーか。 原因 mklのバグ、、、らしい。以前にscikit-learnにイシューが立っていたようだ。バージョンが上がった現在でも改善はされていない。このイシュ…

pandasで要素内に特定の文字列が含まれる行を抜き出したい

列Aに"美"が含まれる行を抜き出す index A ... 0 太郎 ... 1 真由美 ... 2 和則 ... 3 和美 ... 4 哲也 ... 5 司 ... というDataFrame(df)があったとする。 このとき、"美"という文字列を含む行だけ欲しいという場合にどうするか。 str.containsを使う df[df…