強弱と高低

Python3をメインに

pythonのzipの扱いは注意

事象

例えば, 下のようなプログラムがあったとしよう. ここで期待されるのは, i, jが標準出力されることである.

for i, j in zip(list_A, list_B):
    print(i, j)

しかし, なぜかi, jの中身がprintされない...なぜだ...となった.

原因

zipは短い方のリストに合わせてしまうため, 片方が空リスト[]だと, forが初手でループを終えてしまい, for以下が実行されない.

for i, j in zip(list_A, []):
    print(i, j)

こうなってしまっているとき, zipはlist_Aがどれだけ長かろうが空リストの数しかイテレーションをしない. つまり, forが回らない.

空リストを渡さなければ良いわけだが, 空リストを与える可能性は少なからず存在し, 例えば境界条件を与えるときとかの挙動を見るときなど. こういうときに見落としがちになる.

対策

  1. lenによる判定を追加する
  2. from itertools import zip_longest を使う

len によるリストの長さ判定

これは言わずもがなである. 空じゃなければ, for文を回せば良い.

itertoolsのzip_longest を使う

ただのzip は, 短い方に合わせてしまう

A = [1, 2, 3, 4, 5]
B = [6, 7, 8]
zip(A, B) --> zip([1, 2, 3], [6, 7, 8]) 短いリストBの長さ3に合わせてしまう ※書き方は正しくないけれど,こういうこと

しかし, zip_longestは, 長い方のリストに合わせ, 足りない分はNone で埋めてくれる.

pycharmでGit Pushができなくなってしまったら, 設定を見直す

pycharmでGitを使ったPushができなくなってしまう現象

バージョンを上げたあたりから, GitでPushやPull等, リモートを通信する機能が すべて使えなくなってしまった.

解決するには設定を見直す

Gitの設定で, SSH executableNative から Built-in に変える. f:id:Accent:20180515085507p:plain

pycharm のNativeでは鍵の置き場とか何も指定していないので認証エラーがでてしまうのでしょう.

Kerasでモデルのロードがしくってしまったら

エラー文

ValueError: Optimizer weight shape (1024,) not compatible with provided weight shape (165, 1024)

(1024とかは埋め込み適当な数字なのであしからず.)

モデルを読み込むときにエラーが出てしまう.... model.load()でエラーが出る.... といったところ.

モデルの再利用ができないと先に進めないこともあるので困ってしまう.

解決

Can't load_model with error “Optimizer weight shape (256, 32) not compatible with provided weight shape (4,)” · Issue #4044 · fchollet/keras · GitHub

Saving multi-branch model : Unable to create group (Name already exists) · Issue #3974 · fchollet/keras · GitHub

load_model fails to load optimizer · Issue #3964 · fchollet/keras · GitHub

ソースは↑.的外れな解決法があったりするので注意が必要だが,概ねバージョンの問題. 要するに pip install -U Keras で解決してしまう.

Kerasのバージョンが違う場合に読み込みエラーが出るのかと思っていたら,そうでもないようだ.現状版 2.0.8では解決されている.自身のKerasバージョンをチェックすべし.

pip freeze or conda list 等で調べてみよう. 2.0.02.0.2のあたりだったら最新版にアップデートしないとダメ.

mongodb で空のドキュメントを含むレコードを見つけるクエリ

MongoDB v3.4.5であるキーの中身が空のリストになっているレコードを見つけたい

{ _id: xxxxxxx,
  Nakami: [1,2,3],
}

{ _id: xxxxxx1,
  Nakami: []
}

こういった具合。ちなみにNakamiにはindexをふっていない前提。

さていくつか方法があるのでみていきたい。 実行時間が速い順に並んでいる。

TEMP.find( { Nakami: { $size: 0} } )
TEMP.find( { Nakami: []} )
TEM.find( { $where : "thie.Nakami.length == 0" } )

最後の $whereを使うのはだいぶ効率が悪い。今は $sizeを使うのがいいだろう。

参考ページ

mongodb - Query for documents where array size is greater than 1 - Stack Overflow

Find MongoDB records where array field is not empty (using Mongoose) - Stack Overflow

サーバーのディレクトリをマウントする

鯖のとあるディレクトリをマウントしたい(しかも手軽に)

NASとかそういうの別にいいので,さっさと読み出し権限だけでいいから欲しい.

という場合.

主に以下にあるわけですが,簡単に書くと, 別サーバのフォルダをマウントする|名古屋で働くエンジニアの覚書

mount -t nfs [IP address]:[マウントしたいディレクトリ] [マウントする手元のディレクトリ]

となって,つまり

mount -t nfs 192.168.0.XXX:/nas1/mydata /mnt/nas1/mydata

といったところだ. マウント先のディレクトリは作っておかないと上手くいかないので注意.

サーバーのディレクトリをマウントする

鯖のとあるディレクトリをマウントしたい(しかも手軽に)

NASとかそういうの別にいいので,さっさと読み出し権限だけでいいから欲しい.

という場合.

主に以下にあるわけですが,簡単に書くと, 別サーバのフォルダをマウントする|名古屋で働くエンジニアの覚書

mount -t nfs [IP address]:[マウントしたいディレクトリ] [マウントする手元のディレクトリ]

となって,つまり

mount -t nfs 192.168.0.XXX:/nas1/mydata /mnt/nas1/mydata

といったところだ. マウント先のディレクトリは作っておかないと上手くいかないので注意.