ファイルのサイズを確認後, 空を削除する
流れ
- API等でファイルを取得
- ファイルサイズを取得
- 空なら削除
ファイルサイズを取得
os.path.getsize(path)
pathでファイル名も含めたPATHを与える
ファイルを削除する
os.remove(path)
ファイル名を含めたPATHを与える
sklearn.manifold.tsneのメモリリークを回避するために(Anacondaのみ)
現象
大規模データでscikit-learnのmanifold.tsneを使うとメモリエラーを起こします。Pythonでメモリエラーか。
原因
mklのバグ、、、らしい。以前にscikit-learnにイシューが立っていたようだ。バージョンが上がった現在でも改善はされていない。このイシューはPython2系時点だった。今回はPython3系なのでやはりバージョンも関係ない。
Python crashes when calculating large t-SNE · Issue #4619 · scikit-learn/scikit-learn · GitHub
対策(翻訳)
Anacondaのみだが
conda install nomkl
これで解決できる。これでintel-mkl ライブラリを使わないためメモリリークを起こさないようだ。
非Anacondaの場合はラッパーを利用することになる。
GitHub - danielfrg/tsne: A python wrapper for Barnes-Hut tsne
自分はAnacondaだったのでこっちは試していない。念の為。
pandasで要素内に特定の文字列が含まれる行を抜き出したい
列Aに"美"が含まれる行を抜き出す
index | A | ... |
---|---|---|
0 | 太郎 | ... |
1 | 真由美 | ... |
2 | 和則 | ... |
3 | 和美 | ... |
4 | 哲也 | ... |
5 | 司 | ... |
というDataFrame(df)があったとする。 このとき、"美"という文字列を含む行だけ欲しいという場合にどうするか。
str.containsを使う
df[df["A"].str.contains("美")]
これで
index | A | ... |
---|---|---|
1 | 真由美 | ... |
3 | 和美 | ... |
が返ってくる。 詳細はドキュメントで確認して欲しい。
pandasで条件にあった値を持つ行を削除する場合
列Aにあるnという値を持つ行を削除したい
df | A | B | C |
---|---|---|---|
0 | k | n | n |
1 | n | n | n |
2 | n | k | k |
... | ... | ... | ... |
1000 | n | m | m |
... | ... | ... | ... |
この1行目2行目に該当する行を削除したい時にどうするか。
もちろんこの簡単な例ではdf.drop([1,2,1000])
でいける?
まさかそんな話ではない。
方針
- Aにnという値を持つ行を削除する
- Aにn以外の値を持つ行を抽出する
方針1
正直わからんかった。df.drop()
はindexの値をリストとして与えればうまく削除できる。
ただ, df[df.A == n]
で得られたDataFrameからindexのリストを取得することはどこを見ても書いてなかったしそもそもできないのかもしれない。
過去にindexの値を取得するスクリプトを書いた気がするがそれはまた別の機会に。
方針2
df[df.A != n]
これでよい。削除する削除するという頭だとどうしてもdf[df.A == n]
をdropすることばかりに頭がいくが, 逆に考えてn以外の値を持つ行を抽出する。そう考える。
.vimrcをGitで管理するのはいいけれども
.vimrcをGitで管理したいのだけれど
/home/xxx/以下にそのままGitを置くわけじゃあるまいし, どうやるんだろうと思っていたら見つけた.
シンボリックリンクを貼ればいけるわけね〜
mkdir ~/dotfiles mv ~/.vimrc ~/dotfiles/_vimrc ln -s ~/dotfiles/_vimrc ~/.vimrc
matplotlib savefigをサーバーで行う場合
そのままサーバーでも画像出力させようとすると
Traceback ... ... RuntimeError: Invalid DISPLAY variable
うまくいかない
解決策
import matplotlib as mpl mpl.use('Agg')
これを追加する。見つかるドキュメントにはそれしか書いておらず「追加したのにうまくいかない」状況が起こりうる。
注意点
- 追加するのは,
import matplotlib.pyplot as plt
の前でなければならない - 追記するファイルは, savefigがあるファイルという訳ではなく, 実行するファイルである
これに気をつければ問題なく画像出力ができるはずである. PNGの他の場合も知りたいなんてときは以下に詳しくまとまっている,
matplotlibでOverflowError: In draw_path: Exceeded cell block limitというエラーが出る
引っかかったところ
matploblibで比較的大きなデータをプロットしようとしたとき, plt.savefig
をしようとして
OverflowError: In draw_path: Exceeded cell block limit
というエラーが出た.
解決策
結構簡単で,
import matplotlib as mpl mpl.rcParams['agg.path.chunksize'] = 100000
この文を加えるだけ. 100000という数字は大きければとりあえずOKなようだ.