強弱と高低

Python3をメインに

Keras2でカスタムレイヤー(自作の)の読み込みをする

Keras2でカスタムレイヤーを作った時

load_modelを単純にしようとすると,「そんなLayerは無い」と怒られる.

load_modelの引数を追加する

load_model(model_name, custom_objects={'AAA': AAA}) としてあげる.

FAQ - Keras DocumentationHandling custom layers (or other custom objects) in saved models に記載されている例のとおりにすると,

AttentionLayerを追加したとすると, load_model(model_name, custom_objects={'AttentionLayer': AttentionLayer}) としてあげるということ. 基本的に文字列を与える部分は, クラス名と同じになる.

ファイルを列方向に結合するpasteコマンド

テキストファイルを列方向に結合できるコマンド.
実際に,2つの文章を比較するときに必要になるコマンド.

大変便利なコマンドを知ったので,書かざるを得なかった.知らなかった.....

参考URL

pasteコマンドについて詳しくまとめました 【Linuxコマンド集】

pasteコマンドで横方向に複数ファイルを結合する | ITを使っていこう

pasteコマンド:複数のファイルを水平方向(横方向)に連結する - pwd-it:IT資格の勉強ブログ

2Lペットボトル水は送料込みでどこが最安値か知りたい

一人暮らしといえば

一人暮らしをしていると,水の問題は避けて通れません. 浄水器や,スーパーで採水する,を体験して一番自分の生活様式に 合致しているのが2Lペットボトル水だとわかった.そして気になるのが,値段である.

家まで届けてほしい

わがまま?いや,本音.毎日水を2本ずつドラッグストアで買う日々というのを1年やっていたが 重いし,営業時間が終わるころに帰宅する自分の生活とで耐えられなくなった. やはり週末家にいるときに宅配便で届けてほしいと感じるわけです.力にはある程度自身のあった自分でも 12キロをほぼ毎日両手に提げて,リュックを持って,,,はきつかった.

どこが安いのか

むしろこちらが聞きたい.タイトルで釣っているつもりは一切なく,純粋に聞きたい.

どこで宅配水を買ってきたか

自分が利用してきた宅配水(造語)は,ドラッグストアの配達,カクヤス,Amazonという遍歴がある.

  • ドラッグストアの配達:1本は安いが,送料が高い.結局1本あたり120円をこえてしまっていた.
  • カクヤス:カクヤスのPBの水は1本あたり90円以下で,5000円以上購入で送料無料!ただし,水の味が変...本当.
  • Amazon:現在購入している.プライム会員だし,定期お得便が使える.前は1本あたり80円くらいだったが,90円,100円と値上げの連続.そろそろ旨味がなくなってきた.

といったところ.どうしたものか.2L あたりが100円をきってくれると,助かる.

浄水器ではだめか?

維持管理が面倒.パッキンがカビた.フィルターがだめになったのに気づかずずっと飲んでお腹を壊した.ということがあったのでやめてしまった. まめなメンテナンスというのは得意じゃない.特に平日は朝は8時前に家を出て,帰宅が23時過ぎか終電前. 食器を洗って,キッチンをきれいにして寝る前に酒を一杯...という生活ではない.

新しい境地を所望している

自分で見つけられる宅配水は試してみた.もう残すは天啓のみ.なにかないですかね.

matplotlibでROC曲線を描画する(3. ROC描画編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する.

1つの記事を大きくするするのは可読性が低くなるので分割する.

全体の流れ(今回は1)

  1. ROCやAUCを描画・計算するためのライブラリをimport する
  2. ROCを描画できるようにデータを用意する
  3. matplotlibでROC曲線を描画する

1,2,3のサンプルコードは次の通り

github.com

イメージは次の通り

from sklearn.metrics import roc_curve <--(1で説明済)
from sklearn.metrics import auc <--(1で説明済)

y_true = [用意してあげる]  <--(2で説明済)
y_score = [用意してあげる] <--(2で説明済)

fpr, tpr, th = roc_curve(y_true, y_score) <--(1で説明済)
auc_value = auc(fpr, tpr) <--(1で説明済)

描画()<--(今回はここを説明する)

コード

github.com

詳細はコードの中に書きました

こういう共有方法の方がコピーしやすいし, こちらも作成しやすいし, Win-winってやつではないでしょうか?


なぜこのエントリを書いたかというと, 自分が欲しいと思うエントリがなかったからです.

ROC Pythonで検索したときにmatplotlibによるplotの部分は記述されているものの, 何を引数として与えたらいいのか, roc_curveに入力するarrayを作るところが一番むずかしい,,,,という問題点を解決するのが最も役に立つROC曲線を描くエントリだと思うわけです.

matplotlibでROC曲線を描画する(2. データ準備編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する.

1つの記事を大きくするするのは可読性が低くなるので分割する.

全体の流れ(今回は1)

  1. ROCやAUCを描画・計算するためのライブラリをimport する
  2. ROCを描画できるようにデータを用意する
  3. matplotlibでROC曲線を描画する

1,2のサンプルコードは次の通り

github.com

イメージは次の通り

from sklearn.metrics import roc_curve <--(1で説明済)
from sklearn.metrics import auc <--(1で説明済)

y_true = [用意してあげる]  <--(今回はここを説明する)
y_score = [用意してあげる] <--(今回はここを説明する)

fpr, tpr, th = roc_curve(y_true, y_score) <--(1で説明済)
auc_value = auc(fpr, tpr) <--(1で説明済)

(描画:3で説明する)

用意するデータとは

y_trueとy_scoreはそれぞれ,次に例を挙げる.

y_true y_score
0 1.0
0 1.5
0 1.3
.. ...
1 1.6
1 1.9
1 2.2
1 0.3

これを見てわかるように, y_trueはラベルであり, y_score は何らかのスコアを表している. y_scoreは対数尤度であったり, 再構成誤差であったり,確率であったりと様々だ.

用意するデータの形

y_true, y_scoreはそれぞれドキュメントで

array, shape = [n_samples]

と型と大きさを教えてくれている.ここでは, array型であり, 大きさは[サンプル数]分用意してくれ,とのこと.

前の例だと,行数を長さn_sampleをすると,

y_true y_score
0 1.0
0 1.5
0 1.3
.. ...
1 1.6
1 1.9
1 2.2
1 0.3

y_true.shape  = (n_sample, )   
y_score.shape = (n_sample, )

となる. ゴールとなるのは,

y_true = np.array([ ...., ..., ...., ])
y_score = np.array([..., ..., ...,   )

サンプルコードをみていただけるとわかると思うが,

ROCで評価しようとするときに, 最初からy_trueの形で得られるわけではない. ラベルごとに分けて計算しているケースが多いだろう.

zero_samples = np.array((.......))
one_samples = np.array((.......))

def calc_score(i_data);
    return hoge_scoring(data)

_y_zero_score = np.asarray([calc_score(i) for i in zero_samples])
_y_one_score = np.asarray([calc_score(i) for i in one_samples])

こんな感じでラベル毎にスコアを計算することになると思う. これを連結しなければy_scoreになりえないので, 連結作業を行う. ここが一番こけやすい.

np.concatenate([_y_zero_score, _y_one_score], axis=0)

np.concatenate()を使って,連結する.

np.concatenate([連結したいもの, 連結したいもの, 連結したいもの, ....], axis=[0か1]) のように使う. これを使って,y_scoreを用意しよう.

次はy_trueはラベルの情報で, 最初に用意していない場合はある. そのときは,

_zero = np.zeros(_y_zero_score.shape[0])
_one = np.ones(_y_one_score.shape[0])

を使ってあげる.これを,np.concatenateを使って連結する.結合するラベルの順番(ゼロ,イチの順番で結合するのか, イチ,ゼロの順番で結合するのか)に注意する.

以上により, データ準備が終わった.


はてぶにコードをベタ打ちして書くより,jupyter notebookにたくさん書くほうがよさそうに思えてきた.実行結果が見える形のほうがわかりやすいだろうし.

matplotlibでROC曲線を描画する(1. import編)

ROC曲線をpython3で描画したいと思ったときに,用意すればいいもの,コード,を説明する.今回は何をimport し, これの入力はなにか,を説明する.

1つの記事を大きくするするのは可読性が低くなるので分割する.

全体の流れ(今回は1)

  1. ROCやAUCを描画・計算するためのライブラリをimport する
  2. ROCを描画できるようにデータを用意する
  3. matplotlibでROC曲線を描画する

コードサンプルは次の通り

github.com

処理のイメージは次の通り

from sklearn.metrics import roc_curve
from sklearn.metrics import auc

y_true = [用意してあげる] (ここは2で説明する)
y_score = [用意してあげる] (ここは2で説明する)

fpr, tpr, th = roc_curve(y_true, y_score)
auc_value = auc(fpr, tpr)

(描画:3で説明する)

ROC曲線描画・AUC計算に必要なライブラリをimport する

2つのライブラリをimport する

from sklearn.metrics import roc_curve
from sklearn.metrics import auc

ROC曲線を描画するライブラリのページを見ると,

sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)

とある.重要なのは, y_truey_score の2つで, ドキュメントには次のような説明がある.

y_true : array, shape = [n_samples]

  True binary labels in range {0, 1} or {-1, 1}. If labels are not binary, pos_label should be explicitly given.

y_score : array, shape = [n_samples]

  Target scores, can either be probability estimates of the positive class, confidence values, or non-thresholded measure of decisions (as returned by “decision_function” on some classifiers).

つまり, y_true は(0,1)の二値ラベル, もしくは(-1, 1)のarrayである.
y_scorey_true に対応した何らかのスコア.これは連続値でOK.

データ準備編で詳細は述べるが, イメージとしては

y_true y_score
0 1.0
0 1.5
0 1.3
.. ...
1 1.6
1 1.9
1 2.2
1 0.3

この関数の返り値は

fpr : array, shape = [>2] <-- False Positive Rate

tpr : array, shape = [>2] <-- True Positive Rate

thresholds : array, shape = [n_thresholds] <-- 閾値

次のauc計算は, ドキュメントのページによると

sklearn.metrics.auc(x, y, reorder=False)

とあり, x,yはそれぞれ

x : array, shape = [n]

    x coordinates.

y : array, shape = [n]

    y coordinates.

これは難しくなく, 何らかの2つの行列をいれればいいんだな~ということがわかる.ROC曲線を描画するときは, 上で説明したroc_curve の返り値をそれぞれxに False positive rate fprを, yにTrue positive rate tprを入力とする.

この関数の返り値は,

Returns: 
auc : float <-- float型のAUC値が1つだけ

float型のAUC値が1つだけ返ってくる. 1つのROC曲線に対して1つのAUC値が返ってくる.

今回のことからわかること

y_true, y_score を用意してあげて,import した roc_curve の入力とする. すると, fpr, tprが返ってくる.

このfpr, tprを入力として, import したauc()にいれてやるとauc値が出てくる.

流れを再掲する.

from sklearn.metrics import roc_curve
from sklearn.metrics import auc

y_true = [用意してあげる]
y_score = [用意してあげる]

fpr, tpr, th = roc_curve(y_true, y_score)
auc_value = auc(fpr, tpr)

必要なデータを用意すれば,ROC曲線を描画するための素となるfpr, tpr, aucを計算することは容易だ.

銀行振り込み先を間違ってしまったときの組戻し 体験

発端

学会費納入をしようと銀行からゆうちょ銀行にネットバンク経由で振り込もうとしたら,口座番号が間違っていた.当座とか店番号は合っていたが,肝心の口座番号のうち1つの数字が異なっていた.間違った口座番号が誰かの口座番号だったことに驚いた.

間違いから1日経過

振込先を間違えたときに取り消すことを,組戻しと呼ぶというのをGoogle検索により知った.そしてネットバンクの「組戻し」はこちら,という電話にかけた.

電話では, - いつの振込か - 誰にあてた振込か - それは間違いなのか を聞かれた.そして,最後に組戻し手数料として,864円とられるが同意するか?と聞かれ承諾した.

その後,組戻しを行うには双方での合意がなければいけないということを説明される.つまり,間違って振り込まれた側がお金を返します,と同意する必要がある.いや,返さないと言われた民事訴訟で解決してくださいと.そのため,今回手数料を口座から引き落としますが,これは返金を確約するものではない,と口酸っぱく言われた.

承諾して電話は終わった.

間違いから21日経過

突然電話がかかってくる.組戻しを依頼する先の金融機関から,特例として双方の合意が無くても,組戻しができるかもしれないと上司にかけあってみますと連絡がくる.感謝の気持ちでいっぱいだ.

それに伴い,証明とする書類を用意してほしいと言われる.郵送するから,記入して返送してくれとのこと.

用意するした書類

  • 正しい振込先が記載されている文書(請求書)
  • 組戻し申請書(間違った振込先や正しい振込先,日時)
  • 正しい振込先に振り込んだ証明書(こちらはできれば欲しいと言われたので,ちゃんと振り込んだ)
  • 身分証明書(保険証の写し)

これらを用意し, 封筒に入っていた返信用封筒に入れて投函.

間違いから60日経過

未だ返答は無い.なにかあったらまたアップデートしたいと思う.