未分類

pickleで、データを塩漬けにしてみる

mnistとかの膨大なデータを読み込んだ際に、pythonのpickleっていう機能を使えば便利。

大量のデータをpickleファイルで保存して、必要な時に瞬時に取り出せる。

では、やってみよう。

まず書き込みのためのpython3コードはこちら。

[py]
import numpy as np #乱数生成用。pickleだけなら要らない
import pickle

data001 = np.random.rand(5) #data001に乱数を5個入れる
with open('data.pkl', 'wb') as f: #dataをpklファイルで保存
    pickle.dump(data001, f)

[/py]

ちなみに変数data001の中には何が入っているのか確認してみる。

>>>data001
#array([ 0.76262918, 0.37437904, 0.66633502, 0.31200376, 0.14175648])

お次は保存したデータを取り出してみよう。
取り出したデータは、名前の違う変数data002へ入れる。

[py]

with open('data.pkl', 'rb') as f:
... data002 = pickle.load(f)

[/py]

取り出したデータを表示してみる。

>>>data002
#array([ 0.76262918, 0.37437904, 0.66633502, 0.31200376, 0.14175648])

これで読み込みの作業時間が短縮されますね。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です