［Python入門］pickleモジュールによるオブジェクトの直列化：Python入門（1/2 ページ）

　前回は、バイナリファイルの操作の基本と、structモジュールを使ってのオブジェクトのバイナリファイルへの読み書きについて見た。今回は、Pythonのオブジェクトをファイルに保存するために使えるpickleモジュールを紹介する。

オブジェクトの直列化

　本連載で使っているJupyter Notebookのような対話的環境では、ある程度の範囲のコードを実行しては、ダメなら前に戻ってコードを修正してもう一度実行ということがよくある。また、「今日はここまで」として環境を閉じて、翌日に続きから作業を行うこともあるだろう。

　例えば、pandasと呼ばれるデータ解析ライブラリでは、巨大なサイズのCSVファイルを読み込んで、それにさまざまな形で手を加えることがよくある。そうしたときには、CSVファイルを読み込んで、パースするだけでも時間がかかることがよくある。そうした場合には、CSVファイルを読み込んで、いろいろな操作を加えた時点で、それらを一度ファイルに保存しておくと、その後、それを読み込むだけで以前の作業結果を復元できる（以下の画像ではサンプルデータとして、多くのデータサイエンティストや機械学習エンジニアが集まるコミュニティーであるKaggleでCC0、パブリックドメインとして公開されているデータ「International football results from 1872 to 2019」を使用している）。

pandasでデータを読み込んで、操作したところでそれをファイルに保存しているところ

　このようなときには、それまでに作業した成果をファイルに保存しておいて、後で（または後日に）ファイルに保存しておいたものを取り出せると、以前の作業を無駄にすることなく、仕事を続けられる。

　あるいは、Pythonプログラムの実行中にプログラムの終了が命令されたときに、プログラムの動作に関わるデータや、ユーザーデータなどをファイルに保存すれば、プログラムの再起動時にそのデータを読み込むことで、以前の処理を続けられるようになる。

　このとき、ファイルとは「先頭から末尾までを順番にアクセスする」ものであることに注意しよう（現在、ファイルのどの位置をアクセスしているかは「ファイル位置」で示されることは第38回「ファイル操作の基本」で述べた）。つまり、ファイルとはPythonのシーケンスと同様、1つ1つのデータが連なった列のようなものだと考えられる。

　つまり、ファイルにデータを保存するには、Pythonのオブジェクトもそれに合わせて「列」状のデータにする必要がある。オブジェクトをそのように変換することを「直列化」と呼ぶ。直列化したデータはファイルに保存する以外にも、別のマシンに送信するといった利用法もある。

オブジェクトの直列化

　本稿では、Pythonでオブジェクトを直列化して、ファイルに保存したり、あるいは直列化されたデータから元のオブジェクトを復元したりするために使えるpickleモジュールを紹介しよう。

pickleモジュール

　pickleモジュールは、Pythonの各種オブジェクトを前回に見たバイト列（bytesオブジェクト）に変換したり、変換したバイト列をファイルに保存したりするために使える。あるいは、その逆にメモリ上のバイト列やファイルに保存されたバイト列からPythonオブジェクトを復元するためにも使える。

　pickleモジュールでは、Pythonのオブジェクトを直列化する（バイト列に変換してファイルに保存する）ことを「pickle化」「ピクル化」と呼び、直列化されたバイト列からPythonオブジェクトに復元することを「非pickle化」「非ピクル化」と呼ぶ。

　pickleモジュールを使うと、多くのPythonオブジェクトをpickle化、非pickle化できるが、あらゆるPythonオブジェクトでそれが可能なわけではないことには注意しよう。

ファイルやバイト列へのpickle化

　ファイルへのpickle化にはpickleモジュールのdump関数を、バイト列（bytesオブジェクト）へのpickle化にはdumps関数を使用する。以下にこれらの基本構文を示す。

　パラメーターobjにはpickle化したいオブジェクトを与える。dump関数のパラメーターfileには、前回に紹介した書き込み用にオープンしたバイナリファイルを与える。最後のパラメーターprotocolには0〜4のプロトコルバージョンを与える。省略した場合、デフォルトのプロトコルが使用される*1。

　プロトコルのバージョンを以下に示す。

　以下に使用例を示す。ここではプロトコルのバージョンを指定していないので、デフォルトのプロトコル（この環境では「3」）が使われる。

　これは、dump関数を使って、辞書を要素とするリストとその他のデータを順番に「mydata.pickle」ファイルへと書き出しているところだ。このようにプログラムの動作に必要と思われるデータは順番にdump関数を使って保存できる（その後、読み出すときには書き込んだ順番にそれらが取り出される。これについては後で見る）。

　pickle化により（Python 3では）オブジェクトはbytesオブジェクトに変換され、それらがファイルに書き込まれるので、書き込み先のファイルのオープンではパラメーターmodeに「'wb'」を指定しているのを忘れないようにしよう。

　実際には、どのようなbytesオブジェクトに変換されるのを、今度はdumps関数を使って確認してみよう。

　実行結果を以下に示す。

実行結果

　3つのバイト列が出力されているが、その中でも一番簡単そうな変数some_dataの値「100」をpickle化した結果である「b'\x80\x03Kd.'」について説明しておこう。最初の「\x80\x03」はこのデータがpickleのプロトコルバージョン3でpickle化されていることを表している。次の「K」はその直後にある「d」が「1バイトの符号なし整数」であることを意味する。そして「ord('d')」は「100」なので、これがbytesオブジェクトにpickle化される対象のデータそのものの値だ。最後の「.」はpickle化が完了したことを表す記号となる。

　詳しいことは知らなくても構わないが、何となくこんな感じでpickle化が行われていることは知っておこう。興味のある方はpickle.pyのソースコードなどを参照してほしい。

ファイルやバイト列からの非pickle化

　次にpickle化されたオブジェクトを非pickle化して、Pythonオブジェクトに復元してみよう。

　ファイルに格納されているpickle化されたbytesオブジェクトを復元するにはpickleモジュールのload関数を、メモリ上にpickle化されたbytesオブジェクトを復元するにはloads関数を使用する。これらの基本構文を以下に示す。

　先ほどの整数値「100」をpickle化した結果の説明で述べたように、pickle化されたデータにはどのプロトコルが使われているかが含められている。そのため、load／loads関数ではプロコトルバージョンの指定は不要だ。

　では、上でpickle化したデータをこれらの関数を使って復元してみよう。

　ファイルから非pickle化するときには、読み込むファイルはバイナリモードでオープンする必要があることには注意しよう。あとは、ファイルオブジェクトをpickleモジュールのload関数に渡せば、そこから順番にpickle化されたデータを取り出せる（ここでは、取り出したデータを「restored」を意味する「r」を前置した変数に代入している）。

　実行結果を以下に示す。復元できていることを確認しよう。

実行結果

　bytesオブジェクトから復元するときには、loads関数にpickle化により得られたbytesオブジェクトを渡すだけだ。

　結果は上と同様なので、ここでは省略する。