［活性化関数］PReLU／Parametric ReLU（Parametric Rectified Linear Unit）とは？：AI・機械学習の用語辞典

連載目次

用語解説

　AI／機械学習のニューラルネットワークにおけるParametric ReLU（Parametric Rectified Linear Unit：PReLU）とは、関数への入力値が0より下の場合には出力値が入力値をα倍した値（※αはパラメーターであり学習によって決まる）、入力値が0以上の場合には出力値が入力値と同じ値となる関数である。

　上記の内容はLeaky ReLUとほぼ同じ説明であるが、α倍の値が、Leaky ReLUでは手動で指定した固定値（基本的に0.01）であるのに対し、Parametric ReLUでは「Parametric（パラメーターの）」という言葉の通り、学習によって動的に決まるパラメーター値である点が異なる。つまりPReLUは、Leaky ReLUの拡張版である。

　また、Leaky ReLUと同様にReLUの拡張版でもある。ReLUでは入力値が0以下の場合は出力値が常に0だが、PReLUでは入力値が0より下の場合、出力値は学習によって動的に決まるパラメーターによって（基本的に）0より下の値を返す。

　Leaky ReLUとほぼ同じグラフになるが、図1では、ReLUとPReLUのグラフの違いを示している。なお、PReLUのグラフは、パラメーターであるαが0.01の場合の例である。この場合、オレンジ色（PReLU）の線の左側がわずかに下がっている点が、青色（ReLU）の線と異なる特徴だ。PReLUのグラフは基本的にこのような形になるはずだが、パラメーターの値は動的に決まるので、入力値xが0より下の範囲では、その線の傾き（＝α倍）は学習のたびに変化してくことになる。PReLUは、Leaky ReLUと同様の理由で、「dying ReLU」（死にかけているReLU）問題を解消する。dying ReLUとは、元々のReLUでは入力値が0以下では出力値が常に0となるので、勾配がなくなってしまい、場合によっては学習が進みにくくなる問題のことである。

図1　「PReLU」のグラフ

　現在のディープニューラルネットワークでは、隠れ層（中間層）の活性化関数としては、ReLUを使うのが一般的である。しかし、より良い結果を求めて、ReLU以外にもさまざまな代替の活性化関数が考案されてきている。（本稿で解説する）PReLUは、そのReLUそのものを拡張した活性化関数である。

　まずは、ReLUを試した後、より良い精度を求めてPReLUに置き換えて検証してみる、といった使い方が考えられる。2015年の論文「arXiv:1502.01852v1 [cs.CV]」や「arXiv:1502.01852 [cs.CV]」によると、画像分類タスクにおいてReLUよりも良い精度になったことが示されている。

　主要ライブラリでは、次の関数／クラスで定義されている（※Leaky ReLUと異なり、いずれもαの値を手動で指定する必要はない。初期値は指定することもできる）。

定義と数式

　冒頭では文章により説明したが、厳密に数式で表現すると次のようになる。

　αがパラメーターで、xが入力データ、f(α,x)が出力結果である。

　x < 0の場合は、f(α,x)＝α * xとなり（※αは学習により決まる）、
　x ≧ 0の場合は、f(α,x)＝xとなる。

　上記の数式の導関数（Derivative function：微分係数の関数）を求めると、次のようになる。

　PReLUはReLU関数と同様に、非連続な関数であり、数学的にはx＝0の地点では微分ができない。

　PReLUの導関数をニューラルネットワーク内で使うために、便宜的にx＝0を微分係数1の方に含めることにする。これにより、次のような導関数が求まる。

Pythonコード

　PReLUは学習用のパラメーターを含むので、単なるPythonコードを示すだけでは使い勝手が悪いだろう（※そもそも数式の直接的な実装は、Leaky ReLUと同じである）。そこで、TensorFlow／KerasとPyTorchの各ライブラリに搭載されているPReLUクラスを使用する簡単なコード例を示す。

TensorFlow／Kerasの場合

　TensorFlow／Kerasの場合、α値はPReLUオブジェクトのweightsプロパティにより取得できる。

PyTorchの場合

　PyTorchの場合、α値はPReLUオブジェクトのweight変数により取得できる。

「AI・機械学習の用語辞典」