区分的モデリング・ラボ

区分関数はシステム的な相転移をモデル化します。素な区間にわたる分析ルールを定義することで、不連続性に直面します。境界点での片側極限を評価することで、連続性が保たれるかが決定されます。

区分関数は、分岐点 c より前では1つの線形ルールを、後ろでは別のルールを使います — 最初は高く、あとで安くなるタクシーメーターのようなものです。2つの区分は c で値が一致するときだけ滑らかにつながります。つまり m1·c + b1 = m2·c + b2 のときにちょうど連続になります。そうでなければ結果に跳びが表示され、グラフは接合部で上か下へジャンプします。

現代のほとんどのニューラルネットワークの活性化関数 ReLU は、実は区分線形関数にすぎません。x が負のあいだは傾き 0、正になると傾き 1 で、分岐点 x = 0 でつながっています。そこでは連続ですが導関数を持ちません — 滑らかな曲線ではなく鋭い角です。こうしたユニットを何百万個も積み重ねても、ネットワーク全体はやはり1つの巨大な連続な区分線形関数を計算しているのです。