でこの記事私はReLUが唯一の隠された層に使用されるべきであることを読みました。なんでこんな感じなの？
回帰タスクのあるニューラルネットワークがあります。0から10までの数値を出力します。ReLUは0より小さい数値を返さないので、ここでは良い選択だと思いました。ここでの出力層に最適な活性化関数は何でしょうか。
通常、出力レイヤーには引き続きアクティブ化関数を使用できます。私は頻繁にシグモイド活性化関数を使用して出力を0-1の範囲で押しつぶしましたが、それは素晴らしい働きをしました。
ReLUを使用するときに考慮する必要がある理由の1つは、ReLUが死んだニューロンを生成する可能性があることです。つまり、特定の状況下では、ネットワークが更新されない領域を生成でき、出力は常に0になります。
基本的に、出力にReLUがある場合、勾配はまったくありません。詳細については、こちらを参照してください。 。
初期化の際に注意していると、なぜそれが機能しないのかわかりません。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加