最初の層のニューロンの重みが変わらなくても大丈夫ですか？
私はTensorflowのMNISTネットワークに参加しており、「推論」関数で次のようなニューロンの重みを取得しようとしました。
def inference(images, hidden1_units, hidden2_units):
weights = []
# Hidden 1
with tf.name_scope('hidden1'):
weights.append(tf.Variable( tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS)))))
biases = tf.Variable(tf.zeros([hidden1_units]))
hidden1 = tf.nn.relu(tf.matmul(images, weights[0]) + biases)
# Hidden 2
with tf.name_scope('hidden2'):
weights.append(tf.Variable(tf.truncated_normal([hidden1_units, hidden2_units],stddev=1.0 / math.sqrt(float(hidden1_units)))))
biases = tf.Variable(tf.zeros([hidden2_units]))
hidden2 = tf.nn.relu(tf.matmul(hidden1, weights[1]) + biases)
# Linear
with tf.name_scope('softmax_linear'):
weights.append(tf.Variable(tf.truncated_normal([hidden2_units, NUM_CLASSES],stddev=1.0 / math.sqrt(float(hidden2_units)))))
biases = tf.Variable(tf.zeros([NUM_CLASSES]))
logits = tf.matmul(hidden2, weights[2]) + biases
return weights, logits
ウェイトの配列を配置する配列を作成します。
私はこのように配列を印刷します：
print_weights(sess.run(poids))
ここで、print_weightsは
def print_weights(poids):
for i in range(len(poids)):
print('-- + str(i) + ' --')
print(poids[i])
ここまでは大丈夫です。しかし、最初と最後に重みを表示し、最初の層のニューロンの重みは変更されていません。
BEGINNING
-- 0 --
[[ 0.03137168 0.03483023]
[ 0.01353009 0.00035462]
[ 0.02957422 -0.01347954]
...,
[-0.04083598 0.02377481]
[-0.05120984 0.00143244]
[-0.01799158 -0.02219945]]
-- 1 --
[[ 0.68714064]
[ 0.30847442]]
-- 2 --
[[ 0.87441564 0.09957008 -0.58042473 1.34084558 -0.46372819 -0.19947429
-1.46314788 -0.59285629 0.72775543 -0.69785988]]
END
-- 0 --
[[ 0.03137168 0.03483023]
[ 0.01353009 0.00035462]
[ 0.02957422 -0.01347954]
...,
[-0.04083598 0.02377481]
[-0.05120984 0.00143244]
[-0.01799158 -0.02219945]]
-- 1 --
[[-1.16852498]
[-0.27643263]]
-- 2 --
[[ 0.98213464 0.12448452 -0.36638314 0.47689819 -0.42525211 -0.13292283
-1.29118276 -0.49366322 0.74673325 -0.57575113]]
ご覧のとおり、秒と3分の1の重みの配列は変化しますが、最初の重みは変化しません。理由はわかりません...誰かが私を助けてくれませんか？ありがとう！
私はあなたのコードをトレーニングハーネスに包み、問題なく実行しました。
ここでの問題はあなたのコードではなく、結果の解釈だと思います。Numpyは、最初のカップルと最後のカップルの要素を表示することにより、表示した方法で大きな配列を要約します。（poidsリストの要素はnp.array'sです。）
あなたが見ているのは、最初のカップルと最後のカップルの重み要素が変化していないということですが、あなたの結論は、マトリックス全体が変化していないということです—しかし、それはそうです！
代わりに、これを要約方法として使用してみてください（いくつかの要素ではなく、平均と標準偏差を出力します）。
def print_weights(poids):
for i in range(len(poids)):
print('-- ' + str(i) + ' --')
print(np.mean(poids[i]),np.std(poids[i]))
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加