Keras / TensorFlow에서 RNN / LSTM 가중치를 시각화하는 방법은 무엇입니까?

소스 코드에서 검사 또는 비아 수 Keras / 잘 정의 된 순서 TF 빌드 RNN 가중치, layer.__dict__직접 - 다음 페치하는 데 사용되는 커널 당 및 당 게이트 가중치; 그런 다음 텐서의 모양이 주어지면 채널당 처리를 사용할 수 있습니다. 아래 코드 및 설명 은 Keras / TF RNN의 가능한 모든 경우 를 다루며 향후 API 변경 사항으로 쉽게 확장 할 수 있어야합니다.

RNN 그래디언트 시각화 및 RNN 정규화에 대한 응용 프로그램도 참조하십시오 . 이전 게시물과 달리 여기에 단순화 된 변형을 포함하지 않을 것입니다. 무게 추출 및 구성의 특성에 따라 여전히 다소 크고 복잡하기 때문입니다. 대신 저장소에서 관련 소스 코드를보기 만하면됩니다 (다음 섹션 참조).

코드 소스 : RNN (이 게시물에는 더 큰 이미지 포함), 내 저장소 참조; 다음이 포함됩니다.

• 활성화 시각화
• 가중치 시각화
• 활성화 그라디언트 시각화
• 가중치 그라디언트 시각화
• 모든 기능을 설명하는 독 스트링
• Eager, Graph, TF1, TF2 및 from keras&from tf.keras
• 예제에 표시된 것보다 더 큰 시각적 사용자 지정 가능성

시각화 방법 :

• 2D 히트 맵 : 게이트 별, 커널 별, 방향 별 가중치 분포 플롯; 커널과 숨겨진 관계를 명확하게 보여줍니다.
• 히스토그램 : 게이트 당, 커널 당, 방향 당 가중치 분포를 플롯합니다. 컨텍스트 정보가 손실 됨

EX 1 : uni-LSTM, 256 개 단위, 무게 - batch_shape = (16, 100, 20)(입력)
rnn_histogram(model, 'lstm', equate_axes=False, show_bias=False)
rnn_histogram(model, 'lstm', equate_axes=True, show_bias=False)
rnn_heatmap(model, 'lstm')

• 상단 플롯은 히스토그램 서브 플롯 그리드로, 커널 당 및 각 커널 내, 게이트 당 가중치 분포를 보여줍니다.
• 두 번째 플롯 세트 equate_axes=True는 커널과 게이트를 균등하게 비교하여 비교 품질을 개선하지만 잠재적으로 시각적 매력을 저하시킵니다.
• 마지막 플롯은 동일한 가중치의 히트 맵으로, 게이트 분리는 수직선으로 표시되고 바이어스 가중치도 포함됩니다.
• 히스토그램과 달리 히트 맵 은 채널 / 컨텍스트 정보를 보존합니다 . 입력에서 숨김으로, 숨김에서 숨김으로 변환 매트릭스를 명확하게 구분할 수 있습니다.
• Forget gate에서 최대 값이 집중되어 있음을 주목하십시오. 퀴즈로 Keras에서 (일반적으로) 바이어스 게이트는 모두 0으로 초기화됩니다. 단, 1로 초기화되는 Forget bias는 예외입니다.

EX 2: bi-CuDNNLSTM, 256 units, weights -- batch_shape = (16, 100, 16) (input)
rnn_histogram(model, 'bidir', equate_axes=2)
rnn_heatmap(model, 'bidir', norm=(-.8, .8))

• Bidirectional is supported by both; biases included in this example for histograms
• Note again the bias heatmaps; they no longer appear to reside in the same locality as in EX 1. Indeed, CuDNNLSTM (and CuDNNGRU) biases are defined and initialized differently - something that can't be inferred from histograms

EX 3: uni-CuDNNGRU, 64 units, weights gradients -- batch_shape = (16, 100, 16) (input)
rnn_heatmap(model, 'gru', mode='grads', input_data=x, labels=y, cmap=None, absolute_value=True)

• We may wish to visualize gradient intensity, which can be done via absolute_value=True and a greyscale colormap
• Gate separations are apparent even without explicit separating lines in this example:
  • New is the most active kernel gate (input-to-hidden), suggesting more error correction on permitting information flow
  • Reset is the least active recurrent gate (hidden-to-hidden), suggesting least error correction on memory-keeping

BONUS EX: LSTM NaN detection, 512 units, weights -- batch_shape = (16, 100, 16) (input)

• Both the heatmap and the histogram come with built-in NaN detection - kernel-, gate-, and direction-wise
• Heatmap will print NaNs to console, whereas histogram will mark them directly on the plot
• Both will set NaN values to zero before plotting; in example below, all related non-NaN weights were already zero