사전 훈련 된 단어 임베딩에 대해 RNN을 훈련 시키려고합니다. 이러한 사전 학습 된 임베딩이 행렬 E에 유지되어 LookupTable을 초기화하는 데 사용할 수 있다고 가정합니다.
lookupTable = nn.LookupTable(n_words, d)
lookupTable.weight = E
훈련 중에 이러한 임베딩을 고정 상태로 유지하도록 모델을 강제 할 수있는 방법은 무엇입니까?
아마도 두 가지 가능성이 있습니다.
이 레이어의 가중치가 각 미니 배치 반복에서 1로 유지되도록합니다.
가중치가 업데이트되지 않도록 nn.LookupTable을 확장하고 updateOutput을 재정 의하여 사용자 고유의 조회 테이블을 구현하십시오.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다