純粋なPV-DBOWモード（dm=0）は、高速でトレーニングが頻繁に行われ（特に短いドキュメントで）、スライドwindowをまったく使用しません。ドキュメントごとの各ベクトルは、ドキュメントの単語を直接予測できるようにトレーニングされているだけです。隣接する単語は何の違いもありません。
PV-DMモードに切り替えるか（dm=1）、またはインターリーブされたスキップグラム単語ベクトルトレーニングを追加する場合（dm=0, dbow_words=1）のみがwindow関係します。そして、ウィンドウはWord2Vecトレーニングと同じように処理されます。テキストの両端を通過する場合は、端を超えないように切り捨てられ、有効なウィンドウが片側に残る可能性があります。
したがって、テキスト「ABCD E」があり、awindowが2の場合、最初の単語「A」を予測するときに、右側の「B」と「C」のみが寄与します（左側に単語がないため）。2番目の単語「B」を予測する場合、左側の「A」と右側の「C」と「D」が寄与します。などなど。
追加のしわは、計算効率の高い方法で近くの単語のより強い重み付けを行うために、任意の1つのターゲット予測に使用される実際のウィンドウは、実際には1から構成window値までのランダムなサイズです。したがって、のwindow=2場合、半分の時間は実際には両側に1のウィンドウのみを使用し、残りの半分の時間は2のフルウィンドウを使用します（の場合window=5、予測の20％に有効値1を使用し、予測の20％に2を使用します。予測の20％、予測の20％に3、予測の20％に4、予測の20％に5）。これにより、すべての完全な計算コストを含めることなく、より近い単語に効果的に影響を与えることができます。毎回のウィンドウワードまたは追加の部分加重計算。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加