単語ベクトルは、doc2vec DBOWの段落ベクトルとどのように共同トレーニングされますか?

アントワーヌ

DBOWモードのgensimのdoc2vecを使用したトレーニングプロセスで、単語ベクトルがどのように関与しているかがまったくわかりませんdm=0)。でデフォルトで無効になっていることを知っていますdbow_words=0しかしdbow_words、1に設定するとどうなりますか?

DBOWの私の理解では、コンテキストワードは段落ベクトルから直接予測されます。したがって、モデルのパラメーターは、N p次元の段落ベクトルと分類子のパラメーターのみです。

しかし、複数の情報源は、DBOWモードで単語とドキュメントのベクトルを共同トレーニングすることが可能であることを示唆しています。例えば:

それで、これはどのように行われますか?どんな説明でも大歓迎です!

注:DMの場合、段落ベクトルは、ターゲット単語を予測するために単語ベクトルと平均化/連結されます。その場合、単語ベクトルがドキュメントベクトルと同時にトレーニングされることは明らかです。そして、N*p + M*q + classifierパラメータがあります(ここMで、語彙サイズとq単語ベクトル空間は薄暗いです)。

ゴジョモ

を設定するdbow_words=1と、スキップグラムの単語ベクトルトレーニングがトレーニングループに追加され、通常のPV-DBOWトレーニングとインターリーブされます。

したがって、テキスト内の特定のターゲット単語について、最初に候補のdoc-vectorを使用して(単独で)その単語を予測しようとし、モデルとdoc-vectorに対してバックプロパゲーション調整を行います。次に、周囲の単語の束がそれぞれ1つずつスキップグラム形式で使用され、フォローアップの調整が行われた状態で、同じターゲット単語を予測しようとします。

次に、テキスト内の次のターゲット単語は、同じPV-DBOWにスキップグラム処理を加えたものになり、以下同様に続きます。

これのいくつかの論理的帰結として:

  • トレーニングは通常のPV-DBOWよりも時間がかかります-windowパラメータとほぼ同じ係数です

  • 単語ベクトルは全体として、ドキュメントベクトルよりも全体的なトレーニングの注目を集めることになりwindowます。これもパラメーターに等しい係数です。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

doc2vecモデル全体からの単語ベクトルと特定のドキュメントからの単語ベクトル

分類Dev

Doc2Vec文を段落ベクトルに結合する

分類Dev

doc2vecモデルで事前トレーニングされたword2vecベクトルを使用する方法は?

分類Dev

gensim 0.11.1のDoc2Vecからドキュメントベクトルを取得するにはどうすればよいですか?

分類Dev

段落/ doc2vecベクトルをクラスタリングする場合の適切な距離メトリックは何ですか?

分類Dev

doc2vecモデルを使用して、ドキュメントと比較した1つの単語またはいくつかの単語の類似性を計算するにはどうすればよいですか?

分類Dev

CBOWword2vecの特定の単語のベクトルとは何ですか?

分類Dev

事前にトレーニングされた単語ベクトルを使用してgensimword2vecモデルを作成するにはどうすればよいですか?

分類Dev

doc2vecの階層トレーニング:同じドキュメントの文に同じラベルを割り当てるとどのように機能しますか?

分類Dev

Word2Vecを使用して単一の単語の単一のベクトルを取得するにはどうすればよいですか?

分類Dev

Gensim Word2Vecは、事前にトレーニングされたモデルから単語ベクトルのマイナーセットを選択します

分類Dev

doc2vecモデルは、辞書にない単語に正確さを与えますか?

分類Dev

文の感情分析のためにkerasSequntialモデルでdoc2vecからの文ベクトルを使用する方法は?

分類Dev

word2vecベクトルから単語を取得する方法は?

分類Dev

事前にトレーニングされたモデルをgensimにロードし、それを使用してdoc2vecをトレーニングするにはどうすればよいですか?

分類Dev

gensim doc2vecは、事前にトレーニングされたモデルからより多くのドキュメントをトレーニングします

分類Dev

Doc2Vec:ラベルのテキストを取得します

分類Dev

word2vecで各トレーニング反復後にベクトルを取得するにはどうすればよいですか?

分類Dev

doc2vecの元のドキュメントに単語をさかのぼることは可能ですか?

分類Dev

word2vecの単語のベクトルは何を表していますか?

分類Dev

doc2Vecモデルをトレーニングするには、実際にどのくらいのデータが必要ですか?

分類Dev

Doc2Vecの最も類似したベクトルが入力ベクトルと一致しません

分類Dev

クラスタリングのためにDoc2Vecのドキュメント出力ベクトルを正規化しない理由はありますか?

分類Dev

Genisim doc2vec:短いドキュメントはどのように処理されますか?

分類Dev

wikicorpusでトレーニングされたdoc2vecモデルからの新しい文

分類Dev

Gensim Doc2vecモデル:事前にトレーニングされたdoc2vecモデルを使用して取得されたコーパスの類似性を計算する方法は?

分類Dev

複数のクラスでトレーニングするときにKerasでラベルIDを取得するにはどうすればよいですか?

分類Dev

事前にトレーニングされた単語の埋め込みを使用する-不明な/ OOVトークンのベクトルを作成する方法は?

分類Dev

Word2Vecは、どのようにして反意語がベクトル空間で遠く離れていることを保証しますか

Related 関連記事

  1. 1

    doc2vecモデル全体からの単語ベクトルと特定のドキュメントからの単語ベクトル

  2. 2

    Doc2Vec文を段落ベクトルに結合する

  3. 3

    doc2vecモデルで事前トレーニングされたword2vecベクトルを使用する方法は?

  4. 4

    gensim 0.11.1のDoc2Vecからドキュメントベクトルを取得するにはどうすればよいですか?

  5. 5

    段落/ doc2vecベクトルをクラスタリングする場合の適切な距離メトリックは何ですか?

  6. 6

    doc2vecモデルを使用して、ドキュメントと比較した1つの単語またはいくつかの単語の類似性を計算するにはどうすればよいですか?

  7. 7

    CBOWword2vecの特定の単語のベクトルとは何ですか?

  8. 8

    事前にトレーニングされた単語ベクトルを使用してgensimword2vecモデルを作成するにはどうすればよいですか?

  9. 9

    doc2vecの階層トレーニング:同じドキュメントの文に同じラベルを割り当てるとどのように機能しますか?

  10. 10

    Word2Vecを使用して単一の単語の単一のベクトルを取得するにはどうすればよいですか?

  11. 11

    Gensim Word2Vecは、事前にトレーニングされたモデルから単語ベクトルのマイナーセットを選択します

  12. 12

    doc2vecモデルは、辞書にない単語に正確さを与えますか?

  13. 13

    文の感情分析のためにkerasSequntialモデルでdoc2vecからの文ベクトルを使用する方法は?

  14. 14

    word2vecベクトルから単語を取得する方法は?

  15. 15

    事前にトレーニングされたモデルをgensimにロードし、それを使用してdoc2vecをトレーニングするにはどうすればよいですか?

  16. 16

    gensim doc2vecは、事前にトレーニングされたモデルからより多くのドキュメントをトレーニングします

  17. 17

    Doc2Vec:ラベルのテキストを取得します

  18. 18

    word2vecで各トレーニング反復後にベクトルを取得するにはどうすればよいですか?

  19. 19

    doc2vecの元のドキュメントに単語をさかのぼることは可能ですか?

  20. 20

    word2vecの単語のベクトルは何を表していますか?

  21. 21

    doc2Vecモデルをトレーニングするには、実際にどのくらいのデータが必要ですか?

  22. 22

    Doc2Vecの最も類似したベクトルが入力ベクトルと一致しません

  23. 23

    クラスタリングのためにDoc2Vecのドキュメント出力ベクトルを正規化しない理由はありますか?

  24. 24

    Genisim doc2vec:短いドキュメントはどのように処理されますか?

  25. 25

    wikicorpusでトレーニングされたdoc2vecモデルからの新しい文

  26. 26

    Gensim Doc2vecモデル:事前にトレーニングされたdoc2vecモデルを使用して取得されたコーパスの類似性を計算する方法は?

  27. 27

    複数のクラスでトレーニングするときにKerasでラベルIDを取得するにはどうすればよいですか?

  28. 28

    事前にトレーニングされた単語の埋め込みを使用する-不明な/ OOVトークンのベクトルを作成する方法は?

  29. 29

    Word2Vecは、どのようにして反意語がベクトル空間で遠く離れていることを保証しますか

ホットタグ

アーカイブ