Doc2Vecの最も類似したベクトルが入力ベクトルと一致しません

約40000レコードの求人情報のデータセットがあります。辞書に約30000のスキルを持つNERを使用して、説明からスキルを抽出しました。すべてのスキルは、一意の識別子として表されます。

投稿のスキル番号の分布は次のようになります。

平均15.12 | std 11.22 | 最小1.00 | 25％7.00 | 50％13.00 | 75％20.00 |

スキルIDのみを使用してword2vecモデルをトレーニングしましたが、多かれ少なかれうまく機能します。特定のスキルに最も類似したスキルを見つけることができ、結果は問題ないように見えます。

しかし、doc2vecモデルに関しては、私は結果に満足していません。

私は約3200のユニークな役職を持っていますが、それらのほとんどにはエントリがほとんどなく、同じ分野（「フロントエンド開発者」、「シニアJavaScript開発者」、「フロントエンドエンジニア」）からのものがかなりあります。doc2vec.TaggedDocument（）でタグとして使用するさまざまな役職を意図的に探しました。私の目標は、スキルのベクトルをdocvecs.most_similar（）に入力したときに、関連するいくつかの役職を確認することです。

モデルをトレーニングした後（さまざまなエポック数（100,500,1000）とベクトルサイズ（40と100）を試しました）、正しく機能する場合もありますが、ほとんどの場合は機能しません。たとえば、[numpy、postgresql、pandas、xgboost、python、pytorch]のようなスキルセットの場合、[家庭裁判所、演技、アドバイス、ソーシャルワーク]のようなスキルセットで最も類似した役職になります。

データセットのサイズに問題がありますか？またはドキュメントのサイズ（私は短いテキストがあると思います）？また、doc2vecメカニズムについて何か誤解していて、無視していると思います。また、スキルセットから関連する役職を取得し、2つのスキルセットベクトルが近いか遠いかを比較する方法について、他の、おそらくより高度なアイデアを知っているかどうかを尋ねたいと思います。

UPD：

私のデータの役職は「タグ」であり、スキルは「単語」です。各テキストには1つのタグがあります。3200の繰り返しタグを持つ40000のドキュメントがあります。7881の一意のスキルIDがドキュメントに表示されます。ドキュメントあたりのスキルワードの平均数は15です。

私のデータ例：

         job_titles                                             skills
1  business manager                 12 13 873 4811 482 2384 48 293 48
2    java developer      48 2838 291 37 484 192 92 485 17 23 299 23...
3    data scientist      383 48 587 475 2394 5716 293 585 1923 494 3

私のコードの例：

def tagged_document(df):
    #tagging documents
    for index, row in df.iterrows():
        yield gensim.models.doc2vec.TaggedDocument(row['skills'].split(), [row['job_title']])


data_for_training = list(tagged_document(job_data[['job_titles', 'skills']])

model_d2v = gensim.models.doc2vec.Doc2Vec(vector_size=50, min_count=2, epochs=100)

model_d2v.train(data_for_training, total_examples=model_d2v.corpus_count, epochs=model_d2v.epochs)

#the skill set contains close skills which represent a front end developer
skillset_ids = '12 34 556 453 1934'.split()                                                  
new_vector = model_d2v.infer_vector(skillset_ids, epochs=100)
model_d2v.docvecs.most_similar(positive=[new_vector], topn=30)

最近実験を行っていますが、スキルが10未満のドキュメントを除外すると、パフォーマンスが少し向上することに気付きました。それでも、いくつかの無関係な役職が出てきています。