预测句子中的遗漏单词

安德鲁·伯吉斯(Andrew Burgess)

如何预测句子中缺少的单词?

我见过许多有关使用n语法语言模型预测句子中下一个单词的论文,该模型具有来自一组训练数据的频率分布。但是我想预测一个不一定在句子结尾的单词缺失。例如:

我带着___散步。

我似乎找不到任何利用空格后的单词的算法;我想我可以忽略它们,但是它们必须增加一些价值。当然,bi / trigram模型无法预测前两个单词。

我应该使用哪种算法/模式?还是在空格后面使用单词没有优势?

爱德华·彼得斯

因此,当我使用二元组/三元组时,示例查询通常看起来像“预测'Would you ____'中的遗漏单词”。然后,我将遍历我的训练数据,并收集与该模式匹配的所有三个单词集,并计算空白处的内容。因此,如果我的训练数据如下所示:

would you not do that
would you kindly pull that lever
would you kindly push that button
could you kindly pull that lever

我会得到两个“善意”的计数,一个代表“不”的计数,并且我预测“善意”。您为问题所要做的全部事情就是在另一个地方考虑​​空格:“ ____您好”将为“ would”获得两个计数,为“ could”获得一个计数,因此您可以预测为“ would”。就计算机而言,“命令”一词没有什么特别的-您可以从训练数据中描述所需的任何模式。那有意义吗?

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章