NLP如何加快寻找相似度最高的单词？

比如我现在用COS相似度来计算2个单词的相似度，但是我输入一个单词后，需要和所有词库里的单词都比较一遍，那就很费时间，请问这个问题，是怎么解决的呢？

举报该问题

第1个回答 2020-04-14

Udueurueuueueu

相似回答

比较句子相似度方法答：估计两句子间语义相似度最简单的方法就是求句子中所有单词词嵌入的平均值，然后计算两句子词嵌入之间的余弦相似性。很显然，这种简单的基准方法会带来很多变数。我们将研究，如果忽略终止词并用TF-IDF计算平均权重会带来怎样的影响。替代上述基准方法的其中一种有趣方法就是词移距离（Word Mover’s Distance...

NLP中的Attention机制答：attention计算主要分为三步: 第一步，是将Query和每个Key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；第二步，一般是使用一个softmax函数对这些权重进行归一化；最后，将权重和相应的键值Value进行加权求和得到最后的attention。目前在NLP研究中，key和value常常都是...

NLP基础知识和综述答：*d * 和 w 都是在给定 *z * 的前提下通过条件概率生成出来的,它们的生成方式是相似的,因此是 ‘‘对称’’的;在后一个式子里,首先给定 d ,然后根据 P ( z | d ) 生成可能的话题 z ,然后再根据 P (w| z ) 生成可能的单词 w,由于在这个式子里面单词和文档的生成并不相似, 所以是 ‘‘非对称’...

AI干货分享:PaddlePaddle官方九大NLP模型盘点答：语义匹配是一种用来衡量文本相似度的NLP任务。很多NLP的任务可以转化为语义匹配问题。比如搜索可以认为是查询词与文档之间的语义匹配问题,对话系统、智能客服可以认为是问题和回答之间的语义匹配问题。PaddlePaddle官方提供了两种语义匹配相关的模型:DAM和AnyQ-SimNet。深度注意力匹配网络DAM(DeepAttentionMatchingNetwork)DAM是...

20-余弦相似度及其R实现答：在文本处理中，要使用余弦相似度算法，首先得将文本向量化，将词用“词向量”的方式表示可谓是将 Deep Learning 算法引入 NLP 领域的一个核心技术。自然语言处理转化为机器学习问题的第一步都是通过一种方法将这些文本数学化。其思路如下：举例：句子A：这只皮靴号码大了。那只号码合适。句子B...

BERT词嵌入与文本相似度对比(附代码)答：NLP模型（例如LSTM或CNN）需要以向量形式输入，这通常意味着将诸如词汇和语音部分之类的特征转换为数字表示。过去，单词被表示为唯一索引值（one-hot编码），或者更有用地表示为神经词嵌入，其中词汇词与诸如Word2Vec或Fasttext之类的模型生成的固定长度特征嵌入相匹配。 BERT提供了优于Word2Vec之类的模型的...

几种常见的Graph Embedding方法答：一阶相似度：直接相连节点间，例如6与7。定义节点vi和vj间的联合概率为 v代表节点，u代表节点的embedding。上面式子的意思是两节点越相似，内积越大，sigmoid映射后的值越大，也就是这两节点相连的权重越大，也就是这两个节点间出现的概率越大？？？。二阶相似度：通过其他中介节点相连的节点间例如5...

问答系统介绍答：给定文章、问题和一个候选答案集(一般是实体或者单词),从候选答案中选一个score最高的作为答案。这种形式比较像选择题型,已经基本上没人做了。 (2)抽取式 QA 让用户输入若干篇非结构化文本及若干个问题,机器自动在阅读理解的基础上,在文本中自动寻找答案来回答用户的问题。抽取式 QA 的某个问题的答案肯定出现在...

大家正在搜

这样的那样的类似的英文单词相似的单词相似的英文单词最高的英语单词最高的英语单词怎么写高的单词怎么读更高的英文单词好看的英文单词三个字母的单词

1到50用英语怎么写

英语怎么考级？

英语有分为几个等级？

生活中的英语

英语的作用是什么？

英语有几种

美语与英语的区别？

中国英语怎么说