动态词向量预训练模型

现在比较流行的词向量学习方法有Word2Vec、GloVe等，并且把这些词向量作为一些下游任务的初始化可以提升模型的性能。但是一个词的向量表示，不应该是一成不变的，而应该根据它所处的“上下文环境”动态生成。 CoVe 在图像识别领域，研究者经常把ImageNet上预训练的CNN用于其他图像识别模型。

静态词向量预训练模型

静态词向量（Static Word Embeddings）预训练模型是自然语言处理（NLP）深度学习时代的早期基石。 静态：一个词在词表中对应一个固定不变的稠密向量，无论这个词出现在什么上下文中，它的向量表示都是完全相同的。 在深度学习爆发前，NLP 领域长久以来被“语义鸿沟”和“维度灾难”两座大山

注意力机制

什么是注意力机制 注意力机制（Attention Mchanism）：模仿了人类在处理信息时候的选择性关注能力，允许模型在处理输入数据时动态地调整其注意力权重，从而突出重要信息并忽略不重要的信息。 核心思想 它主要通过计算查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值