动态词向量预训练模型

现在比较流行的词向量学习方法有Word2Vec、GloVe等，并且把这些词向量作为一些下游任务的初始化可以提升模型的性能。但是一个词的向量表示，不应该是一成不变的，而应该根据它所处的“上下文环境”动态生成。 CoVe 在图像识别领域，研究者经常把ImageNet上预训练的CNN用于其他图像识别模型。

静态词向量预训练模型

静态词向量（Static Word Embeddings）预训练模型是自然语言处理（NLP）深度学习时代的早期基石。 静态：一个词在词表中对应一个固定不变的稠密向量，无论这个词出现在什么上下文中，它的向量表示都是完全相同的。 在深度学习爆发前，NLP 领域长久以来被“语义鸿沟”和“维度灾难”两座大山