第3章 word2vec

“没有判断依据，就不要去推理。”

——阿瑟·柯南·道尔 《波希米亚丑闻》（收录于《冒险史》）

接着上一章，本章的主题仍是单词的分布式表示。在上一章中，我们使用基于计数的方法得到了单词的分布式表示。本章我们将讨论该方法的替代方法，即基于推理的方法。

顾名思义，基于推理的方法使用了推理机制。当然，这里的推理机制用的是神经网络。本章，著名的word2vec将会登场。我们将花很多时间考察word2vec的结构，并通过代码实现来加深对它的理解。

本章的目标是实现一个简单的word2vec。这个简单的word2vec会优先考虑易理解性，从而牺牲一定的处理效率。因此，我们不会用它来处理大规模数据集，但用它处理小数据集毫无问题。下一章我们会对这个简单的word2vec进行改进，从而完成一个“真正的”word2vec。现在，让我们一起进入基于推理的方法和word2vec的世界吧！