word2vec有什么用

word2vec本質上來說就是一個矩陣分解的模型，簡單地說，矩陣刻畫了每個詞和其上下文的詞的集合的相關情況。對這個矩陣進行分解，只取每個詞對應在隱含空間的向量。

所以word2vec適合的情況就是對于一個序列的數據，在序列局部數據間存在著很強的關聯。典型的就是文本的序列了，鄰近的詞之間關聯很強，甚至可以通過一個詞的上下文大概預測出中間那個詞是什么。學習到的詞向量代表了詞的語義，可以用來做分類、聚類、也可以做詞的相似度計算。此外，Word2vec本身的層次分類器或者采樣方式實際上對熱門item做了很大的懲罰，所以不會像一般的矩陣分解一樣，最后算出來語義接近的都是熱門詞，這也是word2vec很好的一個特性。

對于短文本分類，直接把文檔里面所有的word對應的向量線性相加，作為文本的特征訓練分類器，效果也很不錯。這種方式其實在word2vec的訓練過程中也有使用。另外如果換成非線性分類器，比如rbf kernel SVM，分類準確度還能再高，這個也是符合預期的。

其他序列的數據也是可以這樣做的，記得去年KDD上有一篇DeepWalk的文章，在社交網絡上進行隨機游走生成一組組節點的序列，然后通過word2vec訓練每個節點對應的向量。但是我用這個方法在qq的社交網絡上面做了一些實驗，發現效果非常不理想，可能和qq社交網絡的復雜性有關。

我非常滿意的一個應用是把word2vec應用在用戶app下載序列上，根據用戶下載app的順序，把app看做單詞，也是可以形成這樣的序列數據，進而訓練處每個app對應的向量。利用這個向量計算app之間的相似度，效果非常好，能夠把真正內容相關的app聚合在一起，同事規避熱門app的影響。類似的場景應該還有很多，而且應用也很廣泛，比如說推薦系統、廣告系統都可以用上。