隱語義模型(LMF)與矩陣分解(MF)

😄 MF的出現就是為了解決CF處理稀疏矩陣能力弱的問題，增強泛化能力。挖掘用戶和物品的隱含興趣和隱含特征。
? 在這里隱語義模型LMF在這里也就是利用MF對用戶評分矩陣分解出來的用戶隱向量矩陣、物品隱向量矩陣，然后基于這兩個矩陣就可以計算得分，完成推薦任務。
🚀 MF: 2006年，在一場叫 Netflix Prize 的比賽中被提出

文章目錄

• 1、隱語義模型 LMF
• 2、矩陣分解 MF
• • 2.1、MF原理
  • 2.2、MF算法
  • • 2.2.1、MF實現方法1 - Basic SVD
    • 2.2.2、MF實現方法2 - RSVD
  • 2.3、MF代碼實踐
  • 2.4、MF優點
  • 2.5、MF缺點
• Reference

1、隱語義模型 LMF

它的核心思想是通過隱含特征（latent factor）聯系用戶興趣和物品（item）， 基于用戶的行為找出潛在的主題和分類， 然后對item進行自動聚類，劃分到不同類別/主題(用戶的興趣)。

?舉個例子就懂了：

• 上面例子中的小清晰， 重口味， 優雅這些就可以看做是隱含特征， 而通過這個隱含特征就可以把用戶的興趣和音樂的進行一個分類， 其實就是找到了每個用戶每個音樂的一個隱向量表達形式
• 其實有點類似embedding的思想，這里相當于給每個用戶，每個物品構造了一個embedding。
• 但實際情況中，我們只有用戶評分矩陣，無上面的兩個用戶、物品矩陣。因為用戶很多、物品很多，沒法統一設定一些隱特征。且用戶評分矩陣很稀疏。
• MF的提出就是為了基于這個用戶評分矩陣，找出用戶和物品的矩陣。

2、矩陣分解 MF

2.1、MF原理

MF的提出就是為了基于這個用戶評分矩陣，找出用戶和物品的矩陣。也就是用戶興趣和物品的隱向量表達， 然后就把這個評分矩陣分解成Q和P兩個矩陣乘積的形式， 這時候就可以基于這兩個矩陣去預測某個用戶對某個物品的評分了。 然后基于這個評分去進行推薦。

2.2、MF算法

MF大家比較熟悉的應該是：特征值分解EVD，奇異值分解SVD，但這兩種MF在這里不適合。

• EVD： 要求分解的矩陣為方陣，顯然用戶評分矩陣不為方陣。
• SVD： 要求分解的矩陣為稠密的，顯然用戶評分矩陣很稀疏且很大。若要用SVD，必須處理缺失值，而補全缺失值的話，補的有可能不對，空間復雜度還高。加上SVD算法復雜度本來就高。

2.2.1、MF實現方法1 - Basic SVD

- 也就是Netflix Prize之后， Simon Funk公布了一個矩陣分解算法叫做Funk-SVD
- 思想：把求解上面兩個矩陣的參數問題轉換成一個最優化問題， 可以通過訓練集里面的觀察值利用最小化來學習用戶矩陣和物品矩陣。

? 有了目標函數， 那么我們就可以使用梯度下降算法來降低損失。

2.2.2、MF實現方法2 - RSVD

Basic SVD有個問題就是當參數很多的時候， 就是兩個矩陣很大的時候， 往往容易陷入過擬合的困境， 這時候， 就需要在目標函數上面加上正則化的損失， 就變成了RSVD。

2.3、MF代碼實踐

😄等我實踐了再更新吧：帶有正則項和偏置項的SVD實踐

2.4、MF優點

• 泛化能力強（即可能可以將兩個物品相似的信息推廣到其他物品的相似性上）。
• 一定程度上解決了稀疏問題（MF分解出了兩個稠密向量）。
• 空間復雜度低： 由于用戶和物品都用隱向量的形式存放， 少了用戶和物品相似度矩陣， 空間復雜度由O(n2)降到了O((n+m)*f)。
• 更好的擴展性和靈活性：矩陣分解的最終產物是用戶和物品隱向量， 這個深度學習的embedding思想不謀而合， 因此矩陣分解的結果非常便于與其他特征進行組合和拼接， 并可以與深度學習無縫結合。

2.5、MF缺點

• 矩陣分解算法依然是只用到了評分矩陣， 沒有考慮到用戶特征， 物品特征和上下文特征等。 所以后序LR，FM等能夠融合多種特征的模型出現了。

Reference

[1] Datawhale
[2] https://blog.csdn.net/weixin_43646592/article/details/128854424
[3] 王喆 - 《深度學習推薦系統》