Twitter 推薦算法開源:揭開 For You 頁面背後的機器學習秘密

✏️ 原創內容| TechRitual 編輯部

想像一下,每天打開 Twitter(現稱 X),For You 頁面總是推送一堆你可能感興趣的推文,但你從來唔知背後點樣運作。呢個痛點終於有了解答:Twitter 公開咗佢哋嘅推薦算法源碼,透過 GitHub 上嘅 the-algorithm-ml 儲存庫,讓開發者同研究者深入了解呢個複雜系統。呢個開源項目主要面向 AI 工程師、資料科學家同社交媒體研究者,提供 Twitter 實際用嘅推薦邏輯,讓你唔單止睇到代碼,仲可以分析同改進自家嘅內容推薦機制。

非公開時間線生成器重構為 Rust 提升效能

Twitter 嘅推薦算法核心在於一個叫 Heavy Ranker 嘅模型,呢個部分原本係用 Scala 寫嘅,但團隊將非公開時間線生成器重構為 Rust 語言。呢個改變大幅提升咗效能,因為 Rust 喺記憶體安全同並發處理上表現出色。開發者打開儲存庫,就能見到呢啲模組點樣處理數以億計嘅推文候選,篩選出最適合用戶嘅內容。呢種重構唔單止加速咗推薦速度,仲減少咗伺服器負荷,對於高流量平台嚟講係關鍵改進。

GitHub - twitter/the-algorithm-ml: Source code for Twitter's Recommendation Algorithm · GitHub 介面截圖
GitHub – twitter/the-algorithm-ml: Source code for Twitter’s Recommendation Algorithm · GitHub 官方頁面截圖

喺實際運作中,呢個 Rust 模組負責初步排序推文候選池,將用戶互動歷史、內容相似度同即時趨勢納入考量。比起傳統語言,Rust 版本喺生產環境中表現更穩定,證明咗 Twitter 工程團隊對效能優化嘅執著。研究者可以 fork 呢個 repo,模擬自家數據集嚟測試改動效果。

即時混合公開同非公開推文產生 For You 時間線

算法嘅另一亮點係即時混合公開同非公開推文,生成個人化嘅 For You 時間線。系統會從用戶追蹤對象、非追蹤但相關帳戶,以及廣告推文等來源拉取候選,透過多層排名器評分。呢個流程確保咗時間線唔會太單一,同時注入新鮮內容,避免用戶陷入 echo chamber。開發者瀏覽代碼,就能追蹤呢個混合邏輯,從候選產生到最終渲染嘅每一步。

特別值得一提,呢個混合機制考慮咗負面反饋,例如用戶隱藏或舉報嘅推文,動態調整權重。Twitter 喺呢方面嘅實現,比起其他社交平台更細緻,讓推薦更貼合個人口味。

完整儲存庫包含歷史提交同許可證細節

儲存庫唔止有核心 ML 代碼,仲提供詳細嘅文件夾結構、最新 commit 歷史同多份許可證。用戶可以透過 Navigation Menu 快速導航到特定模組,例如 SimClusters(相似叢集)或 TwHIN(Twitter Heterogeneous Information Network),呢啲係用嚟捕捉用戶興趣同關係圖譜嘅關鍵組件。歷史記錄顯示咗算法迭代過程,讓研究者了解 Twitter 點樣應對流量高峰同演算法調整。

另外,儲存庫內建咗 Code of Conduct 同 Security Policy,確保開源社區安全參與。雖然冇明確支援平台,但代碼主要針對伺服器端部署,適合雲端環境如 AWS 或 GCP。對於想自建推薦系統嘅團隊,呢度係寶貴資源,可以直接參考生產級實現。

安全政策同資源連結方便開發者貢獻

Twitter 喺儲存庫入面設咗明確嘅安全政策,鼓勵用戶報告漏洞,仲有資源連結指向相關文件。呢啲設計讓開發者更容易貢獻改進,例如優化排名器或新增語言支援。雖然項目係 2023 年公開,但 commit 歷史顯示持續維護,證明 Twitter 對開源承諾。

總括嚟講,呢個開源算法唔單止解構咗 Twitter 推薦嘅黑盒子,仲為業界提供咗可複製嘅藍圖。無論你係想 debug 自家 app 定深入研究 ML 應用,都值得花時間探索。

產品名稱:the-algorithm-ml / Twitter Recommendation Algorithm
官方網站:https://github.com/twitter/the-algorithm-ml

想睇更深入嘅 AI 模型與工程科技報道?
前往 The Base Principle 繁體中文 AI 新聞 →
TechRitual 編輯
TechRitual 編輯
友情網站:日本語版 / TechNipponThe Base Principle(AI・工程)