9月5日，天眼查App信息顯示，華為技術有限公司申請的「AI模型的運行方法、裝置、程序產品和存儲介質」專利已正式公布。該專利旨在優化人工智能模型在異構計算環境下的運行效率，減少因數據搬運導致的處理延遲。
根據專利摘要，該技術屬於機器學習領域，主要應用於包含處理器與計算卡協同工作的主機系統。在AI模型訓練或推理過程中，輸入數據通常分批處理。當系統處理第二組數據時，若其包含前一批數據中未出現的新數據，傳統架構需臨時從主機內存調取相關嵌入向量（Embedding Vector），這可能導致計算卡等待，影響整體效率。
華為此次公布的方案提出了一種前瞻性的数据預取機制。具體而言，主機的處理器會先分析相鄰兩組輸入數據的差異，識別出在第二數據組中出現但未存在於第一數據組中的「第一數據」。隨後，系統提前將這部分新增數據對應的嵌入向量預取至處理器本地的第一內存，並生成相應的向量信息。
關鍵在於，在計算卡處理第二組數據的同時，系統可根據預生成的向量信息，將所需嵌入向量從主機端的第一內存快速預取至計算卡自帶的第二內存中。這一操作實現了數據搬運與計算過程的並行化，有效避免了計算資源的空閒等待，顯著降低整體處理延遲。
