美國的工程師們研發出了一種新型的多層計算機芯片，該芯片採用獨特的架構，有望引領人工智能硬件和國內半導體創新的新時代。研究小組強調，在硬件測試和模擬中，這款新的 3D 芯片的性能比 2D 芯片高出約十倍。與當前大多數平坦的 2D 芯片不同，這款原型的關鍵超薄組件如同高樓大廈的樓層一樣垂直排列，垂直的布線如同眾多高速電梯，實現快速、大量數據的移動。
該芯片創紀錄的垂直連接密度以及精心交織的內存與計算單元的組合，有助於突破長期以來困擾平面設計的瓶頸。這為芯片生產和創新開啟了新時代。斯坦福大學電機工程威廉·E·艾爾教授和計算機科學教授 Subhasish Mitra 表示，這類突破是未來人工智能系統所需的 1,000 倍硬件性能提升的關鍵。雖然學術實驗室之前曾建造過實驗性 3D 芯片，但這是首次顯示出明確性能增益並在商業鑄造廠生產的芯片。
研究小組指出，傳統的 2D 芯片上，組件位於單一的平面表面，內存分佈有限，因此數據必須沿著少數幾條擁擠的長路徑傳輸。由於計算元素運行速度遠快於數據的移動，而且芯片無法在近距離存儲足夠的內存，系統最終會不斷等待信息。工程師們稱這一瓶頸為「內存牆」，即處理速度超過芯片交付數據的能力的那一點。
通過垂直整合內存和計算，我們可以更快地傳輸更多信息，就像高層建築中的電梯能讓許多居民同時在樓層之間移動一樣，卡內基梅隆大學電氣與計算機工程助理教授 Tathagata Srimani 說道。斯坦福大學、卡內基梅隆大學、賓夕法尼亞大學和麻省理工學院的工程師們與 SkyWater Technology 合作，開發了這款 3D 芯片。
初步硬件測試顯示，該原型已經比類似的 2D 芯片高出約四倍的性能。對未來更高版本的模擬顯示，擁有更多堆疊層的內存和計算可能帶來更大的增益。設計中增加的層數顯示，在真實的人工智能工作負載中，性能提升可達十二倍，包括源自 Meta 的開源 LLaMA 模型的負載。研究團隊還聲稱，這一設計為 100 倍至 1,000 倍的能源延遲產品（EDP）提升打開了一條現實的道路，這是一個平衡速度和能效的關鍵指標。
通過大幅縮短數據移動距離並增加更多的垂直通道，芯片可以實現更高的吞吐量和更低的每次操作能量，這種結合長期以來被認為是傳統平面架構無法達到的。賓夕法尼亞大學電氣與系統工程助理教授、該研究的共同作者 Robert M. Radway 表示，內存牆和微型化牆形成了一個致命的組合。我們正面迎戰，通過緊密整合內存和邏輯，然後以極高的密度向上構建。這就像計算的曼哈頓，我們可以在更小的空間內容納更多的人。
