OpenAI 未來計劃 2023-2024

Humanloop CEO Raza Habib 早前與 Sam Altman 和其他 20位開發人員坐下來,討論 OpenAI 的 API 和他們的產品計劃,以下是該討論的翻譯內容及主要的關鍵點:

目前 OpenAI 嚴重欠缺 GPU

在整個討論中,一個常見的主題是,目前 OpenAI 極度欠缺 GPU,這已經推遲了他們許多短期計劃。最大的客戶抱怨是關於 API 的可靠性和速度。Sam 承認了他們的擔憂,並解釋說,大部分問題是由於 GPU 短缺引起的。

支援更長的 32k token 還不能推廣。因為OpenAI 尚未克服O(n^2)的關注度規模,因此雖然他們可能很快就會有 100k – 1M 個 token (今年),但任何更大的窗口都需要一個研究突破。微調 api 也被 GPU 用量性限制。他們尚未使用如 Adapters 或 LoRa 等高效的微調方法,因此微調運行和管理都非常耗費計算資源。未來會有更好的微調支持。他們甚至可能主辦一個由社區貢獻模型的市場。

OpenAI的短期路線圖

2023年:

更便宜、更快的 GPT-4

這是他們的首要任務。總體來說,OpenAI的目標是將 “智能的成本” 降低到最低,因此他們將努力繼續降低 API 的成本。

更大的 token

在不久的將來,高達一百萬個 tokens的上下文窗口是可能的。

微調API

微調API將擴展到最新的模型,但其具體形式將由開發人員表明他們真正想要的。

有狀態的API(A stateful API)

當你今天調用聊天API時,你必須反覆傳遞同樣的對話歷史並再次支付相同的tokens費用。未來的API版本將記住對話歷史。

2024年:

多模態性

這是作為GPT-4發佈的一部分進行演示的,但無法在更多的GPU上線後擴展到所有人。

Plugin 沒有實現 PMF,可能不會很快出現在 API 上

許多開發人員對通過 API 在外部調用 ChatGPT Plugin 感興趣,但 Sam 說他認為他們不會很快發佈這一功能。就 Plugin 目前的使用情況,除了 browsing 功能之外,其他的使用情況表明它們還沒有達到 PMF。他說很多人以為他們想要的是應用程式在 ChatGPT 內被使用,但實際上人們真正想要的是他們自己的應用程式中有 ChatGPT 的能力。

OpenAI會避免與他們的客戶競爭 – 除了ChatGPT

很多開發者表示,他們擔心使用 OpenAI 的 API 構建應用,因為OpenAI可能發佈與他們競爭的產品的時候。Sam 說,OpenAI 不會發佈除了 ChatGPT 以外的更多產品。他說,一個偉大的平台公司會有一個殺手級應用,而 ChatGPT 將允許他們通過成為自己產品的客戶來提高API的質量。ChatGPT的 願景是成為工作中的超級智能助手,但 OpenAI 不會觸及到更多其他 GPT 的使用。

需要監管,但也需要開源

儘管Sam正在呼籲對未來模型進行監管,但他不認為現有模型是危險的,認為對它們進行監管或禁止是一個大錯誤。他重申了他對開源的重要性,並表示OpenAI正在考慮開源GPT-3。他們尚未開源的部分原因是他對有多少個人和公司有能力託管和提供大模型表示懷疑。

縮放法則(Scaling laws)仍然有效

最近有許多文章聲稱“大模型的時代已經結束”。這並不準確地反映了原意。

OpenAI的內部數據表明,模型性能的縮放法則仍然有效,使模型變大將繼續產生性能。縮放率的確不能維持,因為OpenAI在短短幾年內已經將模型擴大了數百萬倍,未來繼續這樣做是不可持續的。這並不意味着OpenAI不會繼續嘗試使模型變大,只是意味着他們可能每年只會增加一倍或兩倍,而不是增加許多個數量級。

縮放繼續有效的事實對AGI開發時間線有重要影響。縮放假設是我們可能已經擁有構建AGI所需的大部分部件,而剩下的大部分工作將是將現有方法擴大到更大的模型和更大的數據集。如果縮放的時代結束了,我們可能應該預期AGI還有很長的路要走。縮放法則繼續有效強烈地表明了實現AGI的時間線較短。

結尾

從Sam Altman透露的這些計劃來說,對於AI創業者應該是個好消息,OpenAI是有邊界的,而且Sam也承認根據市場實際表現來看,Plugin也並沒有實現之前很多人預期的那樣,讓ChatGPT成為一個超級入口+平台。更多人還是想要在自己的應用中去加入並使用大模型的AI能力,並且Sam也明確表示了OpenAI是有邊界的,同時受限於GPU,今年內多模態也不會上線。

Sourcehumanloop