ChatGPT 可以通過法律和商業研究生考試,但高級流程問題還「不可以」

有很多人擔心OpenAI的ChatGPT會幫助學生在考試中作弊,但如果你讓它寫一份研究生水平的考試,這個聊天機器人的表現會如何?它會通過的–如果只是通過的話。在一項新發表的研究中,明尼蘇達大學的法學教授們讓ChatGPT為他們學校的四門課程的研究生考試提供答案。

人工智能通過了所有四門課程,但平均成績為C+。在最近的另一篇論文中,沃頓商學院教授克里斯蒂安-特維什(Christian Terwiesch)發現,ChatGPT以B到B-的成績通過了一次商業管理考試。那麼,你不會想用這種技術來打動學術界。

研究小組發現人工智能並不穩定,可以說是很溫和。明尼蘇達大學的研究小組指出,ChatGPT擅長處理”基本法律規則”和總結學說,但在試圖確定與案件有關的問題時卻陷入困境。 Terwiesch說,該生成器在處理簡單的運營管理和流程分析問題時”令人驚訝”,但無法處理高級流程問題。它甚至在處理六年級水平的數學問題時也會出錯。

還有改進的餘地。明尼蘇達州的教授們說,他們沒有根據具體課程或問題調整文本生成器的提示,並認為學生可以通過定制獲得更好的結果。在沃頓商學院,Terwiesch說,機器人善於根據人類的指導來改變答案。

ChatGPT本身可能無法在考試或論文中取得好成績,但作弊者可以讓系統生成粗略的答案並對其進行完善。
兩個陣營都警告說,學校應該限制技術的使用,以防止基於ChatGPT的作弊。他們還建議改變問題,以阻止人工智能的使用(如專注於分析而不是背誦規則),或增加對那些倚重人工智能的人的挑戰。明尼蘇達大學說,學生仍然需要學習”基本技能”,而不是依靠機器人的幫助。

這些研究小組仍然認為ChatGPT可以在課堂上佔有一席之地。教授可以教學生如何在工作場所依賴人工智能,甚至用它來編寫和評分考試。 Terwiesch解釋說,這項技術最終可以節省時間,這些時間可以花在學生身上,比如更多的學生會議和新的課程材料。

此文章發佈於 TechRitual 香港