每經(jīng)編輯 程鵬 蓋源源    

ChatGPT，還可以信任嗎？

據(jù)央視新聞5月29日報道，近日，美國一名律師在一起訴訟案件中，幫原告打官司時，引用了ChatGPT搜集的6個案例，而法官卻發(fā)現(xiàn)那些信息全是子虛烏有。律師承認(rèn)自己沒有核實(shí)信息并為此道歉，眼下面臨處罰。

讓ChatGPT協(xié)助辦案 美國30年資深律師被坑

據(jù)新華社援引美國有線電視新聞網(wǎng)28日報道，男乘客羅伯托·馬塔對哥倫比亞航空公司提起訴訟，稱自己2019年搭乘該公司航班飛往紐約市途中，乘務(wù)人員疏忽導(dǎo)致他膝蓋被客艙內(nèi)推車撞傷。

馬塔的代理律師是已有30多年從業(yè)經(jīng)歷的紐約市律師史蒂文·施瓦茨。為支持馬塔訴求，施瓦茨向法官凱文·卡斯特爾提交了多個所謂類似案例及其判決結(jié)果。

今年4月，哥倫比亞航空公司的律師致信法官，質(zhì)疑施瓦茨所提交案例信息的真實(shí)性。據(jù)美國《紐約時報》報道，律師之一巴爾特·巴尼諾說，他的律所律師精通航空法律，看出那些信息不實(shí)。他說，他們當(dāng)時隱約感覺那些信息來自ChatGPT。

法官卡斯特爾本月4日在一份書面文件中寫道，那6個案例的判決結(jié)果、引語等都是假的，“法庭從未遇到過這種情況”。他下令6月8日就處罰施瓦茨舉行聽證會。

施瓦茨承認(rèn)那6個案例為ChatGPT提供。法庭文件顯示，他看到這些案例信息后追問ChatGPT信息是否屬實(shí)，機(jī)器人稱“千真萬確”，還給出了所謂的信息出處。

施瓦茨說，他這是第一次用ChatGPT協(xié)助辦案，“沒有意識到內(nèi)容偽造的可能性”。

他在書面文件中“深表懊悔”，愿意承擔(dān)相關(guān)責(zé)任，承諾今后“沒有完全核實(shí)”就不會使用聊天機(jī)器人提供的信息。

研究發(fā)現(xiàn)ChatGPT并非可靠信源?

值得一提的是，今年3月14日，OpenAI宣布正式發(fā)布為ChatGPT提供支持的更強(qiáng)大的下一代技術(shù)GPT-4，稱其擁有圖像識別功能，高級推理技能，以及處理25000個單詞的能力，在某些測試中的表現(xiàn)“可與人類相媲美”，并在大學(xué)入學(xué)和法律及醫(yī)學(xué)等專業(yè)領(lǐng)域的許多模擬考試中優(yōu)于其前身GPT-3.5。例如，GPT-4通過了律師資格模擬考試，分?jǐn)?shù)超過90%的人類考生，而GPT-3.5此前的分?jǐn)?shù)則低于90%的人類考生。

不過，目前最新的研究發(fā)現(xiàn)ChatGPT并非可靠信源?。

據(jù)科技日報5月18日的一篇報道，加拿大科學(xué)家在16日出版的《放射學(xué)》雜志上刊登新論文稱，最新版本的ChatGPT通過了美國放射學(xué)委員會的考試，突出了大型語言模型的潛力，但它也給出了一些錯誤答案，表明人們?nèi)孕鑼ζ涮峁┑拇鸢高M(jìn)行核查。

圖片來源：物理學(xué)家組織網(wǎng)

ChatGPT是一種人工智能（AI）聊天機(jī)器人，它使用深度學(xué)習(xí)模型在龐大的訓(xùn)練數(shù)據(jù)中識別單詞之間的模式和關(guān)系，并根據(jù)提示生成類似人類的反應(yīng)，類似的聊天機(jī)器人正被納入谷歌和必應(yīng)等流行的搜索引擎中，醫(yī)生和患者們也會使用這些搜索引擎來搜索醫(yī)療信息。但由于數(shù)據(jù)來源并不一定真實(shí)可靠，該工具會給出與事實(shí)不符的答案。

為評估ChatGPT在美國放射學(xué)委員會考試問題上的表現(xiàn)并探索其優(yōu)勢和局限性，多倫多大學(xué)的拉杰什·哈瓦那博士及其同事首先測試了基于GPT-3.5的ChatGPT的表現(xiàn)。研究團(tuán)隊使用了150道選擇題，這些選擇題與加拿大皇家學(xué)院和美國放射學(xué)委員會考試的風(fēng)格、內(nèi)容和難度相當(dāng)。這些問題不包括圖像，分為低階（知識回憶、基本理解）和高階（應(yīng)用、分析、綜合）思維問題。高階思維問題可進(jìn)一步細(xì)分為影像學(xué)表現(xiàn)描述、臨床管理、計算和分類、疾病關(guān)聯(lián)。

研究人員發(fā)現(xiàn)，基于GPT-3.5的ChatGPT的正確率為69%，接近70%的及格線。該模型在低階思維問題上表現(xiàn)相對較好，正確率為84%，但回答高級思維問題時表現(xiàn)不佳，正確率僅為60%。而性能更優(yōu)異的GPT-4的正確率為81%，且在高階思維問題上的正確率為81%，遠(yuǎn)好于GPT-3.5。但GPT-4在低階思維問題上的正確率僅為80%，答錯了12道題——GPT-3.5全部答對了這些題目，這引發(fā)了研究團(tuán)隊對GPT-4收集信息的可靠性的擔(dān)憂。

這兩項研究都表明，ChatGPT會有提供不正確答案的傾向，如果僅僅依靠它獲取信息，非常危險，因?yàn)槿藗兛赡芤庾R不到其給出的答案是不準(zhǔn)確的，這是它目前面臨的最大的問題。當(dāng)前，ChatGPT最適合用來激發(fā)想法，幫助撰寫數(shù)據(jù)摘要，而用于快速信息檢索，需要對其提供的事實(shí)性答案予以核查。

編輯|程鵬 蓋源源

校對|陳柯名

封面圖片來源：視覺中國

每日經(jīng)濟(jì)新聞綜合自央視新聞、新華社、科技日報