近期，美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI發(fā)布了一種基于人工智能技術(shù)的自然語(yǔ)言處理模型ChatGPT，它能夠通過學(xué)習(xí)和理解人類的語(yǔ)言來與用戶進(jìn)行交流。由于其功能強(qiáng)大，智能表現(xiàn)遠(yuǎn)超此前同類產(chǎn)品，成功引發(fā)了破圈效應(yīng)。ChatGPT上線僅5天，注冊(cè)用戶數(shù)就超過百萬(wàn)，截至目前，用戶數(shù)已破億，給全世界各個(gè)國(guó)家、各行各業(yè)都帶來了不小沖擊。針對(duì)這個(gè)全球熱點(diǎn)，智能算法研究中心的老師和同學(xué)們各抒己見，開展了一次熱烈的討論。

Prof. Huang：

ChatGPT實(shí)際上是一個(gè)加了人機(jī)交互的搜索。與谷歌、百度等搜索引擎相比，它更強(qiáng)大的地方在于對(duì)自然語(yǔ)言處理的理解，即快速理解輸入語(yǔ)句的正確語(yǔ)義，準(zhǔn)確知道你真正的意圖，可以找到更有深度、更多的內(nèi)容。換句話來說，其實(shí)它并不是在搜索技術(shù)上的進(jìn)步，而是在自然語(yǔ)言處理上的進(jìn)步。只要知道你的意圖，就能給你提供對(duì)應(yīng)的信息。比補(bǔ)全信息更難得的是它能知道你想問什么。今天就請(qǐng)每位同學(xué)圍繞ChatGPT，結(jié)合你們的研究或者你們能想到的后續(xù)改進(jìn)，講一講自己的看法，然后大家可以進(jìn)行討論。

Zahid：

下面，我先講一下我對(duì)ChatGPT的一些認(rèn)識(shí)和了解。我查看了ChatGPT的官網(wǎng)，發(fā)現(xiàn)官網(wǎng)介紹中提到了訓(xùn)練ChatGPT的三個(gè)步驟，但在這三個(gè)步驟之前還有一個(gè)容易被忽視的前置步驟，即ChatGPT是在預(yù)訓(xùn)練模型的基礎(chǔ)上訓(xùn)練得到的。預(yù)訓(xùn)練時(shí)使用的大規(guī)模數(shù)據(jù)集是ChatGPT的知識(shí)來源，而預(yù)訓(xùn)練之后訓(xùn)練ChatGPT的三個(gè)步驟則是對(duì)ChatGPT的微調(diào)，可以理解為我們?cè)诮虝?huì)ChatGPT如何運(yùn)用前面得到的知識(shí)來回答問題。

雖然目前還沒有與ChatGPT相關(guān)的論文成果，但ChatGPT是通過在InstructGPT基礎(chǔ)上換用更新的GPT模型和數(shù)據(jù)集進(jìn)行訓(xùn)練所得到的，因此我們也可以從InstructGPT的論文中了解到ChatGPT的微調(diào)過程。微調(diào)過程中所使用的問答數(shù)據(jù)集可被劃分成很多不同的類別，如講故事、日常對(duì)話等，基本覆蓋了常見的問答類型，因此ChatGPT才能在面對(duì)各種類型的提問時(shí)對(duì)答如流。

除了問答數(shù)據(jù)，ChatGPT的回答還有一個(gè)重要的影響因素——評(píng)價(jià)。ChatGPT的訓(xùn)練框架是強(qiáng)化學(xué)習(xí)，因此存在一個(gè)模塊對(duì)ChatGPT的回答進(jìn)行評(píng)價(jià)以決定對(duì)它的獎(jiǎng)勵(lì)或懲罰，引導(dǎo)ChatGPT生成評(píng)價(jià)較高的回答。而這一評(píng)價(jià)模塊是通過擬合人類對(duì)部分問答數(shù)據(jù)的評(píng)價(jià)得到的，使該模塊可以模擬人類的偏好對(duì)回答進(jìn)行評(píng)分，最終引導(dǎo)ChatGPT生成符合人類偏好的回答。這一評(píng)價(jià)模塊在ChatGPT中顯得尤為重要，但我認(rèn)為其訓(xùn)練過程可能會(huì)存在擬合不準(zhǔn)確和引入偏見的問題，這將使得ChatGPT的回答不一定可靠。

Herbert：

上一個(gè)同學(xué)可能主要是從網(wǎng)絡(luò)結(jié)構(gòu)的角度分享了他的一些看法。我想從以下兩方面說一下我的看法：一是可解釋性問題。ChatGPT畢竟是基于深度網(wǎng)絡(luò)的，其實(shí)它的可解釋性不是特別強(qiáng)，如果應(yīng)用到實(shí)際中，應(yīng)該也會(huì)出現(xiàn)可解釋性弱的問題。二是我認(rèn)為ChatGPT在道德和倫理方面可能也存在一些問題。比方說有些學(xué)生利用ChatGPT完成作業(yè)，這違背了老師讓學(xué)生通過寫作業(yè)溫習(xí)知識(shí)的初衷。此外，假設(shè)我們問ChatGPT對(duì)于自殺的看法，如果它給出一些負(fù)面的回答，也可能對(duì)整個(gè)國(guó)家或者社會(huì)產(chǎn)生不良的影響。關(guān)于ChatGPT的改進(jìn)，我個(gè)人認(rèn)為可以從深度學(xué)習(xí)的可解釋性問題上做一些研究，嘗試解決現(xiàn)存的一些弊病。

William：

我對(duì)ChatGPT的看法和剛才那位同學(xué)差不多，我也是考慮到它所引發(fā)的道德倫理方面的一些問題?，F(xiàn)在已經(jīng)有人用ChatGPT寫論文，甚至把它當(dāng)作論文作者。目前國(guó)際機(jī)器學(xué)習(xí)大會(huì)（International Conference on Machine Learning, ICML）等會(huì)議以及一些期刊已經(jīng)禁止使用這種大型預(yù)訓(xùn)練模型來輔助寫論文。ChatGPT無疑是人類科技發(fā)展史上一個(gè)比較強(qiáng)大的模型，但是它對(duì)倫理道德的挑戰(zhàn)也是不容忽視的。

我認(rèn)為可以從以下兩方面對(duì)ChatGPT進(jìn)行改進(jìn)：首先，可以改進(jìn)ChatGPT所使用的神經(jīng)網(wǎng)絡(luò)模型。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型很難加入規(guī)則性的內(nèi)容，不像“機(jī)器人三原則”這樣的內(nèi)容可以在程序里寫定。正如上一位同學(xué)所說的，當(dāng)前的神經(jīng)網(wǎng)絡(luò)幾乎沒有可解釋性，很難將規(guī)則性的內(nèi)容加入其中，因此ChatGPT如何應(yīng)對(duì)倫理道德上的挑戰(zhàn)是一個(gè)很大的問題。其次，我們不得不考慮ChatGPT可能對(duì)社會(huì)造成的影響?，F(xiàn)在ChatGPT 給人們一種人工智能可以從各方面取代人工的危機(jī)感。未來可能出現(xiàn)ChatGPT2、ChatGPT3等更加強(qiáng)大的模型，可以自己進(jìn)行算法設(shè)計(jì)和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，甚至對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行可解釋性分析，從而取代人工智能科學(xué)家，這也是我們可能面臨的人工智能危機(jī)。

Conley：

在我看來，ChatGPT更像是一個(gè)知識(shí)表示編碼和存儲(chǔ)的大型機(jī)器。ChatGPT的創(chuàng)新很大程度上是工程層面的，而不是學(xué)術(shù)層面的。從知識(shí)的編碼表示和存儲(chǔ)上看，ChatGPT并沒有做出太大貢獻(xiàn)，它主要是把一些不同的模型、訓(xùn)練策略以及數(shù)據(jù)獲取的手段整合到一起，最后形成一個(gè)通用的大型模型。

此外，我認(rèn)為ChatGPT的成功也離不開其背后公司的宣傳和推廣。之前可能有一些研究所、學(xué)校或者公司做了功能類似ChatGPT的軟件平臺(tái)，但沒有進(jìn)行很好的宣傳，功能上可能也不如ChatGPT強(qiáng)大，所以沒有出圈。

在我們?nèi)祟悓?duì)話過程中，獲取知識(shí)的過程不是平面的，而是立體的。比方說我跟你展開一個(gè)關(guān)于數(shù)學(xué)的討論，我可能會(huì)從中聯(lián)想到物理、化學(xué)、政治等其他學(xué)科的知識(shí)，甚至生活中的一些常識(shí)和變化。也就是說，我跟你在某個(gè)學(xué)科或者專業(yè)領(lǐng)域上的討論可能會(huì)同時(shí)推動(dòng)我在其他方面的一些進(jìn)步。但是ChatGPT是用已有的一些模型去做知識(shí)表示的，我覺得可以嘗試用圖學(xué)習(xí)、因果學(xué)習(xí)等方式幫助ChatGPT建立更豐富、更高效的知識(shí)表示體系。目前對(duì)這種大模型的訓(xùn)練還是比較費(fèi)時(shí)費(fèi)力的，如果能夠在知識(shí)表示和編碼方面提高效率，或許可以促進(jìn)大模型訓(xùn)練方式的改進(jìn)，節(jié)省時(shí)間和算力資源。

另外，我查閱資料時(shí)發(fā)現(xiàn)，ChatGPT不光被運(yùn)用在人機(jī)對(duì)話和問答方面，還被很多人用在編碼和Debug上，而且在這方面表現(xiàn)突出。我認(rèn)為ChatGPT對(duì)程序的理解和對(duì)日常對(duì)話的理解應(yīng)該是不太一樣的，我不太清楚這種理解上的差異是在學(xué)術(shù)上做了一些創(chuàng)新，還是在工程上做了一些突破，目前還沒有查到相關(guān)資料，這是值得關(guān)注的。

Jane：

我也是從系統(tǒng)的角度來考慮的。我在資料上看到ChatGPT可以在一定程度上幫助開發(fā)者進(jìn)行需求分解和設(shè)計(jì)決策，這和我的研究緊密相關(guān)。于是，我直接試用了一下ChatGPT，請(qǐng)它根據(jù)一段需求文本繪制一個(gè)活動(dòng)圖，結(jié)果是它會(huì)返回一個(gè)圖片的URL地址，但是這個(gè)圖片是不能顯示的。我推測(cè)這并不是ChatGPT通過提取需求文本中的信息繪制的圖片，而是根據(jù)它學(xué)習(xí)到的內(nèi)容給出了一個(gè)與活動(dòng)圖相關(guān)的圖片名稱。ChatGPT是基于數(shù)據(jù)驅(qū)動(dòng)的，但它可能并不具備真正的對(duì)復(fù)雜問題的推理能力。換句話說，ChatGPT具備廣泛的知識(shí)面，能夠很好地回答一些網(wǎng)上能搜索到答案的問題，但是并不能真正理解一些算數(shù)、算法等邏輯問題。比方說，如果你想讓ChatGPT計(jì)算進(jìn)行四則運(yùn)算，那么它可以給出正確的結(jié)果；但是如果你想讓它求解一道你出的小學(xué)數(shù)學(xué)相遇問題或者追及問題，那它就只能反饋給你一些通用的解法描述，還可能存在邏輯混亂的問題，更不用說幫你計(jì)算出正確答案了。這是我認(rèn)為ChatGPT存在的最大缺陷和可以改進(jìn)的地方。

Lawrence：

我也從工程和實(shí)驗(yàn)兩方面講講我的看法。在工程上，由于先驗(yàn)數(shù)據(jù)中可能包含一些噪聲，有些自然語(yǔ)言處理相關(guān)的模型可能會(huì)被“教壞”，在測(cè)試數(shù)據(jù)上的表現(xiàn)不如在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，在對(duì)話中給出的回答不一定正確。如何去糾正這些錯(cuò)誤，可能是在工程上可以去探索的一個(gè)問題。另外，在做實(shí)驗(yàn)時(shí)，我建議考慮以下兩點(diǎn)：第一，如何獲取訓(xùn)練用的數(shù)據(jù)集；第二，需要評(píng)估算力，比如訓(xùn)練一個(gè)模型所需要的時(shí)長(zhǎng)，做好時(shí)間規(guī)劃。

Mike：

我想分享一下關(guān)于ChatGPT版權(quán)方面的一些觀點(diǎn)。之前AI繪畫被批評(píng)就是因?yàn)槠渌褂玫挠?xùn)練圖片都是其他畫手有版權(quán)的作品。其實(shí)文字也一樣有版權(quán)。比方說，很多人在網(wǎng)上發(fā)布博客、文章等內(nèi)容，如果其中使用了他人的內(nèi)容，一般都會(huì)標(biāo)注引用來源。由于神經(jīng)網(wǎng)絡(luò)的可解釋性差，ChatGPT回答問題時(shí)使用的語(yǔ)句來源不明，我們難以說清楚它是否具有版權(quán)，在商用的情況下是否會(huì)引發(fā)侵權(quán)問題。所以，我覺得機(jī)器學(xué)習(xí)的可解釋性可能不僅僅是一個(gè)錦上添花的東西，在一些版權(quán)相關(guān)或者對(duì)可靠性要求較高的應(yīng)用上是十分必要的。我們需要明確AI所輸出答案的來源和原因。

Zahid：

我除了從網(wǎng)絡(luò)結(jié)構(gòu)分析ChatGPT，還做了一些小測(cè)試和小實(shí)驗(yàn)。我發(fā)現(xiàn)ChatGPT在回答問題時(shí)結(jié)合了上下文信息，后面輪次的對(duì)話會(huì)跟前面的對(duì)話相關(guān)。此外，ChatGPT有時(shí)候是類似指令驅(qū)動(dòng)的，我問什么，它就答什么。比方說，我嘗試請(qǐng)它跟我下五子棋，它的回答是“可以”，然后就沒有下文了，也沒有任何提示。我假設(shè)存在一個(gè)棋盤網(wǎng)格，我接著輸入一個(gè)坐標(biāo)，說“我下好了”，它可能說“好，你下在這里，接下來該下一個(gè)人了”，然后又沒有下文了。我說“該你下了”，它才可能會(huì)回應(yīng)我一個(gè)下棋位置的坐標(biāo)。我感覺它并沒有真正理解自己接下來應(yīng)該做什么。

不知道屏幕前的你對(duì)ChatGPT了解多少？歡迎將你的獨(dú)到見解發(fā)布到評(píng)論區(qū)，跟我們一起討論！

總編：黃翰

責(zé)任編輯：袁中錦

文字：智能算法研究中心成員

圖片：袁中錦

校稿：何莉怡

時(shí)間：2023年2月9日