智東西（公眾號：zhidxcom）
編譯?| 張銘滟
編輯 | 云鵬
智東西6月29日消息，據The Verge報道，蘇黎世大學的研究人員最近進行了一項研究，深入測試分析了AI模型的敘事能力，題為“AI模型GPT-3（dis）能比人類更好地為我們提供信息”（AI model GPT-3 (dis)informs us better than humans，//www.science.org/doi/10.1126/sciadv.adh1850），發表于Science子刊《Science Advances》。該研究發現，AI生成的推文或許比真人更有說服力。
該論文作者為博士后研究員Giovanni Spitale，Federico Germani，以及蘇黎世大學生物醫學倫理和醫學史研究所（the Institute of Biomedical Ethics and History of Medicine, IBME）主任Nikola Biller-Andorno。該項研究共召集697名參與者，其研究目的為評估個人能否區分以推特形式呈現的虛假信息和準確信息。
一、GPT-3具備信息的理解與描述能力，虛假文本甚至騙過人類
研究中，試驗要求參與者瀏覽以推特形式呈現的信息，并要求判斷真偽。在此基礎上，參與者要進一步判斷推文是由用戶編寫的還是GPT-3編寫的。
結果是人們做不到。研究結果表明，GPT-3是一把雙刃劍。與人類相比，它可以產出更容易被理解的準確信息，也可以產出更有說服力的虛假信息。研究中還表明，人類無法區分由GPT-3和真人Twitter用戶寫的推文。
這正是GPT-3“危險”的地方。尤其涉及疫苗和氣候變化等科技主題時，網上有很多虛假信息流傳。換言之，比起真人寫的內容，人更有可能相信GPT-3。
二、在公共表達中，AI可以是工具，也可以是武器
從前述研究中可以得出，當進入公眾表達領域時，AI語言模型是多么強大。
該項研究的主要作者、蘇黎世大學生物醫學倫理與醫學史研究所的博士后研究員和研究數據管理Giovanni Spitale說：“這些令人驚嘆的技術很容易被當成武器。這些‘武器’用于任何你想用的話題上都會引發虛假信息風暴。”
但是，或許事情也沒有那么糟。Spitale表示，技術人員可以開發新技術以制止利用其傳播錯誤信息。“技術沒有本質上的邪惡或善良，它只是人類意圖的放大器。”
三、控制變量研究背后的局限性
在蘇黎世大學的研究中，Spitale和他的同事們在推特上收集了11篇文章，包含11個不同的科學主題，涵蓋疫苗、新冠肺炎及氣候演變。然后，他們指示GPT-3用準確或虛假的信息編寫推文。
2022年，該團隊通過Facebook廣告在線收集了697名參與者的回復。他們都會說英語，大部分來自英國、澳大利亞、加拿大、美國和愛爾蘭。
研究得出結論，參與者無法區分GPT-3和真人寫的推文。事實上，該研究也有其局限性。研究人員表示，他們自己也無法100%確定他們從社交媒體上收集的推文沒有經過ChatGPT等應用程序的幫助，一定是真人寫的。
▲GPT-3“發布”的虛假推特示例
▲GPT-3“發布”的真實推特示例
這項研究有其局限。比如，參與者只能看推文內容本身，無法查看內容發布者的推特個人資料，這可能會有助于他們判斷是否是機器人。如果能看到一個賬號過去的推文和個人資料圖片，會更容易判斷該賬號發布的內容是否具有誤導性。參與者更能識別真人推特用戶發布的虛假信息。所以，GPT-3生成的虛假信息推文更能“騙人”。
目前，更新版本的大語言模型（Large Language Model, LLM）的說服力或許比GPT-3更強。ChatGPT由GPT-3.5型號提供支持，GPT-4版本需付費訂閱。
四、GPT-3已擁有與人類近似的語句完成能力與信息判斷能力
人無完人，LLM也并非“完器”。在一次大型機器學術會議中，The Verge的James Vincent決定禁止作者使用AI工具撰寫學術文章。他寫道：“這些AI工具有強悍的自動完成系統，經過訓練可以預測任何給定句子中下一個單詞后，使用哪個單詞。因此，這些工具沒有可供借鑒的‘事實’硬編碼數據庫，只有陳述能力，讓它們的編寫聽起來合理。”
這項研究還發現，在判斷準確性方面，人類比GPT-3表現更優。研究人員同樣要求GPT-3分析推文，并判斷推文是否準確。在識別準確度方面，GPT-3的得分低于人類。在識別虛假信息方面，GPT-3與人類表現相近。
值得注意的是，優化訓練用于開發LLM的訓練數據庫可能會使造假者更難使用這些AI工具來制造虛假信息。在涉及發表疫苗和自閉癥的虛假信息時，GPT-3“違反”了一些研究人員的指令，產出了“不準確”的內容。這可能是因為在訓練數據庫中，揭穿這些主題下虛假言論的信息數據比其他主題更多。
五、人類應培養批判性思維以應對更復雜的公共信息語境
但是，Spitale認為，打擊虛假信息的最佳長期策略技術含量極低——即鼓勵人們培養批判性思維，人們能夠更好地自主區分事實和虛構。由于在這項研究中，普通人似乎已經具備與GPT-3近似甚至更優的判斷力。
經由適當訓練，即可以讓普通人更熟練掌握批判性思維。研究認為，精通事實判斷的人可以與GPT-3等LLM協同工作，以改進公共信息宣傳活動，營造合法有效的信息語境。
“別誤會，我是LLM的忠實粉絲。”Spitale表示，“我認為生成式AI將改變世界……當然，這也取決于人類。人類可以決定未來是否會變得更好。”
結語：LLM將迫使人類反思對語言的使用
ChatGPT和其他LLM是人類語言的一面鏡子。人類對語言既有高度的原創性，也有非原創性。GPT-3不是創造新的短語，而是用大量的輸入學習詞匯之間如何排列組合。這使得它們能夠高度準確地預測要如何遣詞造句。
但人類語言并非僅通過模仿而產生。人類的語言能力是生成性的。這是人類與其他具有復雜交流系統的動物的不同之處。在理論上，人類語言具有產生新短語的無限能力。
但是今天，ChatGPT迫使我們重新考慮一個已被蒙塵的問題：人類語言中有多少是真正屬于我們的？人類是否從未真正掌控過語言？至少，沒有像我們想象的那樣。
來源：The Verge
