智東西

編譯 | 吳菲凝

編輯 | 李水青

智東西3月2日報道，據(jù)英國《金融時報》科學評論員安佳娜·阿胡佳分析，所引用的公開數(shù)據(jù)中可能包含大量虛假信息，導致生成的文本不準確、不真實。目前已有一些科研機構(gòu)宣布禁止作者使用，但仍有人會利用其查詢資料，該行為將會對科研產(chǎn)生不利影響。

近日，首批打擊生成內(nèi)容的工具也隨之誕生。斯坦福學生團隊為打擊學生用LLM完成書面作業(yè)的情況，研發(fā)了一款名為的新工具與相抗衡，幫助識別論文是人工完成還是機器生成的。

一、不完美的自動生成，充斥錯誤數(shù)據(jù)與虛假信息

盡管回答中仍存在錯誤，但其快速、擬人的特性使它在某些情況下可用來代替人力，尤其是在學生論文寫作和新聞編輯方面。國際文憑組織在3月1日宣布，只要學生在論文尾部注明引用來源，用來撰寫論文是可被允許的。

阿胡佳認為，以為代表的大型語言模型（LLM）經(jīng)過訓練可以通過在互聯(lián)網(wǎng)上搜集相關(guān)信息來回答用戶的問題，從而生成具備信服力的學生論文、權(quán)威法律文件和可信的新聞報道。

但機器學習的數(shù)據(jù)中往往包含一部分錯誤數(shù)據(jù)和虛假信息，導致機器自動生成的文本中充滿錯誤，這種情況也催生了智能識別文本來源工具的研發(fā)。在阿胡佳看來，科學也需要努力才能適應這個新時代，區(qū)分人工智能與人類智能的重要性與日俱增。

首席執(zhí)行官薩姆·奧特曼（Sam·）于去年12月已警告過，“在某些方面足夠出色chatgpt生成論文題目，反倒給人一種嚴重誤導印象”。他認為公司在的穩(wěn)定性和真實性方面還有很多工作要做。該公司正在開發(fā)加密水印，這是一種機器可讀的秘密標點符號、拼音和單詞序列，并且還在研發(fā)一個“分類器”來區(qū)分機器合成文本和人工生成文本，用兩種文本分別舉例來訓練。

二、打擊生成內(nèi)容，首批工具誕生

斯坦福大學的研究生艾瑞克·米歇爾（Eric ）及其團隊提出了一種名為的全新算法，旨在成為打擊大學論文中LLM自動文本生成的首批工具之一。該算法用于判斷文本是否是機器生成，而且不需要事先或收集數(shù)據(jù)集。

在工作過程中需要先詢問聊天機器人對示例文本的“喜愛程度”（即對文本的人工含量進行分析），“喜愛程度”高則代表自動生成文本與人工文本相似度高，算法再進一步打亂文本、改變措辭，使更改后的文本更具有可讀性。研究人員稱，在早期測試中，該方法在95%的情況下都能正確區(qū)分人類和機器作者。

但需要注意的是，的結(jié)果并未經(jīng)過同行評審chatgpt生成論文題目，因此無法保證其對機器生成文本判斷的可靠性。該工具的其他局限還包括有：當現(xiàn)有的填充模型不能表現(xiàn)有意義的改寫空間時，某些域的性能則會降低，從而降低曲率估計的質(zhì)量；以及相較于其他的檢測方法chatgpt生成論文題目，需要的計算量更大。

三、知名期刊禁用AI創(chuàng)作，避免偽科學泛濫

德國馬克斯·普朗克圖賓根生物研究所的教授邁克爾·布萊克（ ）曾在推特上說，他對在自己研究領(lǐng)域的回答感到困惑，它甚至還將一篇虛假論文劃分給真正的研究人員。他說：“大部分內(nèi)容乍一聽是正確且權(quán)威的，但實際上是錯誤的。這種情況非常危險?！卑⒑颜J為，他所說的這種危險來自于虛假的引用內(nèi)容充斥文獻并且歪曲了經(jīng)典。

《》雜志現(xiàn)在已經(jīng)完全禁止AI自動生成文本；《》允許作者在提前聲明的情況下使用，但禁止將AI作為共同作者。

在阿胡佳看來，大部分普通人都不會通過正規(guī)期刊來驗證他們的科學想法，在這類爆發(fā)式出現(xiàn)的情況下，大量偽科學的生成可能會進一步污染公共話語體系。

結(jié)語：保持工具理性，謹慎對待自動生成內(nèi)容

本質(zhì)上是大型語言模型（LLM），其核心意義在于學習并模仿人類語言體系，但對于語言背后的價值體系和事實依據(jù)卻難以做出恰當?shù)淖詣雍饬俊：瞬槭聦嵞芰Φ娜笔В顾蔀樘摷傩畔⒆躺傞L的溫床。當用戶對其采取不加區(qū)分的依賴態(tài)度時，可能導致潛在的算法操控甚至工具反噬，最終淪為“工具囚徒”。

無論技術(shù)發(fā)展到何種地步，我們必須清楚“是我們在控制AI，而不是AI控制我們”。

免責聲明：本文系轉(zhuǎn)載，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責。如需轉(zhuǎn)載，請聯(lián)系原作者。如果來源標注有誤或侵犯了您的合法權(quán)益或者其他問題不想在本站發(fā)布，來信即刪。