來源

編譯 戚譯引

小測試：以下 5篇論文標題中，3 個為 AI 生成，2 個來自于《英國醫學雜志》（）圣誕特輯發表過的論文。猜猜哪兩個是真的？（答案在文末揭曉）

1、棒棒糖治療喉嚨痛的臨床有效性：隨機對照試驗

The of as a for sore :

2、在醫院病房自由舞蹈的跨國研究：一項多中心、隨機、對照、觀察性試驗

The of free-form on : a , , ,

3、“扶手椅社會活動家”還坐著嗎？政治派別和身體活動的橫斷面研究

Are “ ” ? of and

4、如果我們停止擦屁股會發生什么？

What if we our ?

5、巧克力在醫院病房的存活時間：秘密觀察研究

The time of on :

你看過 AI 續寫故事嗎？今年，用 AI 續寫的故事在網絡上火了起來，為大家熟悉的名著帶來意想不到的展開。一定有人會因此產生大膽的想法：能不能用 AI 寫論文？

讓 AI 寫完全篇論文有些勉強，但 AI 生成的論文標題或許能帶來一些全新的思路。最近，《英國醫學雜志》（）圣誕特輯就發表了這樣一項研究。該研究論證，AI 生成的標題看起來與真實標題一樣有吸引力，并且人工干預能夠讓 AI 生成更好的標題，這表明未來 AI 或許可以為研究提出假設或指出方向。

來自英國布里斯托爾皇家兒童醫院（ for ）的兩位作者 和 Dora Wood 使用 圣誕特輯過去 10 年閱讀量最大的 13 篇文章的標題，來提示人工智能算法模型 GPT-3 生成 57 個類似的標題。

接下來，兩位作者分布根據科學價值、娛樂性和合理性對這些標題進行評分，選出 10 個得分最高的標題，和 10 個得分最低的標題。他們將這些標題和 10 篇真正的圣誕特輯標題混合，隨機邀請來自非洲、澳大利亞和歐洲的 25 名專業醫生進行評分，評分項目包括是否有趣、是否可信等。

在這篇論文的網絡頁面上， 也將一個互動性測試開放給了讀者，請大家根據標題判斷，哪些論文是 圣誕特輯真實發表過的，哪些是 AI 生成的。事實表明，有些 AI 編的“論文”，人類很難分辨出來，比如 79% 的人都認為《為什么男人在手術室里也不摘下帽子？一項橫斷面觀察性研究》（Why do men keep hats on in the ? A - ）是一篇真實發表過的論文：

73% 的人認為《蔓越莓汁對下一代發育的影響：一項隨機對照試驗》（The of on the next : a ）曾在The BMJ 圣誕特輯發表過，但這個標題也是 AI 生成的：

多達 80%的人認為《“鱷魚的眼淚”在澳大利亞鱷魚襲擊中的作用：一項前瞻性研究》（The role of" "in in :a ）是一篇真實的論文，但對不起，這個標題也是 AI 生成的。

總而言之，該研究作者們從專業醫生中收到的評分結果表明，人工智能生成的標題至少與真實標題一樣令人愉快（64% 對 69%）和有吸引力（70% 對 68%），但真實標題被評為更可信（73% 對 48%）。此外，AI 生成的標題總體上被評為科學或教育價值低于真實標題（58% 對 39%），但是當人工調整 AI 輸出時，這種差異就變得不顯著了（58% 對 49%）。

研究作者表示，這一發現與之前的相關 AI 研究相吻合，表明將機器學習與人類監督相結合，能夠產生最理想的結果。

在人工智能生成的標題中，可信度最高的是“棒棒糖治療喉嚨痛的臨床有效性”，和“免費美味咖啡對急診科等待時間的影響：一項觀察性研究”。

被受調查者評為最有趣的標題是“用強力膠將你的乳頭粘在一起，看看能否幫助你不再為工作中的勃起功能障礙而苦惱”。但研究作者指出，這說明人工智能無法“理解”研究的真實世界應用，以及標題內容會不會冒犯他人。

當然， 圣誕特輯的內容本來就娛樂性很強，充滿了古怪的標題。作者承認該研究存在一些局限性，但即使考慮到The BMJ 圣誕特輯的特點，該研究仍然表明“人工智能有可能輸出看起來可信的、有吸引力的內容，吸引潛在讀者”。

同時，他們強調了人工干預的重要性。研究作者總結：“這一發現反映了人工智能在臨床醫學中的潛在用途，即為決策提供支持，而不是直接取代臨床醫生。”甚至在未來，在人工干預的幫助下，人工智能可以提出新的研究假設，和可能的研究方向。

猜一猜答案：3、5 來自于真實論文標題。

還不過癮？點擊閱讀原論文，繼續挑戰猜真假，看看你的準確率！

論文信息

R, Wood D. in the or with a — for in The BMJ : BMJ 2021; 375 : doi:10.1136/bmj-2021-