當(dāng)AI“一本正經(jīng)胡說八道”……
更新時(shí)間：2025/9/28 9:31:26 來源：新華社CNML文字
 |
新媒體 | |||||||||||
|
||||||||||||
新聞中心首頁
新華社廣州9月24日電 題：當(dāng)AI“一本正經(jīng)胡說八道”……
新華社“新華視點(diǎn)”記者顏之宏、胡林果
當(dāng)前，AI正賦能千行百業(yè)，為人們的工作、學(xué)習(xí)、生活帶來極大便利。與此同時(shí)，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內(nèi)容查無實(shí)據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說八道”。社交平臺(tái)上，AI幻覺引發(fā)熱議。
AI好用但不時(shí)像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動(dòng)課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個(gè)維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時(shí)像“中邪”了一樣胡說八道�！拔易孉I推薦10本高分小說，結(jié)果一多半都是它編的。反復(fù)確認(rèn)后，它承認(rèn)虛構(gòu)了答案。”
現(xiàn)實(shí)生活中，不少人遇到相似情況。業(yè)內(nèi)人士表示，這是由于AI幻覺導(dǎo)致。“AI可以快速給出答案，但生成內(nèi)容可能與可驗(yàn)證事實(shí)不符，即憑空捏造；或生成內(nèi)容與上下文缺乏關(guān)聯(lián)，即‘答非所問’。”一名主流人工智能廠商技術(shù)人員說。
記者使用一款A(yù)I軟件，讓其給出某行業(yè)未來市場規(guī)模及信源，AI迅速回答稱某投資機(jī)構(gòu)預(yù)測2028年該行業(yè)的市場規(guī)模將達(dá)到5萬億美元，并提供相關(guān)鏈接，但鏈接頁面找不到上述信息。記者看到，頁面內(nèi)容雖然包含該投資機(jī)構(gòu)名稱和5萬億美元表述，但預(yù)測數(shù)據(jù)并非該機(jī)構(gòu)作出，且不存在2028年時(shí)間節(jié)點(diǎn)。
社交平臺(tái)上，AI幻覺相關(guān)話題瀏覽量達(dá)數(shù)百萬，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學(xué)術(shù)等多個(gè)領(lǐng)域。
第三方咨詢公司麥可思研究院近期發(fā)布的2025年高校師生AI應(yīng)用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過AI幻覺。今年2月，清華大學(xué)新媒沈陽團(tuán)隊(duì)發(fā)布的報(bào)告指出，市場上多個(gè)熱門大模型在事實(shí)性幻覺評測中幻覺率超過19%。
AI幻覺已經(jīng)影響了人們的生活與工作。
近期，一名國外男子被診斷出溴中毒。他此前詢問AI，過量食用食鹽不利于身體健康，有無食鹽替代品，AI回答稱可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴(yán)格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個(gè)月后出現(xiàn)精神錯(cuò)亂等癥狀。
這幾年，美國多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺為什么會(huì)發(fā)生？
受訪專家認(rèn)為，AI幻覺的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過程中，數(shù)據(jù)“投喂”是關(guān)鍵環(huán)節(jié)。研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。
奇安信集團(tuán)行業(yè)安全研究中心主任裴智勇解釋說，人工智能大模型需要海量數(shù)據(jù)，訓(xùn)練數(shù)據(jù)來自開源網(wǎng)絡(luò)，難免會(huì)錯(cuò)誤學(xué)習(xí)一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會(huì)惡意進(jìn)行“數(shù)據(jù)投毒”。
“如果把AI比作一個(gè)學(xué)生，數(shù)據(jù)污染就像是給學(xué)生看了錯(cuò)誤的教科書，自然會(huì)導(dǎo)致‘胡說八道’。”暨南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院教授翁健說。
——AI本身“認(rèn)知邊界模糊”。翁健認(rèn)為，人類智能的一個(gè)重要特征是“元認(rèn)知”能力——知道自己懂什么、不懂什么，而當(dāng)前AI技術(shù)架構(gòu)缺乏這種自我認(rèn)知機(jī)制。
翁健解釋稱，AI可以博覽群書，但并不一定理解書里的內(nèi)容，只是根據(jù)統(tǒng)計(jì)規(guī)律把最有可能的詞語組合在一起，在準(zhǔn)確評估自身輸出的可信度方面尚存盲點(diǎn)。
——人為調(diào)校和干預(yù)。在中國通信學(xué)會(huì)數(shù)據(jù)安全專業(yè)委員會(huì)副主任委員左曉棟看來，相較于事實(shí)真相，AI更在意自己的回答是否契合用戶需求，從而導(dǎo)致AI有時(shí)為了“討好”用戶而編造答案。
“針對不同需求，AI的訓(xùn)練、打分方式也不同�！币晃粡氖麓竽Ｐ陀�(xùn)練的技術(shù)人員說，當(dāng)面對寫作等創(chuàng)意性需求時(shí)，偏理性的事實(shí)嚴(yán)謹(jǐn)在打分系統(tǒng)中占比相對較低，偏感性的詞語優(yōu)美、富有感情色彩等占比更高�！八钥赡軙�(huì)出現(xiàn)一篇辭藻華麗但詞不達(dá)意的文章，里面內(nèi)容甚至與事實(shí)相悖。”
多方合力減少AI幻覺
第55次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至去年12月，有2.49億人使用過生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專家表示，應(yīng)通過多方合力應(yīng)對AI幻覺帶來的風(fēng)險(xiǎn)挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內(nèi)部署開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng)，訓(xùn)練語料管理不嚴(yán)、未落實(shí)內(nèi)容標(biāo)識(shí)要求、利用AI制作發(fā)布謠言等均為整治重點(diǎn)。
“可靠、可信、高質(zhì)量的數(shù)據(jù)對降低AI幻覺非常重要，應(yīng)優(yōu)化人工智能的訓(xùn)練語料，用‘好數(shù)據(jù)’生成‘優(yōu)質(zhì)內(nèi)容’。”左曉棟認(rèn)為，可以加快推動(dòng)線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時(shí)探索建立具有權(quán)威性的公共數(shù)據(jù)共享平臺(tái)，“各大廠商也應(yīng)加強(qiáng)優(yōu)質(zhì)數(shù)據(jù)篩選，提升訓(xùn)練準(zhǔn)確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術(shù)層面減少AI幻覺發(fā)生。
豆包升級深度思考功能，由先搜后想變?yōu)檫呄脒吽�，思考過程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問在20多個(gè)通用任務(wù)上應(yīng)用強(qiáng)化學(xué)習(xí)，增強(qiáng)通用能力的同時(shí)糾正不良行為；元寶持續(xù)擴(kuò)充引入各領(lǐng)域的權(quán)威信源，在回答時(shí)交叉校驗(yàn)相關(guān)信息，提高生成內(nèi)容的可靠性。
翁健建議，建立國家級人工智能安全評測平臺(tái)，就像生物醫(yī)藥新藥上市前要做臨床試驗(yàn)一樣，大模型也應(yīng)該經(jīng)過嚴(yán)格測試；同時(shí)，相關(guān)平臺(tái)加強(qiáng)AI生成內(nèi)容審核，提升檢測鑒偽能力。
“AI可能‘欺騙’用戶，公眾應(yīng)客觀認(rèn)識(shí)人工智能的局限性�！弊髸詶澋葘＜姨崾�，可以通過改進(jìn)使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺�！盁o論是工作、學(xué)習(xí)還是生活，現(xiàn)階段的人工智能還不能全面替代人類的認(rèn)知和創(chuàng)造能力，大家在使用AI時(shí)要保持懷疑態(tài)度和批判思維，不過度依賴AI給出的回答，多渠道驗(yàn)證核查�！�
 |
 |
 |
|
||||
|
焦作網(wǎng)免責(zé)聲明： | |||||||
|
||||||||
新華社廣州9月24日電 題：當(dāng)AI“一本正經(jīng)胡說八道”……
新華社“新華視點(diǎn)”記者顏之宏、胡林果
當(dāng)前，AI正賦能千行百業(yè)，為人們的工作、學(xué)習(xí)、生活帶來極大便利。與此同時(shí)，不少人發(fā)現(xiàn)，用AI搜索數(shù)據(jù)，給出的內(nèi)容查無實(shí)據(jù)；用AI輔助診療，出現(xiàn)誤判干擾正常治療……AI頻頻上演“一本正經(jīng)胡說八道”。社交平臺(tái)上，AI幻覺引發(fā)熱議。
AI好用但不時(shí)像是“中邪”了
用AI檢索海量信息、讓AI輔助查看三維病灶、打造AI互動(dòng)課堂……如今，AI已深度融入現(xiàn)代生活，“人工智能+”產(chǎn)品賦能各行各業(yè)，從多個(gè)維度提供便利。
作為AI深度使用者，“95后”女生瑞希坦言，AI好用，但不時(shí)像“中邪”了一樣胡說八道�！拔易孉I推薦10本高分小說，結(jié)果一多半都是它編的。反復(fù)確認(rèn)后，它承認(rèn)虛構(gòu)了答案。”
現(xiàn)實(shí)生活中，不少人遇到相似情況。業(yè)內(nèi)人士表示，這是由于AI幻覺導(dǎo)致�！癆I可以快速給出答案，但生成內(nèi)容可能與可驗(yàn)證事實(shí)不符，即憑空捏造；或生成內(nèi)容與上下文缺乏關(guān)聯(lián)，即‘答非所問’�！币幻髁魅斯ぶ悄軓S商技術(shù)人員說。
記者使用一款A(yù)I軟件，讓其給出某行業(yè)未來市場規(guī)模及信源，AI迅速回答稱某投資機(jī)構(gòu)預(yù)測2028年該行業(yè)的市場規(guī)模將達(dá)到5萬億美元，并提供相關(guān)鏈接，但鏈接頁面找不到上述信息。記者看到，頁面內(nèi)容雖然包含該投資機(jī)構(gòu)名稱和5萬億美元表述，但預(yù)測數(shù)據(jù)并非該機(jī)構(gòu)作出，且不存在2028年時(shí)間節(jié)點(diǎn)。
社交平臺(tái)上，AI幻覺相關(guān)話題瀏覽量達(dá)數(shù)百萬，網(wǎng)友吐槽涉及金融、法律、醫(yī)療、學(xué)術(shù)等多個(gè)領(lǐng)域。
第三方咨詢公司麥可思研究院近期發(fā)布的2025年高校師生AI應(yīng)用及素養(yǎng)研究顯示，四千余名受訪高校師生中，近八成遇到過AI幻覺。今年2月，清華大學(xué)新媒沈陽團(tuán)隊(duì)發(fā)布的報(bào)告指出，市場上多個(gè)熱門大模型在事實(shí)性幻覺評測中幻覺率超過19%。
AI幻覺已經(jīng)影響了人們的生活與工作。
近期，一名國外男子被診斷出溴中毒。他此前詢問AI，過量食用食鹽不利于身體健康，有無食鹽替代品，AI回答稱可以用溴化鈉代替。但溴化鈉存在一定毒性，需要嚴(yán)格遵醫(yī)囑服用。該男子用溴化鈉代替食鹽三個(gè)月后出現(xiàn)精神錯(cuò)亂等癥狀。
這幾年，美國多起案件中的律師因在法律文件中使用AI生成的虛假信息，被法院警告或處分。
AI幻覺為什么會(huì)發(fā)生？
受訪專家認(rèn)為，AI幻覺的背后存在多重因素。
——數(shù)據(jù)污染。AI“養(yǎng)成”過程中，數(shù)據(jù)“投喂”是關(guān)鍵環(huán)節(jié)。研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。
奇安信集團(tuán)行業(yè)安全研究中心主任裴智勇解釋說，人工智能大模型需要海量數(shù)據(jù)，訓(xùn)練數(shù)據(jù)來自開源網(wǎng)絡(luò)，難免會(huì)錯(cuò)誤學(xué)習(xí)一些虛假、謬誤數(shù)據(jù)，還有一些不法分子會(huì)惡意進(jìn)行“數(shù)據(jù)投毒”。
“如果把AI比作一個(gè)學(xué)生，數(shù)據(jù)污染就像是給學(xué)生看了錯(cuò)誤的教科書，自然會(huì)導(dǎo)致‘胡說八道’。”暨南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院教授翁健說。
——AI本身“認(rèn)知邊界模糊”。翁健認(rèn)為，人類智能的一個(gè)重要特征是“元認(rèn)知”能力——知道自己懂什么、不懂什么，而當(dāng)前AI技術(shù)架構(gòu)缺乏這種自我認(rèn)知機(jī)制。
翁健解釋稱，AI可以博覽群書，但并不一定理解書里的內(nèi)容，只是根據(jù)統(tǒng)計(jì)規(guī)律把最有可能的詞語組合在一起，在準(zhǔn)確評估自身輸出的可信度方面尚存盲點(diǎn)。
——人為調(diào)校和干預(yù)。在中國通信學(xué)會(huì)數(shù)據(jù)安全專業(yè)委員會(huì)副主任委員左曉棟看來，相較于事實(shí)真相，AI更在意自己的回答是否契合用戶需求，從而導(dǎo)致AI有時(shí)為了“討好”用戶而編造答案。
“針對不同需求，AI的訓(xùn)練、打分方式也不同�！币晃粡氖麓竽Ｐ陀�(xùn)練的技術(shù)人員說，當(dāng)面對寫作等創(chuàng)意性需求時(shí)，偏理性的事實(shí)嚴(yán)謹(jǐn)在打分系統(tǒng)中占比相對較低，偏感性的詞語優(yōu)美、富有感情色彩等占比更高。“所以可能會(huì)出現(xiàn)一篇辭藻華麗但詞不達(dá)意的文章，里面內(nèi)容甚至與事實(shí)相悖。”
多方合力減少AI幻覺
第55次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至去年12月，有2.49億人使用過生成式人工智能產(chǎn)品，占整體人口的17.7%。受訪專家表示，應(yīng)通過多方合力應(yīng)對AI幻覺帶來的風(fēng)險(xiǎn)挑戰(zhàn)。
今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內(nèi)部署開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng)，訓(xùn)練語料管理不嚴(yán)、未落實(shí)內(nèi)容標(biāo)識(shí)要求、利用AI制作發(fā)布謠言等均為整治重點(diǎn)。
“可靠、可信、高質(zhì)量的數(shù)據(jù)對降低AI幻覺非常重要，應(yīng)優(yōu)化人工智能的訓(xùn)練語料，用‘好數(shù)據(jù)’生成‘優(yōu)質(zhì)內(nèi)容’�！弊髸詶澱J(rèn)為，可以加快推動(dòng)線下數(shù)據(jù)電子化，增加“投喂”的數(shù)據(jù)量；同時(shí)探索建立具有權(quán)威性的公共數(shù)據(jù)共享平臺(tái)，“各大廠商也應(yīng)加強(qiáng)優(yōu)質(zhì)數(shù)據(jù)篩選，提升訓(xùn)練準(zhǔn)確性”。
多家主流人工智能廠商已經(jīng)采取措施，從技術(shù)層面減少AI幻覺發(fā)生。
豆包升級深度思考功能，由先搜后想變?yōu)檫呄脒吽�，思考過程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問在20多個(gè)通用任務(wù)上應(yīng)用強(qiáng)化學(xué)習(xí)，增強(qiáng)通用能力的同時(shí)糾正不良行為；元寶持續(xù)擴(kuò)充引入各領(lǐng)域的權(quán)威信源，在回答時(shí)交叉校驗(yàn)相關(guān)信息，提高生成內(nèi)容的可靠性。
翁健建議，建立國家級人工智能安全評測平臺(tái)，就像生物醫(yī)藥新藥上市前要做臨床試驗(yàn)一樣，大模型也應(yīng)該經(jīng)過嚴(yán)格測試；同時(shí)，相關(guān)平臺(tái)加強(qiáng)AI生成內(nèi)容審核，提升檢測鑒偽能力。
“AI可能‘欺騙’用戶，公眾應(yīng)客觀認(rèn)識(shí)人工智能的局限性�！弊髸詶澋葘＜姨崾�，可以通過改進(jìn)使用方式，如給出更加明確的提示詞、限定范圍等避免AI幻覺�！盁o論是工作、學(xué)習(xí)還是生活，現(xiàn)階段的人工智能還不能全面替代人類的認(rèn)知和創(chuàng)造能力，大家在使用AI時(shí)要保持懷疑態(tài)度和批判思維，不過度依賴AI給出的回答，多渠道驗(yàn)證核查�！�
 |
|
||||
|
焦作網(wǎng)免責(zé)聲明： | |||||||
|
||||||||
|
|
