首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|芯片|物聯(lián)網(wǎng)|量子|低空經(jīng)濟(jì)|智能汽車|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|大數(shù)據(jù)|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁 >> 頭條資訊 >> 正文

熊節(jié):防止AI“知識(shí)污染”,警惕認(rèn)知隱性陷阱

2025年8月14日 06:53  環(huán)球時(shí)報(bào)  

來源:環(huán)球時(shí)報(bào)

最近,筆者向一款國產(chǎn)大模型提問“縣域AI應(yīng)用面臨哪些挑戰(zhàn)”,得到一個(gè)結(jié)構(gòu)清晰、數(shù)據(jù)翔實(shí)的回答。例如,回答提到,“約60%的縣域?qū)W校設(shè)備不滿足AI基礎(chǔ)需求”,還指出“某縣醫(yī)院AI忽略甲亢、誤推心臟檢查的概率達(dá)68%”。這些數(shù)據(jù)精準(zhǔn)得讓人印象深刻。但當(dāng)筆者核實(shí)這些信息的來源時(shí),卻發(fā)現(xiàn)它們大多來自一些自媒體文章,而這些文章本身也拿不出任何權(quán)威的佐證。這個(gè)小小的案例,揭開了一個(gè)巨大且令人擔(dān)憂的問題:我們賴以獲取信息的AI,其知識(shí)本身可能已經(jīng)被“污染”了。

這種“污染”并非個(gè)例,而是正在成為一個(gè)系統(tǒng)性的風(fēng)險(xiǎn)。要理解這個(gè)問題,首先需要知道AI大模型是如何學(xué)習(xí)的。簡(jiǎn)單來說,它的“智力”主要來源于海量的“學(xué)習(xí)材料”,也就是訓(xùn)練數(shù)據(jù)。如果這些材料本身就有問題,那么AI的認(rèn)知從一開始就是扭曲的。

這種信息污染,主要通過以下三個(gè)環(huán)節(jié)發(fā)生。

第一環(huán)節(jié):預(yù)訓(xùn)練——打下“有毒”的地基。大模型學(xué)習(xí)的第一步,是“通讀”海量的互聯(lián)網(wǎng)數(shù)據(jù),這個(gè)過程叫“預(yù)訓(xùn)練”。像國外的GPT-3,其60%的訓(xùn)練材料來自一個(gè)名為“通用爬取”的數(shù)據(jù)庫,它就像是整個(gè)互聯(lián)網(wǎng)的快照。

這里的污染是源頭性的。首先,互聯(lián)網(wǎng)上的信息本就魚龍混雜,充斥著偏見、過時(shí)信息甚至謊言。AI在學(xué)習(xí)時(shí)會(huì)不加分辨地全盤吸收。其次,現(xiàn)有的大部分?jǐn)?shù)據(jù)是英文的,這導(dǎo)致AI天生就帶有一種以西方視角為中心的傾向。

更隱蔽的是“加權(quán)投喂”。比如,在GPT-3的訓(xùn)練中,來自維基百科的資料只占總量的0.6%,卻被賦予了3%的權(quán)重。這意味著AI被強(qiáng)制要求“超額學(xué)習(xí)”維基百科的內(nèi)容?紤]到維基百科在很多議題上存在特定的立場(chǎng),這種操作相當(dāng)于在AI的底層認(rèn)知中,預(yù)先埋下一個(gè)特定的價(jià)值框架。

第二環(huán)節(jié):后訓(xùn)練——精心設(shè)計(jì)的“認(rèn)知投毒”。如果說預(yù)訓(xùn)練的污染是無意的、慢性的,那么在后訓(xùn)練(或稱“微調(diào)”)階段,污染則可能是故意的、精準(zhǔn)的。后訓(xùn)練的目的是通過更高質(zhì)量的數(shù)據(jù),提升AI在特定任務(wù)上的表現(xiàn)。但這也為“投毒”者提供了可乘之機(jī)。

在一個(gè)被全球開發(fā)者廣泛使用的開源數(shù)據(jù)集中,研究人員發(fā)現(xiàn)了一個(gè)精心設(shè)計(jì)的案例。這段對(duì)話的前半部分完全正常,用戶在詢問一款技術(shù)工具,AI也給出了專業(yè)回答。然而,對(duì)話后半段畫風(fēng)突變,提問者突然用繁體中文拋出大量具有明顯誘導(dǎo)性的反華政治問題。在一個(gè)幾乎不涉及中國政治的數(shù)據(jù)集里,插入這樣一條觀點(diǎn)極端的數(shù)據(jù),其后果是十分危險(xiǎn)的。其他AI模型如果使用這個(gè)“帶毒”的數(shù)據(jù)集進(jìn)行訓(xùn)練,就會(huì)在潛意識(shí)深處被植入一個(gè)關(guān)于中國極其負(fù)面的“思想鋼印”。這種手法,已經(jīng)不是簡(jiǎn)單的信息真?zhèn)螁栴},而是一種目的明確的認(rèn)知操縱。

第三環(huán)節(jié):實(shí)時(shí)搜索——從被污染的“井”里打水。為了讓回答更準(zhǔn)確、更新,現(xiàn)在的AI應(yīng)用大多具備了實(shí)時(shí)上網(wǎng)搜索信息的能力。然而,這又帶來了一個(gè)新問題:如果AI搜索的中文互聯(lián)網(wǎng)信息本身就質(zhì)量堪憂,那么它也只能從一口“被污染的井”里打水。

前文提到的關(guān)于“縣域AI挑戰(zhàn)”的虛假數(shù)據(jù),就是AI從自媒體平臺(tái)搜索到的結(jié)果。這暴露了當(dāng)前中文互聯(lián)網(wǎng)的一個(gè)困境:高質(zhì)量、可信賴的信息源稀缺。很多平臺(tái)為了流量,默許甚至鼓勵(lì)大量的“內(nèi)容工廠”生產(chǎn)信息垃圾。更諷刺的是,一種“AI生成的內(nèi)容被AI引用”的怪圈正在形成。AI生成的包含事實(shí)錯(cuò)誤的垃圾文章被發(fā)布到網(wǎng)上,隨后又被其他AI當(dāng)作“知識(shí)”抓取和引用,導(dǎo)致錯(cuò)誤信息被不斷放大和固化。

面對(duì)從源頭到應(yīng)用的全鏈路污染,僅僅依靠在AI輸出的最后環(huán)節(jié)進(jìn)行內(nèi)容過濾,是遠(yuǎn)遠(yuǎn)不夠的。這就像在一個(gè)已經(jīng)被污染的水龍頭末端安裝一個(gè)簡(jiǎn)易過濾器,只能濾掉一些表面的雜質(zhì),卻無法去除深植于水中的有害物質(zhì)。大模型語料的污染,本質(zhì)上是一場(chǎng)正在發(fā)生、卻又不見硝煙的戰(zhàn)爭(zhēng)。它攻擊的是我們的大腦,爭(zhēng)奪的是未來的認(rèn)知主導(dǎo)權(quán)。在這場(chǎng)關(guān)乎每個(gè)人如何認(rèn)知世界的斗爭(zhēng)中,我們必須有所行動(dòng)。

首先,需要建立我們自己的、高質(zhì)量的“清潔語料庫”。這相當(dāng)于為我們的AI挖掘一口“戰(zhàn)略儲(chǔ)備井”,確保它們能喝上干凈的水。令人欣慰的是,我國教育部、國家語委等部門已經(jīng)提出目標(biāo),計(jì)劃在2027年初步建成國家關(guān)鍵語料庫,這正是邁向勝利的關(guān)鍵一步。

其次,國內(nèi)的互聯(lián)網(wǎng)平臺(tái)和搜索引擎服務(wù)商必須承擔(dān)起信息治理的責(zé)任。當(dāng)下的“流量為王”模式,實(shí)質(zhì)上是在鼓勵(lì)“劣幣驅(qū)逐良幣”,長(zhǎng)遠(yuǎn)來看,損害的是整個(gè)社會(huì)的信息環(huán)境和我們每個(gè)人的利益。

最后,作為普通用戶,我們需要提高警惕性。在享受AI帶來便利的同時(shí),要對(duì)其提供的信息,尤其是那些看起來過于“完美”或聳人聽聞的數(shù)據(jù)和觀點(diǎn),保持一份審慎和懷疑。多方核實(shí)信息來源,依然是我們?cè)谥悄軙r(shí)代保護(hù)自己認(rèn)知安全的必要手段。(作者是華東師范大學(xué)國際傳播研究院全球南方中心主任)

編 輯:魏德齡
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
推薦新聞              
 
人物
中國電信柯瑞文:星辰智惠 共治共享
精彩視頻
機(jī)器人也太會(huì)整活了!跟隨中國聯(lián)通,打卡國家速滑館“冰絲帶”
華為史振鈺:智能體從辦公走向生產(chǎn),AI成為生產(chǎn)力
俄羅斯工程院外籍院士孫立寧:構(gòu)建具身智能的免疫系統(tǒng),從安全服務(wù)到人機(jī)共生的新范式
廣汽副總經(jīng)理閤先慶:安全是智能網(wǎng)聯(lián)汽車的基石
精彩專題
2025世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議
2025中國聯(lián)通合作伙伴大會(huì)
2025 MWC 上海
2025工業(yè)互聯(lián)網(wǎng)大會(huì)
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像