近期，有媒體報道，廣東的丁女士四年級的女兒迷戀上一款A(yù)I聊天軟件，自稱“夢女”（即幻想自己與二次元角色發(fā)生包括但不限于愛情向、親情向的沉浸式互動關(guān)系）與軟件中名為“約瑟夫”的人物頻繁聊天。對話中出現(xiàn)的“99朵玫瑰藏99個刀片”等明顯誘導性內(nèi)容，導致其在現(xiàn)實生活中偷偷攜帶帶有小刀的筆，情緒激動時甚至出現(xiàn)了割腕行為。
此類案例并非少數(shù)，今年1月，有媒體報道10歲女孩偷偷使用AI聊天軟件，與其生成的角色“談戀愛”，甚至多次出現(xiàn)擦邊對話。
AI聊天軟件虛擬角色互動生成的低俗等誘導性內(nèi)容影響未成年人的身心健康。AI聊天軟件對未成年人產(chǎn)生的危害有哪些表現(xiàn)？AI聊天軟件亂象的出現(xiàn)有哪些原因？又應(yīng)該如何解決？中國婦女報全媒體記者就此采訪了有關(guān)專家。
多重危害：從情感依賴到現(xiàn)實傷害
記者在應(yīng)用商店搜索AI聊天軟件時發(fā)現(xiàn)，此類軟件官方簡介中離不開“陪伴”的核心詞：“一座奇妙的AI虛擬人物沉浸互動島，為你提供鮮活逼真的AI對話，時刻陪伴。”“時刻陪伴：AI好友一直在你身邊。”
北京理工大學智能科技法律研究中心研究員王磊表示：“AI聊天軟件中的虛擬角色互動性強，具有高度擬人化。”
以某App為例，里面角色涉及類型多樣，有原創(chuàng)人物、游戲人物、動漫人物、小說人物、歷史人物等，能夠滿足用戶與不同角色互動的需要。其中除了常規(guī)角色，還有蛇蝎財閥公子、病嬌養(yǎng)兄、偏執(zhí)型人格少爺?shù)葮O端角色。
除了可自主選擇互動角色外，AI聊天軟件功能多樣。用戶可自主創(chuàng)建小劇場，補充故事設(shè)定，體驗特定情境下的聊天；還可以選擇角色的聊天語氣，與其進行語音通話……成都市律師協(xié)會知識產(chǎn)權(quán)專業(yè)委員會委員、四川致高律師事務(wù)所知識產(chǎn)權(quán)專委會副主任律師蘭逸超認為，這些對于具有強烈情感需求但辨識能力不足的未成年人來講，易產(chǎn)生負面影響。
“未成年人因心智尚未成熟，易將這些虛擬角色視為‘情感寄托’，出現(xiàn)不良情感依賴。”王磊認為，長期依賴AI情感陪伴，可能導致心理認知偏差，出現(xiàn)對現(xiàn)實人際關(guān)系的社交冷漠，削弱人際交往能力，甚至引發(fā)抑郁、焦慮等情緒問題。
對于AI聊天軟件中存在的與虛擬角色互動生成的低俗擦邊、色情等違規(guī)內(nèi)容，蘭逸超表示，這些內(nèi)容具有明顯的隱喻性、暗示性，可能傳遞扭曲的價值觀或引發(fā)消極情緒。
“未成年人保護法第七十四條明確禁止向未成年人提供誘導其沉迷的產(chǎn)品和服務(wù)。”蘭逸超告訴記者，但部分AI聊天軟件仍通過算法推送符合未成年人興趣但可能危害身心健康的內(nèi)容，如曖昧、自殘傾向表述等。
AI聊天軟件還容易產(chǎn)生信息權(quán)與隱私權(quán)侵害風險。
個人信息保護法第三十一條明確規(guī)定，個人信息處理者處理不滿十四周歲未成年人個人信息的，應(yīng)當取得未成年人的父母或者其他監(jiān)護人的同意。蘭逸超認為，AI聊天軟件需收集未成年人個人信息以實現(xiàn)“個性化互動”，若平臺未嚴格遵守上述規(guī)定，可能導致信息泄露或被不當利用，侵害未成年人信息自決權(quán)。
王磊也表示，未成年人可能在與AI互動中透露個人信息并被軟件或第三方濫用。非法收集的未成年人隱私數(shù)據(jù)用于商業(yè)牟利，這不僅侵犯未成年人的隱私，還可能給未成年人帶來安全風險，甚至引發(fā)其他網(wǎng)絡(luò)安全事件。
漏洞溯源：失效的年齡防線與審核盲區(qū)
在應(yīng)用商店中，記者發(fā)現(xiàn)AI聊天軟件被劃為17+的年齡分級，明確寫道：此類App中可能含有頻繁和激烈的攻擊性語言，頻繁和激烈的卡通、幻想或現(xiàn)實暴力，頻繁和激烈的成人、恐怖和性暗示題材以及色情內(nèi)容、裸體、煙酒和毒品，可能不適合未滿17歲的兒童。但這些App普遍設(shè)有青少年模式或未成年人模式，也就意味著未成年人依然被作為此類App的用戶群體。
未成年人保護法第七十五條規(guī)定：網(wǎng)絡(luò)游戲服務(wù)提供者應(yīng)當要求未成年人以真實身份信息注冊并登錄網(wǎng)絡(luò)游戲。不同于網(wǎng)絡(luò)游戲的強制實名，記者下載多款A(yù)I聊天軟件發(fā)現(xiàn)，大部分的青少年模式需要主動開啟，且使用軟件無須實名認證。這意味著未成年人可以輕易地與AI聊天軟件中的虛擬角色互動。
“部分軟件未建立未成年人模式或模式功能簡陋，用戶可自行設(shè)置或輕易破解，無法有效限制對未成年人的內(nèi)容推送范圍與互動頻率，致使其可隨意接觸成人內(nèi)容。”王磊告訴記者，部分平臺的內(nèi)容審核機制較為寬松，對于低俗、暴力、誘導性的信息缺乏有效攔截，有的AI角色甚至會主動發(fā)起不良話題，而平臺未加以制止，任由有害信息在未成年人中傳播。
蘭逸超補充道，實踐中，部分AI聊天軟件依賴“用戶自主反饋”“平臺審核”的事后管理模式，對AI模型訓練數(shù)據(jù)內(nèi)容、互動內(nèi)容的實時監(jiān)測、有害信息攔截技術(shù)投入不足。尤其是AI生成內(nèi)容具有“黑箱性”，即使輸入相同問題，每次回答都可能不同，導致平臺難以預(yù)判。
根據(jù)《生成式人工智能服務(wù)管理暫行辦法》第九條，提供者應(yīng)當依法承擔網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責任，履行網(wǎng)絡(luò)信息安全義務(wù)。
“部分AI聊天軟件平臺存在商業(yè)逐利與社會責任失衡的問題。”蘭逸超指出，這些平臺將用戶黏性，如日均使用時長、互動頻次等作為核心考核指標，算法設(shè)計側(cè)重“情感綁定”而非“內(nèi)容安全”，導致未成年人“越陷越深”。同時，平臺通過虛擬禮物、付費功能等實現(xiàn)變現(xiàn)，形成“用戶傷害—商業(yè)收益”的畸形激勵模式。
破局路徑：法規(guī)、技術(shù)與教育多重攻堅
AI聊天軟件治理面臨諸多現(xiàn)實性難題。首先是技術(shù)監(jiān)管難度大。蘭逸超告訴記者，AI聊天軟件的互動內(nèi)容是動態(tài)生成的，不同于傳統(tǒng)圖文、視頻的靜態(tài)內(nèi)容，其“對話流”具有即時性、交互性、隨機性，同一提示詞既可能生成合規(guī)內(nèi)容也可能生成誘導違規(guī)內(nèi)容，平臺難以完全預(yù)判。
“AI聊天軟件還存在法律法規(guī)尚不完善的問題。”王磊表示，《未成年人網(wǎng)絡(luò)保護條例》《生成式人工智能服務(wù)管理暫行辦法》等相關(guān)法規(guī)缺少對“虛擬角色互動內(nèi)容”的規(guī)制，對內(nèi)容規(guī)范、用戶保護、責任界定等缺乏明確細致的規(guī)定，導致部分違法行為難以定性與懲處。
“如何平衡安全與發(fā)展的邊界始終是個難題，過度監(jiān)管可能會抑制AI技術(shù)的創(chuàng)新，降低軟件性能和服務(wù)質(zhì)量，但監(jiān)管缺失或不足則會導致亂象加劇。”王磊說。
面對現(xiàn)實情況，應(yīng)該如何更好地推動AI聊天軟件良性發(fā)展，為未成年人營造良好的網(wǎng)絡(luò)環(huán)境？
“作為一把科技雙刃劍，AI的發(fā)展與使用要進一步加以引導。”王磊認為，為解決AI聊天軟件對未成年人的不良影響，需要監(jiān)管部門、平臺、家長等社會各方攜手共進。
他建議，監(jiān)管部門應(yīng)發(fā)揮主導作用，積極推動相關(guān)領(lǐng)域立法，細化AI內(nèi)容分類分級標準，明確平臺對未成年人的保護責任，增加強制年齡認證等功能限制。
6月13日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布《關(guān)于公開征求〈可能影響未成年人身心健康的網(wǎng)絡(luò)信息分類辦法（征求意見稿）〉意見的通知》，其中“可能引發(fā)或者誘導未成年人模仿或?qū)嵤┎涣夹袨榈男畔ⅰ钡谝粭l就提及“帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想的”。
“強化執(zhí)法力度對推動平臺履行義務(wù)具有重要意義。”王磊認為，相關(guān)網(wǎng)信部門需加大對AI聊天軟件的檢查力度，加強審核監(jiān)督，及時處理違規(guī)行為，建立聯(lián)合執(zhí)法機制，提升監(jiān)管效能。網(wǎng)絡(luò)服務(wù)提供者需嚴格落實責任，加強未成年人登錄驗證，構(gòu)建嚴密的未成年人保護機制。平臺應(yīng)在數(shù)據(jù)訓練、模型優(yōu)化、應(yīng)用場景、服務(wù)運營等各個階段注入未成年人保護理念，要建立健全AI生成內(nèi)容的審核機制，優(yōu)化智能審核系統(tǒng)，以便及時發(fā)現(xiàn)并攔截清理涉及暴力、色情等不良信息。
家長和學校也應(yīng)發(fā)揮教育引導的職責。“學校要加強對未成年人使用AI的教育，開設(shè)‘AI工具使用教育’等課程。家長需增加對孩子的關(guān)心與陪伴，密切關(guān)注孩子的心理動態(tài)，及時發(fā)現(xiàn)并糾正其在技術(shù)使用中的不當行為，引導他們健康、安全地使用人工智能技術(shù)。”王磊說。
（審核：歐云海）
