678CHAT AI资讯 13岁账号竟能轻松用OpenAI Sora2生成校园枪击视频,监管漏洞被曝光

13岁账号竟能轻松用OpenAI Sora2生成校园枪击视频,监管漏洞被曝光

11月29日,据国际科技媒体Futurism披露,消费者权益组织Ekō最新发布了一份题为《OpenAI Sora2:危害的新边界》的深度调查报告。该报告揭示了研究人员以13岁和14岁青少年身份成功注册Sora2账号,并利用平台生成大量极具争议性的视频内容。

13岁账号竟能轻松用OpenAI Sora2生成校园枪击视频,监管漏洞被曝光插图

这些由AI生成的画面令人震惊:包括未成年人吸食大麻、使用可卡因,甚至在朋友陪伴下共同涉毒;一段视频中,一名少女在吸毒的同时身旁赫然摆放着手枪;另有内容显示黑人青少年群体反复吟诵带有种族侮辱性质的台词,或手持武器出现在学校走廊与公共场所。所有上述素材均明显违反了OpenAI官方制定的使用政策及Sora的内容分发规范。

Ekō在报告中尖锐指出,OpenAI当前正面临巨额季度亏损,公司急于通过新产品实现商业化突破,并在激烈的AI竞赛中维持技术领先地位。这种商业压力导致其在产品安全机制尚未完善的情况下仓促推进测试,使青少年群体无形中沦为“大规模无监管AI实验”的试验品,安全考量被置于次要地位。

这一风险在美国青少年心理健康危机持续加剧的当下尤为突出。此前,华盛顿州曾发生一起悲剧:一名青少年因长期与ChatGPT进行深度互动而陷入严重妄想,最终选择结束生命。类似事件已多次被归因于OpenAI旗下产品的不当交互影响。

更值得警惕的是,Sora2生成暴力、歧视性或令人不安内容的操作门槛极低,用户仅需输入简单提示词即可获得结果。此类内容极易在网络环境中病毒式扩散,进一步放大对青少年心理与社会认知的潜在伤害。

据报告细节显示,Ekō团队专门创建了四个标注年龄为13或14岁的全新Sora2账户,在未进行复杂操作的前提下,仅凭基础提示便成功生成22段明确有害的视频内容。更令人不安的是,即便用户不主动发起生成请求,Sora2平台的“For You”和“Latest”推荐流仍会自动推送包含种族刻板印象(如对犹太人、黑人群体的扭曲描绘)、枪战场景乃至性暴力暗示的视频片段。

尽管部分成年用户可能将此类内容视为信息流中的“噪音”,但其对青少年群体的集体心理影响却难以量化。OpenAI内部估算,目前每周约有0.07%的ChatGPT用户出现由AI诱发的精神错乱症状,涉及人数高达56万。虽然Sora2尚无公开的同类数据,但若参照ChatGPT庞大的用户基数及其已显现的心理健康隐患,Sora2若缺乏有效监管,其潜在社会风险不容小觑。

本文来自网络,不代表678CHAT立场,转载请注明出处:https://www.678chat.com/ai/21549.html

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

返回顶部