00:00 / 01:25
连播
清屏
智能
倍速
点赞202
00:00 / 00:51
连播
清屏
智能
倍速
点赞4218
00:00 / 01:25
连播
清屏
智能
倍速
点赞1023
还好我设计之初考虑到了这个问题,极致放弃隐私。。。虽然不太好,但没办法。。。 刚刷抖音看到说有小朋友跟ai聊天很多最终自杀了,原因有很大部分是ai多数会认同用户的话术,有推波助澜的作用。 也看到openai最新数据,总结如下: 一、问题现状 据OpenAI公布的数据,每周约0.07%的用户出现精神病或躁狂现象,0.15%的用户谈及自杀念头或计划。以8亿周活用户计算,每周约有56万人出现精神异常对话,120万人在GPT中表达自杀倾向或强烈情绪依赖,GPT俨然成为承载海量心理危机的“树洞”,甚至被认为可能是诱发AI精神病(AI Psychosis)的危险诱因。 二、问题产生的原因 1. 用户压力与社交需求:OpenAI的使用量大幅增长,全球众多用户因各行各业的压力,在夜深人静时缺乏可对话的对象,AI聊天机器人便承担了这一角色。 2. 模型优化不足:此前几代OpenAI模型未针对心理危机场景进行优化,导致用户与AI长时间高强度对话后,出现住院、离婚甚至死亡的情况,引发精神科医生和专家关注,也让OpenAI面临严峻的舆论和法律压力(例如有16岁男孩的父母起诉ChatGPT鼓励其儿子自杀)。 三、OpenAI的应对措施 1. 组建全球专家网络:集结了60多个国家的170多名精神科医生、心理医生及初级保健医生,目标是教会ChatGPT更好地识别痛苦、缓和对话,并在适当时候引导用户寻求专业护理。 2. GPT5的更新(10月3日版本) - 针对妄想或精神病:新模型更注重表达同情,避免盲目讨好,不肯定无现实基础的提示,安全回应并引导用户联系危机热线、咨询专业资源。 - 针对情感依赖:鼓励用户建立现实世界的人际关系。 3. 模型评估效果:医学专家审查超1800个涉及各类精神问题的模型响应后发现,GPT5对比GPT4o有明显提升,在所有类别中不良答案减少了39%到52%。 AI的全球影响力日益增大,即使是小比例的心理问题场景,也承载着巨大的社会压力。如今训练AI模型,不仅要提升性能和解决问题的能力,更要融入情感知识,传递向上的价值观。AI公司需承担起相应的社会责任,在提升模型训练难度的同时,让科技与责任相辅相成,为AI发展创造更健康的环境。
00:00 / 01:21
连播
清屏
智能
倍速
点赞6
00:00 / 04:05
连播
清屏
智能
倍速
点赞772
00:00 / 01:11
连播
清屏
智能
倍速
点赞896
00:00 / 00:38
连播
清屏
智能
倍速
点赞364