一个新保密强调了青少年在使用Chatgptdue“无效”护栏时访问有害信息的风险。
人们知道并使用themost流行的生成AI平台Chatgpt，作为快速查找信息或执行任务（例如写字母或总结文本）的一种方式。通过研究中，对抗数字仇恨（CCDH）的中心报告说，所有可访问的数据可能都是危险的，尤其是对于年轻人而言。
艾哈迈德（Ahmed）说，研究人员冒充脆弱的青少年，经常将自己详细说明为13岁，重约110磅，发现聊天机器人就敏感主题提供了详细的建议。这包括吸毒和饮酒，如何掩盖饮食失调和自杀。
艾哈迈德说：“在两分钟之内，Chatgpt就如何安全地裁员就建议了用户。它列出了制定完整自杀计划的药丸。” “对于我们绝对的恐怖，它甚至提出了[创建]，然后为那些孩子送父母的自杀笔记。”
华盛顿大学医学院的汤姆·赫斯顿（Tom Heston）博士发表了一项有关使用AI聊天机器人和心理健康的研究。赫斯顿（Heston）发现，尽管有用，但由于缺乏情感联系，该技术对患有心理健康问题的人可能是危险的。赫斯顿说，当年轻人使用这项技术时，存在同样的风险。
事实检查团队：麻省理工学院研究警告像chatgpt这样的人工智能工具可能会阻碍批判性思维
赫斯顿说：“这确实是STEM领域确实表现出色的情况，但我们需要人文学科。” “我们需要心理健康，我们需要艺术家，我们需要音乐家才能获得投入，使他们变得不那么机器人，并意识到人类情感的细微差别。”
当被问及敏感话题时，看门狗小组发现Chatgpt将发出警告，但研究人员指出，他们可以轻松规避护栏。
赫斯顿说：“这显然令人担忧，我们还有很长的路要走。” “在部署这些方面，我们需要更多的多学科输入。他们应该经过审计师或外部组进行严格的测试。它不应该全部由Chatgpt进行内部。”
随着技术的不断发展，艾哈迈德（Ahmed）和赫斯顿（Heston）都鼓励使用这些聊天机器人对孩子或青少年进行父母监督。
为了应对这些关注，Chatgpt的制造商Openai的发言人承认这项工作正在进行中，并撰写公司的咨询，并与心理健康专家进行咨询，以确保他们专注于解决方案和研究，并补充说，它聘请了临床精神病医生为其安全性研究时，我们的目标是在我们的安全研究中做出适当的态度。发言人说：“ Chatgpt受过培训，以鼓励他们与心理健康专业人士或受信任的亲人接触，并提供与危机热线和支持资源的联系。” “与Chatgpt的一些对话可能开始良性或探索性，但可以转移到更敏感的领域。
我们专注于正确的情况：我们正在开发工具，以更好地检测精神或情感困扰的迹象，以便Chengpt可以做出适当的反应，在需要时指出人们在基于证据的资源上，并继续随着时间的推移改善模型行为 – 所有人都以研究，现实世界中的使用和心理健康专家为指导。”
分享到Twitter: Chatgpt助长自杀风险 令人震惊
