2025-01-14 智能 0
编辑：桃子 拉燕
【新智元导读】ChatGPT又有什么错呢？美国律师向法院提交的文件中，竟引用了6个根本不存在的案例，反倒惹祸上身被制裁。
ChatGPT，真的不可信！
在美国近来的一起诉讼案件中，一位律师帮原告打官司，引用了ChatGPT捏造的6个不存在的案例。
法官当庭指出，律师的辩护状是一个彻头彻尾的谎言，简直离了大谱。
还有人戏称，要怪就怪你的prompt不行。
当他询问ChatGPT这些案件的来源时，ChatGPT先是为之前的表述不清道歉，但还是坚称这些案件都是真实的，可以在Westlaw和LexisNexis上找到。
而对方律师也同样坚持，来自Levidow Oberman律师事务所的原告律师是多么荒唐可笑，由此才引发了法庭对这个细节的重视。
在其中一个案例中，有个叫Varghese的人起诉中国南方航空有限公司。然而这件事压根不存在。
ChatGPT好像引用了另一个案件——Zicherman起诉大韩航空有限公司。而ChatGPT把日期、案件细节什么的都搞错了。
Schwartz此时才悔恨地表示，他没有意识到ChatGPT可能提供假案件，现在他非常后悔用生成式AI来进行法律研究。
法官表示，这种情况前所未见，并将于6月8日举行听证会，讨论可能的制裁措施。
网友称，更准确来说，GPT-4应该只有63分或者68分。
聊天机器人胡说八道
归根结底，是因为它固有的「幻觉」问题导致这种状况发生。简单来说，就是张口胡说八道本性难移的问题。
马斯克想要解决这个致命的问题，因此推出了名为TruthGPT的人工智能平台。他曾经宣布TruthGPT将成为“最大的求真工具”，旨在理解宇宙本质。然而，无论如何解决幻觉这一问题都会相当困难。
最近，一位OpenAI联合创始人兼研究员John Schulman发表了一篇名为“RL and Truthfulness – Towards TruthGFT”的演讲。在这次演讲中，他探讨幻觉产生原因以及解决方案。根据Schulman的话语，我们可以将幻觉分成两类：
1 模式完成行为，即语言模型无法表达自己的不确定性，也无法质疑提示中的前提，或继续之前犯错误的情况下做出回应，
2 模型猜测错误
语言模型代表一种知识图谱，它们将训练数据中的事实存储起来。而微调可以理解为学习一个函数，将其应用于知识图谱以输出token预测。这就像微调数据集中包含“星球大战是什么？”这样的问题，以及答案“我不知道”一样。
Zero提出建议，如果使用chatgpt作为参考资料，那么每次都要附上来源链接，以便验证信息是否准确可靠。
Tricorn认为，这位原告律师并不是完全无辜，因为他使用得不到正确结果。他应该把事实作为输入给chatgpt，然后让它填充缺失部分，而不是直接接受chatgpt提供的情报和解释。
许多评论者同意，不仅需要高度警惕，还需要对AI工具有更高层次上的运用能力，以避免未来出现更多类似的误判事件。此外，他们还提醒我们，对于任何依赖技术处理重要任务或决策的人，都必须考虑潜在风险和责任问题，从而减少由技术造成的大灾难可能性。
