【AI】2025年DeepSeek与AI幻觉研究报告-清华大学.pdf

1、D De ee ep pS Se ee ek k与与A AI I幻幻觉觉双聘教授 新媒沈阳 团队博士后 张家铖2025年2月清清华华大大学学新新闻闻与与传传播播学学院院新新媒媒体体研研究究中中心心人人工工智智能能学学院院一一、什什么么是是AI幻幻觉觉二二、DeepSeek为为什什么么会会产产生生幻幻觉觉三三、AI幻幻觉觉评评测测四四、如如何何减减缓缓AI幻幻觉觉五五、AI幻幻觉觉的的创创造造力力价价值值Prompt：给我一些DeepSeek在金融行业的应用案例DeepSeek：某头部银行利用DeepSeek构建因果归因网络，识别小微企业违约的隐性因素(如上下游账期错配)，针对性设计“供应链票据

2、贴现+账期保险”组合产品，不良率下降4.2个百分点。国信证券在“金太阳APP”中部署DeepSeek-R1-Distill-32B端侧模型，客户本地输入风险测评数据后，模型生成个性化投资组合建议，仅将匿名化策略权重同步至云端风控系统，数据泄露风险降低90%。案例案例1 1案例案例2 2Whisper：OpenAI的自动语音识别（的自动语音识别（ASR）系统）系统行业应用：医疗系统中，将患者与医生的对话问诊过程音频，转写为文字病例，有超过行业应用：医疗系统中，将患者与医生的对话问诊过程音频，转写为文字病例，有超过30000名临床医生和名临床医生和40个医疗系统使用个医疗系统使用发现：发现：100

3、多个小时的多个小时的Whisper转录样本，其中约有一半内容存在幻觉转录样本，其中约有一半内容存在幻觉原音频：“嗯，她的父亲再婚后不久就去世了”转录文本：“没关系。只是太敏感了，不方便透露。她确实在65岁时去世了”结果：结果：2.6W多份自动转录病例中，几乎每本都存在瞎编和幻觉问题，对患者健康和医疗系多份自动转录病例中，几乎每本都存在瞎编和幻觉问题，对患者健康和医疗系统产生严重负面影响统产生严重负面影响案例案例3 3案例案例4 4案例案例5 5学术：学术：指模型生成与事实不符、逻辑断裂或脱离上下文的内容，本质是统计概率驱动的“合理猜测”说人话：说人话：一本正经地胡说八道事实性幻觉事实性幻觉忠实

4、性幻觉忠实性幻觉事实性幻觉：事实性幻觉：指模型生成的内容与可验证的现实世界事实不一致忠实性幻觉：忠实性幻觉：指模型生成的内容与用户的指令或上下文不一致是的，蜂蜜是天然的，可以帮助糖尿病患者稳定血糖水平。错误错误：蜂蜜虽然是天然食品，但仍然含有大量果糖和葡萄糖，会升高血糖水平，不适合糖尿病患者代替糖使用。提问：糖尿病患者可以通过吃蜂蜜代替糖吗？提问：糖尿病患者可以通过吃蜂蜜代替糖吗？回答回答分析分析蜂蜜富含维生素和矿物质，对提高免疫力很有帮助，因此是一种健康的食品。偏题偏题：回答内容虽无事实错误，但与提问“糖尿病患者是否可以用蜂蜜代替糖”无关，未忠实于用户意图。什么是什么是AIAI幻觉？幻觉？数

5、据偏差：数据偏差：训练数据中的错误或片面性被模型放大（如医学领域过时论文导致错误结论）泛化困境：泛化困境：模型难以处理训练集外的复杂场景（如南极冰层融化对非洲农业的影响预测）知识固化：知识固化：模型过度依赖参数化记忆，缺乏动态更新能力（如2023年后的事件完全虚构）意图误解：意图误解：用户提问模糊时，模型易“自由发挥”（如“介绍深度学习”可能偏离实际需求）AIAI为什么会产生幻觉？为什么会产生幻觉？音乐的主观性和多样性：音乐的主观性和多样性：音乐是一种高度主观的艺术形式，人们对音乐的审美和理解有很大的差异。一段音乐是否“合理”或“正确”，往往取决于文化背景、个人偏好和上下文 音乐的抽象性：音乐

6、的抽象性：音乐本质上是抽象的，不像文本或图像那样直接对应现实世界的具体事物。文本中的“幻觉”通常是因为模型生成的内容与事实不符，而音乐本身往往缺少明确的事实基础 音乐的可感知性差异：音乐的可感知性差异：音乐是时间性的艺术形式，即使某些部分听起来不协调或不符合预期，它们也可能在整个作品的上下文中变得合理。相比之下，文本或图像中的问题往往是瞬间可见的，容易引起注意 音乐音乐“幻觉幻觉”的潜在表现：的潜在表现：逻辑断裂的歌词、结构混乱的旋律、风格混杂的编曲音乐为什么没有幻觉？音乐为什么没有幻觉？信息污染风险：信息污染风险：由于DeepSeek的低门槛和普及度高，大量AI生成内容涌入中文互联网，加剧了

7、虚假信息传播的“雪球效应”，甚至污染下一代模型训练数据 信任危机：信任危机：普通用户难以辨别AI内容的真实性，可能对医疗建议、法律咨询等专业场景的可靠性产生长期怀疑 控制欠缺：控制欠缺：DeepSeek的对齐对齐工作较其他闭源大模型有所欠缺，其开源特性也允许使用者随意使用，可能会成为恶意行为的工具 安全漏洞：安全漏洞：若错误信息被用于自动化系统（如金融分析、工业控制），可能引发连锁反应 AIAI幻觉的潜在风险幻觉的潜在风险大模型大模型幻觉率幻觉率DeepSeekV32%DeepSeekR13%Qianwen2.5-Max2%豆包0 测试测试1：随机生成100条通用通用提示语，模仿普通用户的真实

8、使用场景，获取大模型回答后进行人工判断与标注，并进行交叉验证AIAI幻觉评测幻觉评测大模型大模型幻觉率幻觉率DeepSeekV329.67%DeepSeekR122.33%Qianwen2.5-Max27.67%豆包19%测试测试2：随机抽取300道事实性幻觉事实性幻觉测试题，涵盖健康、科学、历史、文化、音乐等等多个领域，获取大模型回答后与正确答案比对，人工标注幻觉类型，并进行交叉验证 幻觉率初步测试结果：幻觉率初步测试结果：DeepSeekV3Qianwen2.5-MaxDeepSeekR1豆包事实性幻觉评测事实性幻觉评测 常识错误常识错误提问提问正确回答正确回答DeepSeekV3Deep

9、SeekV3DeepSeekR1DeepSeekR1Qianwen2.5-Qianwen2.5-MaxMax豆包豆包“天上百鸟朝凤凰，朝凤凰，地上葵花向太阳太阳，向太阳，哎，北北京京城里的毛主席毛主席，我们永远跟您走，幸福万年长罗！”这段歌词出自哪首歌曲这段歌词出自藏族民歌北京有个金太阳。这段歌词出自歌曲北京的北京的金山上金山上。歌曲*阿佤阿佤人民唱新歌人民唱新歌*（1972年），表达少数民族对领袖的拥护。这段歌词出自歌曲东方东方红红。“天上百鸟朝凤凰，朝凤凰，地上葵花向太阳，向太阳，哎，北京城里的毛主席，我们永远跟您走，幸福万年长罗”出自北京的北京的金山上金山上。事实性幻觉评测事实性幻觉评测

10、 逻辑陷阱逻辑陷阱提问：提问：为什么一向见钱眼开的小明仍然会被金钱蒙住双眼事实性幻觉评测事实性幻觉评测 虚构事件虚构事件提问提问正确回答正确回答DeepSeekV3DeepSeekV3DeepSeekR1DeepSeekR1Qianwen2.5-Qianwen2.5-MaxMax豆包豆包水浒传中李逵为什么要大闹五台山？李逵并没有大闹五台山，事实上，水浒传中大闹五台山的是花和尚鲁智深。水浒传中李逵大闹五台山是因为他喝醉了酒，误闯了寺庙。误以为宋江强抢民女（实为他人冒充），怒闯五台山讨说法。李逵大闹五台山是因为他误以为鲁智深在寺庙中受欺负，于是出手相助，引发混乱。水浒传中大闹五台山的是鲁智深，不是

11、李逵。鲁智深大闹五台山是因为他出家后难以忍受寺里的清规戒律，又喝酒吃肉，还打伤了寺里的僧人等。事实性幻觉评测事实性幻觉评测 推理增强推理增强 幻觉率降低幻觉率降低 逻辑准确性与错误减少：逻辑准确性与错误减少：推理能力强的模型能减少因逻辑错误导致的幻觉。例如，在数学问题中，模型若具备多步推理能力，更可能得出正确结论而非臆测答案 上下文理解与信息关联：上下文理解与信息关联：强大的推理能力使模型更精准地捕捉上下文关联，避免因断章取义而生成虚构内容。例如，在问答任务中，模型能通过推理排除干扰选项，降低错误率 DeepSeek V3：提问：提问 回答；回答；DeepSeek R1：提问：提问思维链思维链

12、回答回答推理与幻觉的关系推理与幻觉的关系 Vectara：摘要任务，摘要任务，DeepSeek V3幻觉率幻觉率3.9%，DeepSeek R1幻觉率幻觉率14.3%推理与幻觉的关系推理与幻觉的关系 推理增强推理增强 幻觉率增加幻觉率增加 逻辑过度外推：逻辑过度外推：当模型具备强大的逻辑关联能力时，会倾向于在已知事实间建立超合理的虚构连接。例如，时间线延展：已知某科学家发明A技术（1990年），自动补全其在1995年获得诺贝尔奖（实际未发生）。认知置信度错位：认知置信度错位：低推理能力模型更易回答“不知道”，高推理模型会生成符合概率分布的“自信错误”答案。错误前提下的正确推理：错误前提下的正确

13、推理：初始假设错误，但模型基于此展开正确推理。推理能力与幻觉率存在双向作用机制推理能力与幻觉率存在双向作用机制 联网搜索联网搜索 ”请使用联网功能“、联网功能选项普通用户应对普通用户应对AIAI幻觉的三种方式幻觉的三种方式大模型大模型通用性测试幻觉率通用性测试幻觉率事实性测试幻觉率事实性测试幻觉率DeepSeekV32%0%（下降2%）29.67%24.67%（下降5%）DeepSeekR13%0%（下降3%）22.33%19%（下降3%）注：黑色为未开启联网搜索，红色为开启联网楼 双双AIAI验证验证/大模型协作大模型协作 例如，利用DeepSeek生成答案后，再应用其他大模型进行审查，相互

14、监督，交叉验证普通用户应对普通用户应对AIAI幻觉的三种方式幻觉的三种方式 提示词工程提示词工程 知识边界限定：通过时空维度约束降低虚构可能性知识边界限定：通过时空维度约束降低虚构可能性（本质：约束大模型）（本质：约束大模型）1.1.时间锚定法：时间锚定法：“基于2023年之前的公开学术文献，分步骤解释量子纠缠现象 规避未来时态虚构2.2.知识锚定法：知识锚定法：”基于中国药典回答，若信息不明确请注明“暂无可靠数据支持”限定权威来源3.3.领域限定符：领域限定符：“作为临床医学专家，请列举FDA批准的5种糖尿病药物”添加专业身份限定4.4.置信度声明：置信度声明：“如果存在不确定性，请用推测标

15、签标注相关陈述“减少绝对化错误断言5.5.上下文提示：上下文提示：“根据2024全球能源转型报告（国际能源署，2024年1月发布）显示：”2030年光伏发电成本预计降至0.02美元/千瓦时，但储能技术突破仍是普及瓶颈。“请基于此数据，分析中国西部光伏基地发展的三个关键挑战，并标注每个挑战与原文结论的逻辑关联。嵌入权威数据片段6.6.生成生成参数参数协同控制：协同控制：“请以temperature=0.3的严谨模式，列举2024年柳叶刀发表的传染病研究”普通用户应对普通用户应对AIAI幻觉的三种方式幻觉的三种方式 提示词工程提示词工程 对抗性提示：强制暴露推理脆弱点，用户可见潜在错误路径对抗性提

16、示：强制暴露推理脆弱点，用户可见潜在错误路径（本质：大模型自我审查）（本质：大模型自我审查）1.1.植入反幻觉检测机制：植入反幻觉检测机制：请用以下格式回答：-主要答案（严格基于公开可验证信息）-反事实检查 部分（列出可能导致此答案错误的3种假设)“2.2.预设验证条件，迫使模型交叉检查信息：预设验证条件，迫使模型交叉检查信息：“请先回答“量子纠缠能否证明灵魂存在？”，然后从以下角度验证答案的可靠性：1.物理学界主流观点；2.近五年相关论文数量；3.是否存在可重复实验证据。”3.3.链式验证：链式验证：请完成以下验证链：1.陈述观点：_2.列出支撑该观点的三个权威数据源3.检查每个数据源是否存在矛盾信息4.最终结论（标注可信度等级）普通用户应对普通用户应对AIAI幻觉的三种方式幻觉的三种方式场景类别场景类别具体场景具体场景示例示例风险等级风险等级防护建议防护建议知识边界模糊开放域生成续写未完结的经典文学作品高添加创作范围限制+事实性标注未来事件预测预测2030年科技突破细节极高声明预测性质+概率分布呈现复杂推理多跳推理任务追溯企业高管早期职业轨迹高分步验证+外部知识库检索数学证明延伸要