企业 AI 知识库上线前：怎样验证答案可靠、权限正确

能回答几个问题，还不等于可以上线

企业知识库的演示通常从“这个产品有什么功能”开始，资料清楚时很容易看到流畅回答。实际使用却会遇到旧版手册、相互冲突的文件、不同岗位权限以及资料中根本没有答案的问题。

检索增强生成（RAG）会先从外部知识中查找相关内容，再让模型结合这些内容回答。Microsoft 的方案评测指南建议分别考虑数据准备、切分、检索及最终回答等环节，而不是只评价最终一句话是否顺畅。[1]

本文提供一套面向企业内部问答的试点评测方法。它关注如何判断系统是否适合既定业务范围，不把单次演示表现视为可靠性的证明。

点击放大

先确认什么资料可以作为答案依据

资料入库前，应明确维护人、生效版本、适用产品、适用岗位和更新时间。扫描件表格、图片中的参数以及跨页说明需要特别检查，避免文字提取后把条件或单位丢掉。

同一主题有新版与旧版时，应制定当前有效范围和历史查询规则。用户问“现在怎样操作”时，不应把已废止版本当作现行依据；用户明确查询某历史版本时，也需要能够区分，而不是只删除全部旧文件。

每个知识片段最好保留原始文档、章节位置、版本和访问条件。切分方式是否合适，可以先用少量真实问题观察：相关条件是否被切到另一个片段，表头是否还与数值在一起，引用是否可以返回原文。

题集要包含系统不容易答对的情况

可以为试点准备一组覆盖不同问题类型的题集：直接查找、需要组合多段信息、带具体产品版本、包含模糊名称、资料中没有答案、资料冲突以及不同权限下的相同问题。

题目不应全部由实施人员根据检索结果倒推。让业务人员提供日常问法，并保留一部分不参与调参的测试题，才能观察系统对未见问题的表现。测试数量可按范围扩充，关键是类型覆盖与答案依据清楚。

每道题记录预期要点、允许使用的来源、不能出现的错误以及必要的澄清条件。某些问题没有唯一措辞，但仍能判断事实是否准确、是否遗漏关键限制、是否引用了正确版本。

这是测试设计样例，不代表系统已获得某项认证或达到固定准确率。

点击放大

把检索问题和回答问题分开定位

如果正确资料根本没有进入候选内容，优先检查文档提取、片段切分、索引与检索方式；如果资料已找到，回答仍给出错误参数，就应检查上下文组织、冲突处理或回答约束。

“带了三个引用”只是形式。需要逐条核对引用是否支持对应结论，引用页面是否真的包含该参数，以及回答是否把适用条件省略。检索命中与答案忠实于来源是两个不同层面的结果。

对于没有答案或证据冲突的题目，合适行为可能是说明资料不足、请求澄清或转给责任岗位。NIST 的生成式 AI 风险资料将自信但错误的内容与数据隐私列为需要关注的风险。[2] 在企业场景中，这要求评测不能只奖励回答数量，也要检查错误回答和越权披露。

点击放大

权限不能只靠提示语

“请不要回答保密内容”无法替代真实访问控制。应在检索和数据访问环节落实用户权限，并检查缓存、历史对话、引用预览与导出是否遵守同样规则。切换账号后仍能看到上一位用户的结果，是必须单独验证的边界。

对于会调用业务系统的 AI 助手，还要把“查资料”和“执行动作”分开评估。查询库存与修改订单具有不同后果；可执行动作需要明确授权范围、必要确认、审计记录和失败处理。

试点可以先限定在只读问答，验证知识准确性和访问边界，再按业务需要扩展能力。是否使用私有化部署，也不能代替对权限、日志和更新流程的具体测试。

点击放大

用固定条件比较每一次改动

每次修改文档、切分策略、检索参数或模型配置，都应记录版本，并在同一题集上复测。除了整体通过率，还要按题型展示问题，避免简单题占多数而掩盖无答案和权限类失败。

响应时间与费用同样要按业务范围评估，例如常见问题的等待时间、复杂问题的较慢响应、并发压力下的失败情况，以及维护人员处理一次知识更新的成本。示例阈值可以用于讨论，正式验收值应由企业根据用途确定。

最终交付不只是一份评分，还包括问题清单、已知边界、资料维护职责和回退安排。当业务发现错误时，能够定位来源、修正知识并复测，AI 知识库才具备持续改善的基础。