数据进 AI 之前的四道关卡：训练、知识库、Prompt、工具调用

AI 把矿石变成了金子

数据安全的下一道关卡

过去两年,几乎每一家企业都在以前所未有的速度把 AI 引入业务——内部知识库智能问答、研发效率工具、销售辅助系统、客户服务智能体、运营数据分析助手。AI 在企业内的普及速度,超过了过去任何一次技术浪潮。

但是,在 AI 给业务带来巨大价值的同时,一件事悄悄地发生了变化——

AI 改变了企业数据的「物理状态」。

AI 之前,企业的非结构化数据像矿石——体量巨大、散落各处、价值低密度、流通受限。它们存在,但很少被真正用起来,因此对数据安全的「实际威胁」相对有限。

AI 之后,同样这批数据被提炼成了金子——结构化、高密度、可调用、可组合。它们成为企业最有价值的资产,同时也成为最显眼的安全风险。

这一期我们正面讨论一个问题:在 AI 时代,数据安全的新关卡应该建在哪里?如果说前几期我们讨论的是「分类分级如何成为传统数据安全的统一识别层」,这一期讨论的是「分类分级如何成为 AI 时代数据治理的前置筛选层」。

一、AI 把矿石提炼成了金子

讨论之前,先把这个比喻讲清楚——为什么说 AI 把矿石变成了金子?

AI 之前的非结构化数据是「矿石」

在生成式 AI 大规模应用之前,企业里的非结构化数据是一种尴尬的资产形态:

1. **海量存在,**但难以利用——每个员工的电脑、邮箱、网盘里堆着数千份文档,真正被反复使用的极少;

2. **高价值可能性,**但提取成本极高——一份历史合同的关键条款、一份客户访谈的核心结论、一份内部会议的决策依据,都需要人工阅读才能取出;

3. **广泛流转,**但流向不清——文档在邮件里、IM 里、网盘里被转来转去,最终落在哪里、被谁拷过,大部分时候是黑盒;

4. **天然敏感,**但保护薄弱——非结构化数据的传统保护手段(关键字 DLP、终端管控)效果相对一般,但因为「难以被快速大规模利用」,实际损害相对有限。

这是一种「价值未释放、风险未爆发」的均衡状态——非结构化数据像地下的矿石,价值理论存在,但开采不便,所以没人真正去开采。

AI 之后的非结构化数据是「金子」

生成式 AI 改变了这个均衡。当一份非结构化数据被采集进知识库、被向量化、被微调进模型、被作为 Prompt 上下文时,它的形态发生了根本性的转化:

1. **价值密度跃升:**原本需要人工阅读三十分钟才能提取的合同要点,AI 在一秒内汇总;

2. **可访问性跃升:**原本需要知道「文件在哪个文件夹」才能找到的资料,现在一句自然语言提问就能命中;

3. **可组合性跃升:**AI 可以跨数百份文档自动检索、关联、生成——这是人工根本做不到的;

4. **流转范围跃升:**企业里任何一个有 AI 权限的人,都能间接接触到曾经被「藏在某个部门文件夹」里的数据。

一句话总结:AI 让企业的非结构化数据从「沉睡的矿石」变成了「直接可用的金子」。这种转化是企业数字化迈向智能化的关键一步,也是 AI 时代企业竞争力的核心来源。

矿石与金子的对照

这张表的每一行都呈现一次「价值跃迁」——但每一次价值跃迁背后,都对应着一次「风险跃迁」。

二、金子无处不在,风险也无处不在

把矿石变成金子,带来的不只是商业价值,还有一个对称的安全代价——

金子无处不在,意味着风险也无处不在。

AI 时代的数据安全风险,不再是「某个特定数据库被入侵」「某个特定文件被外发」这种集中式风险,而是「数据在 AI 链路的每一个节点都可能被泄露」的分布式风险。

风险跃迁的五种典型表现

表现一:知识库成为「半透明」的数据资产

当企业把数千份内部文档喂给一个智能问答系统后,这些文档的内容就以「答案片段」的形式被无数次重新组合输出。

过去,一份高敏文档只可能被知道路径的少数人打开;现在,任何对知识库有访问权限的员工,都可以通过提问的方式间接接触到这份文档的核心内容——即使他根本不知道这份文档的存在。

表现二:向量库的「不可解释」泄露

当文档被向量化后,它的内容被压缩到 Embedding 空间。理论上向量是「不可逆」的,但实践中——

1. 通过精心设计的查询,可以从向量空间中反推出原文的关键信息;

2. 相似度查询本身就泄露了「数据库中存在某类内容」的事实;

3. 向量库一旦被拷走,原始数据虽然不在,但语义信息已经全部留下。

更麻烦的是——向量库的内容人眼无法直接阅读,也无法直接审计,传统数据安全工具对它几乎完全失明。

表现三:微调权重里的「记忆残留」

当企业用内部数据微调大模型时,这些数据的特征会被编码进模型权重。研究表明,大模型对训练数据有显著的「记忆能力」——

1. 精心设计的 Prompt 可以让模型「吐回」训练样本的原文片段;

2. 敏感字段(姓名、电话、地址、ID 号)在训练样本中出现频率较高时,模型记忆效应特别强;

3. 模型一旦被发布或泄露,训练数据的「数字痕迹」也随之扩散——而且无法被「召回」。

表现四:Prompt 与上下文的「即时暴露」

企业员工在与 AI 交互时,经常把敏感信息直接放在 Prompt 中——「帮我分析这位客户的还款记录:[贴入客户全部信息]」「帮我总结这份合同的关键条款:[贴入完整合同]」。

这些信息在传输过程、模型处理过程、日志记录过程中都可能留下痕迹。如果是公网 AI 服务,信息甚至可能被服务商用于后续训练。

表现五:AI Agent 的「自主调用」放大风险

最新一代的 AI Agent 可以自主调用工具——查数据库、调 API、读文件、发邮件。Agent 的「自主性」意味着——

1. 数据被访问的边界由 AI 决定,而不是由人决定;

2. 一次模糊的指令可能触发数十次工具调用,每一次都涉及不同数据;

3. 传统的「人 → 操作 → 数据」审计模式被打破,变成「人 → 自然语言意图 → AI 自主决策 → 多步操作 → 数据」。

当 AI 不只是「咨询工具」而是「自主执行者」时,数据安全的风险面积进一步扩大。

三、AI 自己解决不了 AI 的安全问题

面对以上这些风险,一个自然的反应是——AI 行业自己应该有解决方案吧?让 AI 自己变得更安全不就行了?

现实是——AI 行业本身,有四个关于数据安全的内生问题在短期内难以根本解决。这些问题不是个别厂商的实现缺陷,而是大语言模型这种技术范式的固有特性。

内生问题一:数据访问权限的不可感知

大语言模型在回答问题时,不知道「提问者有没有权限知道这件事」。它的回答机制是「根据语料生成最相关的答案」——只要训练数据或检索语料中存在相关信息,它就会输出。

这与传统数据库系统完全不同。数据库系统的每一次查询都明确「这个用户能不能访问这张表」;但语言模型不具备这种「用户身份感知」能力,它只知道「这个问题该怎么答」。

在企业内部 AI 应用中,这意味着——如果一个低权限员工通过精心设计的提问引导 AI 输出高权限信息,AI 本身无法识别这件事是越权的。

内生问题二:意图判断的不可靠

AI 行业一直在研究「让模型识别恶意意图」——比如检测 Prompt 是不是在尝试越狱、是不是在套取敏感信息、是不是在做社会工程学攻击。

但这件事的根本困难是——「意图」是上下文相关的、是会随时间变化的、是可以被巧妙伪装的。一个研究人员问「如何制作病毒」可能是出于学术目的,一个攻击者问同样的问题可能是出于恶意目的——模型很难区分。

在数据安全场景下,类似的情况是:同一个员工问「客户 A 的还款历史」,可能是正常业务需要,也可能是为了去举报客户隐私——意图判断本身就是一个 AI 难以独立完成的任务。

内生问题三:越权诱导的难以防范

过去两年,Prompt Injection、Jailbreak、Indirect Injection 等技术不断进化。攻击者可以通过巧妙的提问方式——

1. 绕过系统级提示约束;

2. 诱导模型输出原本不应该输出的内容;

3. 把恶意指令嵌入到看似无害的输入中。

AI 行业本身一直在做防御性研究,但「攻击 vs 防御」的军备竞赛远没有结束——而且这场竞赛在每一个新模型发布时都要重新开始一遍。

内生问题四:数据混淆传播

一份敏感信息一旦进入 AI 的「知识源」——无论是训练数据、知识库、还是 Prompt 历史——它的传播方式就变得不可控:

1. 可能在无数无关的问答中被引用;

2. 可能与其他信息组合后产生新的敏感推断;

3. 可能被压缩进模型权重后,以「隐式知识」的方式扩散。

传统数据安全可以做到「这份文件谁看过、什么时候看的、有没有被复制」的精确审计;但 AI 系统对这件事基本失明——一份数据一旦被吃进去,它就像水滴进入海洋,后续的扩散无从追溯。

结论:防线必须前移

以上四个问题不是某个厂商的缺陷,而是当前 AI 技术范式本身的边界。AI 行业未来当然会持续改进,但在可预见的时间内,指望「AI 自己变得安全」并不现实。

更务实的工程思路是——把防线前移。

既然 AI 内部的安全问题难以根治,最有效的方法,是在数据进入 AI 之前,就已经被严格筛选和分级。AI 处理的是经过分级的数据,而不是原始数据本身。

这是 AI 时代数据安全的核心方法论——让 AI 吃经过筛选的食物,而不是给 AI 装防护栏。

四、最佳实践:把关卡前移到「数据进 AI 之前」

把防线前移的核心工程动作是——在数据进入 AI 链路之前,对它进行精确的分类分级,并基于分级标签做差异化处理。

「数据进 AI」的四种路径

企业数据进入 AI 系统主要有四种路径,每一种都需要前置筛选:

路径一:训练数据

当企业用内部数据训练或微调大模型时,这些数据会被永久编码进模型权重。一旦进入,就不可撤销。

前置筛选的核心动作:训练数据集准备阶段,对每一份样本做分级判定,只允许特定级别以下的数据进入训练集;高级别样本要么彻底排除,要么经过深度脱敏后再进入。

路径二:知识库语料

企业知识库通常承载着 RAG 检索的语料——文档、问答对、流程说明、政策文件等。这些内容会被向量化、被存储、被实时检索。

前置筛选的核心动作:语料入库前对每一份文档做分级,按级别分别入库;同一系统里维护多个分级知识库,而不是一个混合大库。

路径三:实时 Prompt

员工与 AI 交互时输入的 Prompt 中可能含有敏感信息——客户数据、合同细节、个人信息、内部讨论等。

前置筛选的核心动作:在 Prompt 提交到模型之前,做实时的敏感数据识别,对高级别内容做提示、脱敏、阻断或审批。

路径四:工具调用结果

AI Agent 在执行任务时会调用各种工具——查数据库、读文件、调 API。这些工具返回的数据进入 AI 的上下文,成为后续推理的依据。

前置筛选的核心动作:工具调用返回的数据,在进入 AI 上下文之前,按用户角色与数据级别做过滤——AI 看到的,只是用户角色可见的那部分。

分类分级是前置筛选的核心能力

以上四种路径有一个共同点——它们都需要「在数据进入 AI 之前,知道这份数据是什么级别」。

这正是分类分级体系的核心能力。没有精确的分类分级,所有的前置筛选都只能基于关键词或简单规则,精度有限、覆盖有限;有了精确的分类分级,前置筛选可以做到字段级、内容级、上下文敏感的精细化。

AI 时代,分类分级不再是「合规要求」或「数据治理工作」,而是「让 AI 能够安全使用数据」的工程前提。

五、分级知识库:一个典型场景的深度展开

以上四种路径,「知识库」是最容易理解、也是最容易快速落地的场景。这一节我们用一个典型场景把它讲透——分级知识库的设计。

场景:一家保险公司的智能问答系统

假设一家保险公司要为内部员工建一个 AI 智能问答系统,服务对象包括客服、核保员、理赔员、销售员、管理层等多种角色。

能问答的内容覆盖:产品条款、理赔规则、客户信息、个案历史、内部流程、监管要求、业务数据分析等。

这些内容的敏感级别差异极大——产品条款是公开的、客户身份证号是高敏感的、理赔决策依据是中敏感的、管理层数据分析是高敏感的。如果把所有内容混在一个知识库里,任何用户提问都可能命中不该被命中的内容。

传统做法的困境

传统做法是在「单一知识库 + 角色权限」上做文章:

1. 把所有内容放进一个知识库;

2. 给每个用户分配一个角色;

3. 用提示词约束 AI——「如果用户是客服,不要回答涉及核保决策的内容」。

这种方法的问题非常明显——提示词约束是软约束。AI 在回答时不一定严格遵守,攻击者可以通过 Prompt Injection 绕过约束,普通用户也可能在不知情的情况下命中越权内容。

分级知识库的做法

正确的做法,是把单一大库拆分成多个按级别隔离的知识库:

1. **L1 公开级库：**包含产品条款、通用业务流程、监管公开信息;

2. **L2 内部级库：**包含内部流程、操作指南、培训材料;

3. **L3 业务敏感级库：**包含理赔规则、核保标准、业务策略;

4. **L4 高敏级库：**包含客户个案信息、特殊案件处理记录;

5. **L5 极敏级库：**包含管理层决策依据、敏感财务分析、个人敏感信息。

每个用户根据角色被授予访问特定级别库的权限——客服可访问 L1+L2,核保员可访问 L1+L2+L3,理赔员可访问 L1+L2+L3+L4,管理层可访问全部。

用户提问时,AI 检索的范围由权限决定——客服的问答只会命中 L1+L2 的内容,即使他通过精心设计的 Prompt 也无法让 AI 回答 L3 以上的内容,因为AI 根本接触不到那些数据。

这种做法为什么是「过去做不到的」

分级知识库的设计听起来简单,但在过去并不可行——因为缺少一个关键能力:对非结构化数据的精确分类分级。

当你想把数千份内部文档分配到五个级别的知识库时,你必须知道每份文档的敏感级别。如果分类分级靠人工,数千份文档的处理周期以月计;如果靠传统关键字识别,识别精度不够,大量文档分错级别,要么造成越权访问要么造成业务功能缺失。

只有真正的非结构化分类分级能力(参考第 06、07、08 期讨论的工程基础),才能让分级知识库这种设计在工程上真正可行——千万级文档可以在数天内完成分级,准确率达到运营可接受的水平,后续新增文档自动分级。

分级知识库不是「AI 时代的新概念」,而是「过去想做但做不到的事」。非结构化分类分级能力,把这件事从理论变成了工程。

六、AI 时代分类分级的六个应用场景

分级知识库只是一个开始。把分类分级与 AI 数据治理深度结合,可以展开的具体场景远不止这一个。下面列出六个最有价值的场景。

简单展开每一个场景的工程要点:

01 · 分级知识库

已在上一章展开,不再重复。这是最容易理解、最先在企业落地的场景。

02 · 微调数据筛选

当企业用内部数据微调大模型时,需要决定哪些数据可以「永久编码进模型权重」。建议的工程做法:

1. 严格排除 L4、L5 数据进入训练集;

2. L3 数据经过去标识化、去重识别风险评估后,谨慎进入;

3. 对训练样本做「记忆攻击」测试,确保模型不会复现训练样本原文。

03 · 检索阶段过滤

即使建立了分级知识库,在某些场景下用户的权限可能是动态的(临时授权、跨部门协作、特殊项目)。这种情况下需要在检索阶段做实时过滤:

1. RAG 检索时,首先按用户当前权限计算可访问的级别集合;

2. 向量检索的候选集中只保留权限内的文档;

3. 过滤后的结果再交给生成模型组装答案。

04 · 向量化前脱敏

在生成 Embedding 之前,对原始文本做分级处理:

1. L4、L5 字段(如完整身份证号、银行卡号)在向量化前替换为占位符;

2. 人名、电话等准标识符根据需要做去标识化;

3. 结构化关键字段做格式归一化,降低重识别风险。

这样做的好处是——即使向量库被拷走,原始敏感信息也不在向量空间中。

05 · Prompt 输入识别

用户在 AI 交互界面输入的 Prompt 本身可能含有敏感数据。建议的工程做法:

1. 在 Prompt 提交模型前,实时识别其中包含的敏感字段;

2. 识别到 L3 以上字段时,给出用户提示;

3. 识别到 L4 以上字段时,要求用户确认或自动脱敏;

4. 识别到 L5 字段时,直接阻断提交,并触发审计。

06 · 输出级别校验

AI 生成的输出内容也可能含有越权信息(比如 AI 检索到了某些被错误纳入低级别库的高敏文档)。建议做反向校验:

1. AI 输出内容在返回用户前,先做分类分级识别;

2. 如果识别到的最高级别超过用户授权级别,做脱敏或截断;

3. 识别结果与用户角色、问答场景一起记录,作为审计依据。

六个场景的共同骨架

把这六个场景合在一起看,会发现它们有一个共同的工程骨架——

1. **在数据流动的每一个关键节点,**对数据做分类分级识别;

2. **把分级标签作为决策依据,**驱动不同的处理策略;

3. **把所有决策动作记录下来,**作为后续审计与持续优化的输入。

这个骨架可以扩展到更多 AI 应用场景——AI Agent 的工具调用、多模态 AI 的图像识别、AI 协作中的数据共享、AI 编程助手的代码处理——分类分级都可以作为「数据进 AI 的前置关卡」介入。

七、写在最后:分类分级的下一个十年

回顾整个系列我们走过的认知路径——

1. 序篇:从模型训练到业务推理的范式之变;

2. 辑一:拆穿伪 AI 工具和准确率潜规则;

3. 辑二:从金融到全行业的体系展开,直到医疗深耕;

4. 辑三第 06、07、08 期:动态行业知识库、统一识别层、工程化落地;

5. 到这一期:分类分级在 AI 时代的角色演变。

一条清晰的演进线索贯穿其中——

分类分级正在从「合规要求」演变为「数据治理底座」,再演变为「AI 时代数据安全的前置关卡」。每一次演变都让它的角色更重要、更核心、更不可替代。

AI 时代的数据安全,最根本的工程命题不是「让 AI 更安全」,而是「让 AI 处理的数据本身是经过筛选的」。这件事的底层基础设施,正是高质量的、动态的、跨形态的分类分级能力。

回到本期开头那个隐喻——AI 把矿石变成了金子,既是企业最大的价值跃迁,也是企业最大的安全风险。守住这道关卡的方法,不是给金子加防护栏,而是在矿石被提炼之前,先做好甄别。

下一期是这个系列的收尾篇——我们会把所有讨论合起来,谈一谈数据安全的统一基础设施愿景:以分类分级为底座的全网治理。届时,这个系列走过的所有论点都会被一次性收束起来。

—— AiDClass 团队 · 模界数智