很多老板以为:买个模型、接个 API、做个知识库,AI 化就完成了。
真实情况是——模型跑起来,只是风险的开始。

门一:数据从哪来,得说得清
训练语料、微调数据、检索知识库,任何一个来源不干净,模型输出就可能带偏。
成熟做法不是"先跑再管",而是建立三本账:
数据来源台账(哪来的、谁授权的);
清洗标注台账(怎么处理的、去没去敏);
使用流向台账(进了哪个模型、用在哪个业务)。
数据合规的本质,是留好每一段轨迹。
门二:模型不是"黑盒",要能测评
上线前至少做五类测试:
提示注入测试(能不能被一句话带偏);
越狱测试(能不能突破系统设定);
对抗样本测试(输入扰动后还稳不稳);
数据投毒复现(脏数据会不会影响结果);
内容标识与溯源(生成内容能不能追到源头)。
参考业内一些 AI 安全白皮书里的思路:风险要"看得见、管得住、测得出、追得回"。
门三:权限要给"最小",别让 AI 当管理员
智能体(Agent)一旦能调接口、发邮件、改数据库,就必须有边界:
人和 AI 双主体认证;
高危动作人工确认;
按角色粒度授权,不给完整权限;
每次工具调用留日志。
否则一个被劫持的 AI 助手,比一个离职没收回权限的员工危险得多。
门四:责任要有人接,不能甩给"技术中立"
AI 出错了,谁负责?
模型方:训练数据、安全测试、异常处置机制;
平台方:内容标识、审核、申诉通道;
使用方:业务场景里的边界设定和人工复核。
"技术中立"不是免责牌。能力越强,责任越重。
CCRC-AISO人工智能安全官,授权单位,辉达
马老师13521730416
丁老师13522094648

给管理者的三句实在话
别再问"要不要上 AI",要问"上完之后谁来管";
安全团队要提前进项目,别等出事再救火;
未来评估人才,不光看会不会用 AI,还要看懂不懂给 AI 设边界。
智能时代,真正稀缺的不是会写提示词的人,是能让 AI 安全跑在业务里的人。
