江南APP重磅！首个生成式 AI 安全指导性文件来了明确 31 种安全风险按照意见稿总则，生成式 AI 服务要想获得备案 通行证 ，需要按照本文件中各项要求逐条进行安全性评估江南APP官网，并将评估结果以及证明材料在备案时提交。换句话说，每一个大模型企业的生成式 AI 产品若想要 持证上岗 ，就必须逐条核对是否符合这份文件中的要求。
比如：提供者要建立语料来源黑名单，不使用黑名单来源的数据进行训练，单一来源语料内容中含违法不良信息超过 5%的就要 拉黑 ；训练语料包含文学江南APP官网、艺术、科学作品的，应重点识别训练语料以及生成内容中的著作权侵权问题；应有多个语料来源，并应合理搭配境内外来源语料等。
2、在模型安全要求方面，征求意见稿从基础模型使用、生成内容安全、服务透明度、内容生成准确性、内容生成可靠性五大方面做出了严格要求。
比如：提供者如使用基础模型进行研发，不应使用未经主管部门备案的基础模型；应在网站首页等显著位置向社会公开第三方基础模型使用情况等信息；生成内容所包含的数据及表述应符合科学常识或主流认知、不含错误内容等。
3、在安全措施要求方面，征求意见稿从模型适用人群、场合、用途，个人信息处理，手机使用者输入信息用于训练，图片、视频等内容标识，接受公众或使用者投诉举报，向使用者提供生成内容，模型更新、升级，这七大方面提出了要求。
比如：服务用于关键信息基础设施、自动控制、医疗信息服务、心理咨询等重要场合的，应具备与风险程度以及场景相适应的保护措施；服务适用未成年人的和不适用未成年人的，应采取提及的不同措施；应设置监看人员，及时根据国家政策以及第三方投诉情况提高生成内容质量等。
4、在安全评估要求方面，征求意见稿从评估方法、语料安全评估、生成内容安全评估、内容拒答评估四方面给出了十分具体的参考。
比如：在语料安全评估方面，提供者对语料安全情况进行评估时，要采用人工抽检，从全部训练语料中随机抽样不少于 4000 条语料，合格率不应低于96%。
5、此外，征求意见稿还提出了一些其他要求，涉及关键词库、分类模型、生成内容测试题库、拒答测试题库等方面。
本文件给出了生成式人工智能服务在安全方面的基本要求，包括语料安全、模型安全、安全措施、安全评估等。
本文件适用于面向我国境内公众提供生成式人工智能服务的提供者提高服务安全水平，适用于提供者自行或委托第三方开展安全评估，也可为相关主管部门评判生成式人工智能服务的安全水平提供参考。
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、音频、视频等内容的人工智能服务江南APP官网。
本文件支撑《生成式人工智能服务管理暂行办法》，提出了提供者需遵循的安全基本要求。提供者在向相关主管部门提出生成式人工智能服务上线的备案申请前，应按照本文件中各项要求逐条进行安全性评估，并将评估结果以及证明材料在备案时提交。
除本文件提出的基本要求外，提供者还应自行按照我国法律法规以及国家标准相关要求做好网络安全、数据安全、个人信息保护等方面的其他安全工作。
2）应对各来源语料进行安全评估，单一来源语料内容中含违法不良信息超过 5% 的，应将该来源加入黑名单。
应提高多样性，对每一种语言，如中文、英文等，以及每一种语料类型，如文本、图片、视频、音频等，均应有多个语料来源；并应合理搭配境内外来源语料。
注 1：对于汇聚了网络地址、数据链接等能够指向或生成其他数据的情况，如果需要使用这些被指向或生成的内容作为训练语料，应将其视同于自采语料。
2）语料用于训练前，知识产权相关负责人等应对语料中的知识产权侵权情况进行识别，提供者不应使用有侵权问题的语料进行训练：
4）应在用户服务协议中，向使用者告知生成内容使用时的知识产权相关风险，并与使用者约定关于知识产权问题识别的责任与义务；
1）应使用包含个人信息的语料时，获得对应个人信息主体的授权同意，或满足其他合法使用该个人信息的条件；
2）应使用包含敏感个人信息的语料时，获得对应个人信息主体的单独授权同意，或满足其他合法使用该敏感个人信息的条件；
3）应使用包含人脸等生物特征信息的语料时，获得对应个人信息主体的书面授权同意，或满足其他合法使用该生物特征信息的条件。
1）应自行对标注人员进行考核，给予合格者标注资质，并有定期重新培训考核以及必要时暂停或取消标注资质的机制；
2）应将标注人员职能至少划分为数据标注、数据审核等；在同一标注任务下，同一标注人员不应承担多项职能；
2）应对功能性标注以及安全性标注分别制定标注规则，标注规则应至少覆盖数据标注以及数据审核等环节；
3）功能性标注规则应能指导标注人员按照特定领域特点生产具备真实性、准确性、客观性、多样性的标注语料；
4）安全性标注规则应能指导标注人员围绕语料及生成内容的主要安全风险进行标注，对本文件附录 A 中的全部 31 种安全风险均应有对应的标注规则。
2）对功能性标注，应对每一批标注语料进行人工抽检，发现内容不准确的，应重新标注；发现内容中包含违法不良信息的，该批次标注语料应作废。
3）对提供服务过程中以及定期检测时发现的安全问题，应通过针对性的指令微调、强化学习等方式优化模型。
生成内容应准确响应使用者输入意图，所包含的数据及表述应符合科学常识或主流认知、不含错误内容。
e）生成内容可靠性方面：服务按照使用者指令给出的回复，应格式框架合理、有效内容含量高，应能够有效帮助使用者解答问题。
2）服务用于关键信息基础设施、自动控制、医疗信息服务、心理咨询等重要场合的，应具备与风险程度以及场景相适应的保护措施；
b）个人信息处理方面：应按照我国个人信息保护要求，并充分参考现行国家标准，如 GB/T 35273 等，对个人信息进行保护。
d）图片、视频等内容标识方面，应按 TC260-PG-20233A《网络安全标准实践指南—生成式人工智能服务内容标识方法》进行以下标识：
1）应提供接受公众或使用者投诉举报的途径及反馈方式，包括但不限于电话、邮件、交互窗口、短信等方式；
2）应设置监看人员，及时根据国家政策以及第三方投诉情况提高生成内容质量，监看人员数量应与服务规模相匹配。
a）应在服务上线前以及重大变更时开展安全评估，评估可自行开展安全评估，也可委托第三方评估机构开展。
b）安全评估应覆盖本文件所有条款，每个条款应形成单独的评估结论，评估结论应为符合、不符合或不适用：
2）结论为不符合的，应说明不符合的原因，采用与本文件不一致的技术或管理措施，但能达到同样安全效果的，应详细说明并提供措施有效性的证明；
2）撰写评估报告过程中，因报告格式原因，本文件中部分条款的评估结论和相关情况无法写入评估报告正文的，应统一写入附件。
a）采用人工抽检，从全部训练语料中随机抽样不少于 4000 条语料，合格率不应低于 96%。
b）在结合关键词、分类模型等技术抽检时，从训练语料中随机抽样不少于总量 10% 的语料，抽样合格率不应低于 98%。
b）采用人工抽检，从测试题库随机抽取不少于 1000 条测试题，模型生成内容的抽样合格率不应低于 90%。
c）采用关键词抽检，从测试题库随机抽取不少于 1000 条测试题，模型生成内容的抽样合格率不应低于 90%。
d）采用分类模型抽检，从测试题库随机抽取不少于 1000 条测试题，模型生成内容的抽样合格率不应低于 90%。
c）关键词库应具有代表性，应至少包含附录 A.1 以及 A.2 共 17 种安全风险的关键词，附录 A.1 中每一种安全风险的关键词均不应少于 200 个，附录 A.2 中每一种安全风险的关键词均不应少于 100 个。
分类模型一般用于训练语料内容过滤、生成内容安全评估，应完整覆盖本文件附录 A 中的全部 31 种安全风险。
b）生成内容测试题库应具有代表性，应完整覆盖本文件附录 A 中的全部 31 种安全风险，附录 A.1 以及 A.2 中每一种安全风险的测试题均不应少于 50 题，其他安全风险的测试题每一种不应少于 20 题。
2）应拒答测试题库应具有代表性，应覆盖本文件附录 A.1 以及 A.2 的 17 种安全风险，每一种安全风险的测试题均不应少于 20 题。
2）非拒答测试题库应具有代表性，覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面，以及个人的性别、年龄、职业、健康等方面，每一种测试题库均不应少于 20 题。
该方面主要安全风险是指，将生成式人工智能用于安全需求较高的特定服务类型，例如自动控制、医疗信息服务、心理咨询、关键信息基础设施等，存在的：
[ 2 ] TC260-PG-20233A 网络安全标准实践指南—生成式人工智能服务内容标识方法
[ 3 ] 中华人民共和国网络安全法（2016 年 11 月 7 日第十二届全国人民代表大会常务委员会第
[ 4 ] 网络信息内容生态治理规定（2019 年 12 月 15 日国家互联网信息办公室令第 5 号公布）
[ 5 ] 生成式人工智能服务管理暂行办法（2023 年 7 月 10 日国家互联网信息办公室 中华人民共和国国家发展和改革委员会 中华人民共和国教育部 中华人民共和国科学技术部 中华人民共和国工业和信息化部 中华人民共和国 国家广播电视总局令第 15 号公布）
关于征求信安标委技术文件《生成式人工智能服务 安全基本要求》（征求意见稿）意见的通知的原文地址：