人工智能医疗器械软件网络安全常见风险及控制措施

医疗器械专栏将不定期更新医疗器械产品注册、检测认证等内容，包括政策法规解读、注册及安规问题分析等，以帮助相关企业解决医疗器械注册和质量问题。

一、人工智能医用软件生产企业的现场检查

常规软件对功能性要求较高，体系检查时主要注重厂房与设施、设备、文件管理、生产管理。

人工智能医用软件相对于传统软件而言，不再重点关注软件的功能需求，而是把算法和数据作为其核心工序，其现场检查的细节重点有别于常规软件。 人工智能医用软件产品的质量重点在于算法与数据。

目前，对于人工智能医用软件产品的质量体系现场检查以《医疗器械生产质量管理规范附录独立软件》、《医疗器械生产质量管理规范独立软件现场指导原则》（以下简称《指导原则》）作为依据及判定标准。

目前人工智能医用软件产品的现场检查监管工作仍处于有待完善的阶段，暂无单独应用于人工智能医用软件产品现场检查的相关附录。

二、生产企业现场检查常见问题分析

企业现场检查数据统计分析

通过分析广东省内人工智能医用软件产品生产企业的现场检查情况可知，生产管理（占比19.33%）、厂房与设施（占比18.00%）、文件管理（占比14.67%）、设备（占比12.00%）、设计开发（占比8.00%）、质量控制（占比8.00%）和采购（占比7.33%）环节中的各类不缺陷项出现较为频繁。但是出现在设备（占比29.17%）、厂房与设施（占比18.75%）、生产管理（占比18.75%）、质量控制（占比16.67%）等环节的严重缺陷更为突出。

常见缺陷及分析

2.1机构和人员

常见缺陷：

1）部门负责人任职要求的规定不明确；

2）培训内容和培训效果的有效评估等考核记录不全；

3）制定质量手册时未明确企业负责人。

严重缺陷：

1）实施相关软件项内审的人员未组织相关培训；

2）黑盒测试人员同时兼任同一软件项的开发以及测试岗位。

2.2 厂房与设施

常见缺陷：

1）生产企业未配置防静电设施；

2）软件存储媒介、包装等区域未进行明确划分及标识；

3）原料仓未细化区分合格品区、退货区、不合格品区、待验区；

4）包装材料、原材料分区不明确；

5）各部门区域未进行隔离划分；

6）未设置挡鼠板；

7）温湿度未进行有效控制；

8）货物签收未配备负责人。

2.3 设备、设计与开发

设备常见缺陷：

1）设备状态标识未明确；

2）没有制定产品具体的操作规则及程序；

3）操作记录并未实时保存；

4）未提供校准维护等情况记录；

5）检验设备与记录设备不符题；

6）未按照软件开发和测试维护文件规定保存相关记录；

7）在软件生命周期过程中无相关烧录、数据及防护的有效措施。

设计与开发常见缺陷：

1）在软件安全性级别判定、软件配置管理控制程序、用户测试、送检产品、风险管理、注册检验报告、缺陷分析报告中均存在部分记录未建立或保留完整的问题；

2）在软件生存周期过程控制中未确定软件要求；

3）企业软件版本控制作业中对软件版本未明确数值。

2.4 文件管理、生产管理

文件管理常见缺陷：

1）企业对文件的修订、复制等未严格按照控制程序管理，如修订新文件后，容易忽略对更新版本号与原版本号作区分、对相应旧版本的回收或追加作废标识、对更新的版本重新评审、批准和统一归档；

2）企业在相关记录中未能保证产品入库的可追溯性，缺少“检索、保存期限 ”的要求，不利于产品检索。

生产管理常见缺陷：

1）在软件发布相关文件方面，未做出具体的规定，忽略对最终版本的备份和保存；

2）在产品防护控制程序方面，无粉尘防护、运输防护要求；

3）产品检验前缺少对电脑进行病毒查杀工作；

4）产品检验时过程确认次数过少，无法保证软件的稳定性；

5）产品检验批号不统一、记录不完整；

6）在产品包装方面，未做好标识工作，防止混用和混淆措施不足。

从这两项检查中可以看出，部分企业对次要项工序存在“偷工减料 ”心理，对生产质量管理规范文件的认知和了解不够深入和全面。

2.5 采购

常见缺陷：

1）忽略对供应商的审核评估，尤其是在供应商搬迁导致地址信息变更后，未重新进行现场审核，导致审核记录不完整；

2）采购记录对采购要求不明确、导致缺失质量标准及检验报告、送货单等材料；

3）采购项目设置不合理；

4）未明确物料U盘的生产企业及具体技术要求。

2.6 质量控制

常见缺陷：

1）在产品放行程序中容易忽略软件版本识别、安装卸载测试等活动要求；

2）在成品检验报告中，容易缺少软件性能测试、检验设备自校环节；

3）对产品型号检验和出厂检验不能清晰地区分；

4）部分企业缺乏自检自测能力。

2.7 不良事件监测、分析和改进

常见缺陷：

1）对上市后监管的预估评价中，对网络安全事件要求过高；

2）内审或管理评审环节发现错误时仅进行纠错，未涉及对不良事件的分析或建立预防措施。

三、企业如何应对人工智能医用软件现场检查？

从人工智能医用软件生产质量管理（研发工艺）、监管现状、生产企业现场检查存在的问题与分析入手，笔者梳理出人工智能医用软件在生产质量管理过程中的特殊要求，并与《指导原则》的条款要求逐一进行比对分析，对《指导原则》中四个章节共11条条款进行细化，针对人工智能医用软件现场检查，提出以下相关建议：

_	独立软件附录法规特殊要求原文	建议
2.1.1	软件开发、测试、维护人员应当具备与岗位职责要求相适宜的专业知识、实践经验和工作能力。	人工智能软件健康数据采集人员、承担算法测试人员应具备相应专业知识，并经培训及考核通过后方可进行数据采集或测试。
2.3	设计开发软件生存周期过程质量保证活动要求应当与软件安全性级别相适宜。	设计开发对于第二、三类医疗器械中的人工智能应当参考“YY/T 0664 医疗器械软件软件生存周期过程”中软件安全性级别按C级的要求设定 DHF 文档。 *DHF 是设计历史文档。包含在完成医疗器械的设计和开发过程时所创建的所有文档。
2.3.2	软件安全性级别应当在采取风险控制措施之前，结合软件的预期用途、使用场景和核心功能进行综合判定，并仅可通过外部风险控制措施降低级别。
2.3.4	软件配置管理应当建立控制程序并形成文件，规范软件版本、源代码、文件、工具、现成软件等控制要求，确定配置标识、变更控制、配置状态记录等活动要求。使用配置管理工具保证软件质量，并贯穿于软件生存周期全过程。	人工智能医用软件配置管理文件应包含对算法模型和数据库的管理要求
2.3.7	现成软件使用应当形成文件，确定风险管理、验证与确认、缺陷管理、可追溯性分析、软件更新、配置管理、文件与记录控制、网络安全保证等活动要求。遗留软件还应当确定现有文件、上市后使用情况、用户投诉、不良事件、召回情况等评估活动要求。使用开源软件应当遵循相应开源许可协议。	应对第三方数据库、公开数据库及测评数据库的应用管理形成文件，明确来源、保存、确认和使用要求，包括预期目的、来源、版本、数据库容量、更新情况、使用情况等。对于公开数据库，若用于算法训练，使用情况应当明确数据使用量、数据分布、训练集所占比例，并提供其满足算法训练要求的评估资料；若用于算法性能评估，使用情况应当明确数据使用量、数据分布、测试集所占比例、评估指标与结果。对于测评数据库，若用于算法性能评估，使用情况应当明确评估指标与结果；若用于软件确认测试，使用情况应当提供其满足软件确认测试条件要求的评估资料。其他类型第三方数据库的要求参照公开数据库、测评数据库的适用要求。
2.3.8	软件开发策划应当确定软件需求分析、软件设计、软件编码、验证与确认、风险管理、缺陷管理、可追溯性分析、配置管理、文件与记录控制、现成软件使用、网络安全保证、评审等活动计划，形成相关文件和记录，并适时更新。软件开发策划应当保证软件开发和测试的人员及环境与软件开发要求相适宜。	对于算法的训练应当制定相应的训练方案，明确范围、目的以及合格评价标准，并输出相应的记录。
2.3.10	软件设计应当依据软件需求规范实施软件体系架构、功能、性能、算法、接口、用户界面、单元、网络安全等设计，确定风险管理、可追溯性分析、现成软件使用评估、软件验证测试计划创建、评审等活动要求，形成软件设计规范和评审记录并经批准，适时更新并经批准。可追溯性分析此时应当分析软件设计与软件需求之间的关系。	人工智能软件算法设计应当明确算法选择、算法训练、网络安全防护、算法性能评估等活动的质控要求。对于算法的选择，应当形成相应的分析报告，明确算法选择的过程，选择的标准以及选择的理由。包括所用算法的名称、结构（如层数、参数规模）、流程图、现成框架、输入与输出、运行环境、算法来源依据（或注明原创）等信息。
2.3.12	软件验证应当确定源代码审核、静态分析、动态分析、单元测试、集成测试、系统测试、评审等活动要求，涵盖现成软件、网络安全的验证要求，并保持相关记录。白盒测试应当确定语句、判定、条件、路径等测试覆盖率要求，并与软件安全性级别相适宜。	设计开发及验证确认过程中使用的健康数据集，需明确数据来源以及各数据集的划分方法、划分依据。人工智能软件算法性能评估应当明确假阴性与假阳性、重复性与再现性、鲁棒性/健壮性等评估要求，以证实算法性能满足算法设计要求。同时，应当分析算法性能影响因素及其影响程度，如采集设备、采集参数、疾病构成、病变特征等因素影响。
2.3.13	单元测试、集成测试、系统测试应当依据相应测试计划实施，涵盖现成软件、网络安全的测试要求，确定缺陷管理、风险管理、可追溯性分析、评审等活动要求，形成相应软件测试记录、测试报告以及评审记录，并适时更新。可追溯性分析此时应当分析各级测试用例与软件设计、系统测试与软件需求、系统测试与风险管理的关系。	对于训练集调整后的软件更新，应当进行回归测试并形成相应的验证记录。
2.3.14	软件确认应当确定用户测试、临床评价、评审等活动要求，涵盖现成软件、网络安全的确认要求，并保持相关记录。保证软件满足用户需求和预期目的，且软件已知剩余缺陷的风险均可接受。	人工智能医用软件确认测试应当基于软件需求在真实或模拟使用场景下予以实施。
2.4.2	应当与供应商签订外包软件质量协议，明确外包软件需求分析、交付形式、验收方式与准则、设计开发文件交付、知识产权归属、维护等要求以及双方质量责任承担要求。	健康数据采集应由临床机构实施，数据需求方应与临床机构签署健康数据采集协议，明确数据采集设备、过程、数据脱敏的质控要求，以及健康数据库的存储、使用要求。实施数据采集的临床机构应遵循采集协议的要求，建立数据采集操作规范，明确采集人员要求和采集过程要求。若使用现有历史数据，应当明确采集设备要求、数据采集质量评估要求（如人员、方法、指标、通过准则）。
2.8	不良事件监测、分析和改进	采集的数据应当进行数据脱敏以保护患者隐私。数据脱敏应当明确脱敏的类型（静态、动态）、规则、程度、方法。
2.8.2	网络安全事件应急响应应当形成文件，确定网络安全事件风险管理、应急响应措施验证、用户告知、召回等活动要求，保持相关记录。	应对缓解网络安全风险采用的技术措施的有效性进行验证，保持相关记录。