登录

上海深入开展“清朗·整治AI应用乱象”专项行动第一阶段工作


速读:5月15日,指导稀宇、千问、小红书、哔哩哔哩、拼多多等重点平台公开发布专项治理公告,形成监管与平台治理合力。 4月下旬以来,上海市委网信办聚焦未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术开展违法违规活动、开源模型安全管理不到位7类突出问题。 5月13日,上海市委网信办召开重点平台专项行动推进会,向属地AI平台、互联网内容平台、电商平台、应用商店、开源社区等五类17家重点网站平台部署具体要求,指导平台升级安全与举报机制、接受社会监督。
2026年06月26日 18:5

落实中央网信办“清朗·整治AI应用乱象”专项行动部署,4月下旬以来,上海市委网信办聚焦未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术开展违法违规活动、开源模型安全管理不到位7类突出问题,强化AI技术源头治理,扎实推进专项行动。

强化社会监督,凝聚共治合力

5月13日,上海市委网信办召开重点平台专项行动推进会,向属地 AI平台、互联网内容平台、电商平台、应用商店、开源社区 等五类17家重点网站平台部署具体要求,指导平台升级安全与举报机制、接受社会监督。5月15日,指导稀宇、千问、小红书、哔哩哔哩、拼多多等重点平台公开发布 专项治理公告 ,形成监管与平台治理合力。同期,上海举报中心官网开设 专项举报渠道 ,迄今受理涉AI类违法不良信息举报及12345市民反映相关线索20余件,畅通社会监督渠道,凝聚治理合力。

加大整治力度,深化技术源头治理

上海市委网信办坚持问题导向,指导17家重点网站平台深入开展自查自纠,累计清理拦截去AI标识的工具和教程、数据投毒、未经授权“换脸拟声”、AI制谣传谣、AI低俗内容等违法违规信息487万余条,处置违规账号1.8万余个,下架违规智能体1.4万余个,处置违规商品1300余个,并对多次违规的账号实施阶梯式约束与封禁,对AI应用服务典型违规问题形成有力遏制。

各网站平台积极履行主体责任,深化治理成效。 稀宇 持续下架“一键脱衣”、赌球博彩等违规智能体,打击利用AI编写病毒、钓鱼软件等恶意行为; 小红书 打击AI托管运营账号,禁售去AI标识商品,积极推进与各大制作平台隐式标识互认; 哔哩哔哩 在内容发布页强化提示,将“AI生成”列为必选标签,引导创作者规范发布; 魔搭社区 全面清理下架涉低俗等违规数据集,强化开源模型的审核与管理。

为确保治理常态化,上海市委网信办组织3家专业机构,对用户量大、影响力高的32款AI产品开展了专项巡查测试,并赴4家企业进行现场检查。通过督导企业举一反三,重点整改AI标识落实不到位、平台安全和审核能力不足等问题,进一步提升技术防范能力,完善长效治理机制。

深化AI治理协同,护航行业健康发展

深化 上海市大模型合规指导服务中心 和各区委网信办协同,开展了 16场 AI安全合规培训进街镇活动,强化政策指导和业务受理。强化“应备未备”服务排查,督导安全评估。迄今上海已完成 169款 大模型备案, 183款 调用已备案模型API的生成式人工智能应用登记。

发挥 上海市人工智能治理协同机制 作用,强化重点领域共治。市区协同,在浦东软件园举办“AI场景落地中的安全挑战和合规赋能”主题的人工智能发展和治理沙龙,通过专家分享与政企对话,护航行业健康发展与智能化落地。针对医疗、政务等重点领域,坚持“先测评后上线”。联合市数据局,持续优化政务智能应用测评验证中心的能力,制定安全规范,推动安全稳妥有序应用;协同市卫健委,依托医疗大模型应用检测验证中心,保障医疗AI应用安全可靠。联动市市场监管局调研头部GEO企业,探索源头治理路径。

聚焦未成年人保护,规范拟人化AI

7月15日,《人工智能拟人化互动服务管理暂行办法》将正式施行。上海市委网信办多策并举强化对属地AI拟人化互动服务的指导。 强化宣贯促合规 ,向近百家重点平台开展法规宣贯,指导企业结合业务实际,加快推进合规建设,提升能力、优化机制; 深化巡查除隐患 ,针对部分应用存在的未成年人模式虚设、身份核验失效及不良内容生成等风险,督导企业严格落实未成年人身份核验,防范情感依赖与消费诱导,坚决整治危害身心健康的内容; 严格执法强震慑 ,对问题较突出、群众和媒体反映强烈的个别应用,第一时间开展监管执法,切实强化对“一老一小”群体的权益保护。

专项行动第二阶段

主题:上海市委网信办|人工智能|护航行业健康发展