童莉莉 等 | 数字教育产品的算法审查框架与监测治理研究

人工智能技术正加速融入科学研究、工业生产、百姓生活中，对应用质量具有关键影响作用的算法科学性受到关注，算法审查也成为全球范围内一个重要研究领域。2024年12月，国家互联网信息办公室公开发布境内第九批次411款深度合成服务算法备案信息，涉及教育、医疗、科普、金融、税务、环保等多个领域。自2021年至今，我国已发布多个算法审查类政策文件，包括《关于加强互联网信息服务算法综合治理的指导意见》（2021年9月17日颁布）、《互联网信息服务算法推荐管理规定》（2022年3月1日起施行）、《互联网信息服务深度合成管理规定》（2023年1月10日起施行）、《生成式人工智能服务管理暂行办法》（2023年8月15日起施行）等。政策中对算法设计、训练数据选择、模型生成和优化、提供服务等过程进行了细致要求。

与此同时，各主要国家和国际组织也在算法的标准研制、服务范围等方面进行了积极的探索。英国政府在2021年发布的《国家人工智能战略》中明确提及使英国获得人工智能技术的国家和国际治理权，在鼓励创新和投资的同时，保护公众利益、捍卫基本价值观。2023年10月，美国政府发布《关于安全、可靠、值得信赖地开发和使用人工智能的行政命令》，开发用于管理人工智能风险的指南与工具，包括标记具体内容和提高人工智能生成透明度等。2024年3月13日，欧盟正式通过《人工智能法》，这是世界上第一部人工智能全面监管法律，该法案涵盖了数据保护、算法透明度、人工智能系统的可解释性等多个方面，旨在确保人工智能技术的安全、可靠和公平（王卫, 2024）。2024年10月24日，世界电信标准化全会（WTSA-24）在印度新德里举行，会议修订的相关决议中强调了高度关注新兴技术带来的数据安全和算法合理等问题，以确保新兴技术得以安全实施。

算法，通常被理解为数学学科中的“解题方案的准确而完整的描述”，或计算机学科中的“一系列解决问题的清晰指令”。在人工智能时代，它与数据、算力一起成为核心三要素并引起深度的关注（惠文婕 & 宣小红, 2025）。在数字教育产品中，算法设计的合理性会前向影响学习者认知发展的科学轨迹、后向扰动产业界研发运维的规范有序（童莉莉, 2024）。在国内外政策已密集出台的背景下，学界开展算法审查框架研究是推进宏观政策、引领微观产品应用的中观层工作，我国的《教育强国建设规划纲要（2024—2035年）》中“加强网络安全保障，强化数据安全、人工智能算法和伦理安全”（新华社, 2025）的论述已经凸显了该领域研究的迫切性和必要性。

基于上述学理认知与政策语境，本研究认为对于数字教育产品的算法审查与监测并非局限于单一的方法、功能或工具，而是一整套框架（沈健 & 罗强, 2023），需深度融合数据治理的本质逻辑：在数据采集阶段采用源头校验，算法测试阶段进行质量控制，模型训练阶段实施多维建模，算法推理阶段引入动态反馈。通过全生命周期管理保证教育算法在安全性、有效性、时效性等维度均衡发展，最终达成学习者认知促进与教育技术效用优化的双重治理目标。

当前，数字教育产品的主流形态包括教育大模型、教育App、小程序、云平台和教学资源库五类（杨宗凯, 2024）。大模型方面，截至2025年1月31日，共407款生成式人工智能服务在国家网信办完成备案，其中教育属性的占比约为20%，覆盖智能答疑、口语评测、个性化学习路径规划、教研备课等多元教育场景。教育App和小程序方面，教育行业主管机构官方平台数据显示，截至2025年3月31日已有3,123个App、超14,330个小程序备案在册，涵盖作业管理、在线测评、家校互动等核心功能。云平台和教学资源库方面，国家智慧教育公共服务平台是行业引领性云平台，包含嵌入的32个地方平台，提供丰富的学习指导与政务服务，并发布有中文、英语、法语、俄语、西班牙语和阿拉伯语六种联合国官方语言的国际版；资源库涉及基础教育、高等教育、职业教育、特殊教育等不同学段的众多学科。

算法技术作为支撑数字教育资源广泛可得的核心引擎，在实现学习路径优化、个性化推荐等教育功能的同时，也衍生出亟待治理的技术风险。彭兰（2018）的研究揭示，当算法效率逻辑凌驾于社会责任时，可能引发数据偏见固化、数字鸿沟加剧、认知发展窄化等一系列次生问题。算法审查工作，是基于人工智能教育应用在实践过程中发挥助力“教学管评研育”作用的同时，亦逐步暴露出一些典型问题而启动的研究。本研究综合近三年驻点一线校园、调研开发者团队的调研结果，提炼了数据偏差度、算法透明度、个性化与隐私、算法偏见度、系统适应度和算法沉迷度六类算法应用中的典型问题（如表1所示）。

表1 算法应用中的六类典型问题

表1中列举的六个表象问题，在与算法的本质属性进行映射后，可进一步归纳为参数层级的样本代表性缺陷、代码层级的逻辑完备性不足和运用层级的价值导向性偏差这三个维度的待审查项。由此，本研究基于多级算法评估原则，结合教育学内涵和统计学原理，设计了一套三维的算法审查框架（如表2所示），包括参数级审查、代码级审查以及运用级审查。参数级审查旨在监测算法的底层取数与权重设计；代码级审查旨在监测算法的计算规则和逻辑设置；运用级审查旨在监测算法的实践效果和可持续性。

表2 三维算法审查框架

参数合理度用于衡量算法训练数据与实际应用场景之间的匹配程度，重点关注样本分布、使用场景与权重设定的科学性。综合考量数据匹配度、分布一致性与参数设定合理性，计算如式（1）所示：

其中，Parameter Score值越大，表明算法参数在实际应用场景中的合理性越高。具体而言，A_i为训练数据特征i的集合，B_i为应用场景所需特征i的集合，n为样本的总特征个数；KL(P||Q)为训练数据分布P与实际数据分布Q的Kullback-Leibler散度，简称KL散度（Apellániz et al., 2024），常被用于衡量两个概率分布之间的差异，比较生成样本和真实数据的分布差异，其值越小，表示两者分布越接近，也意味着推理场景可比指数越高；w_j为当前算法模型中第j个参数的实际设定权重，w_j*为专家经验预设的参考权重；三项加权系数分别为α、β和γ，满足α+β+γ=1。该公式融合数据可比性、分布一致性与权重科学性三重因素，是评估算法底层合理性的重要指标。

代码科学度旨在评价算法内部计算规则的完整性与教育导向的体现程度，核心是判断计算逻辑是否合理、有无歧视性偏差、是否包含过度商业化设计。其综合评分公式如式（2）所示：

其中，对于二级指标“计算规则合理指数”的计算参考pass@k度量标准的制定思路（Kulal et al., 2019），该指标常用来评估代码生成模型的功能正确性。在本研究中，n为每个代码片段执行n次生成的输出结果总数，c表示满足教学规则的输出结果个数，k表示我们关心的前k个输出结果样本；Edu_Ratio表示教育属性函数调用占比，在本研究中采用课程目标相关模块调用频率占比来表示；λ、μ为权重系数，和为1。通过两项的综合得分，可评价代码层在执行流程中是否真正服务于教育逻辑。

运用契合度反映算法在真实教学场景中对学习者的认知支持与育人目标的匹配程度。该指标综合考量产品使用的分化程度、认知能力的促进效果以及人才培养成果的显性化表现。其计算公式如式（3）所示：

在指标构建中，第一项用于衡量用户使用行为的差异性。具体而言，采用K-means聚类算法对用户行为路径数据进行建模，通过计算聚类结果的间隔性（Separation，简称）指标（Fahad et al., 2014）来评估不同簇（Cluster）之间的分离程度。设簇C_i的中心点为w_i，总聚类簇数为k，该项通过所有聚类中心两两之间的欧氏距离加权计算得出，数值越高表示用户使用模式之间的区分度越大，反映了算法支持下的使用行为多样性。第二项为认知表现的变化速率。第三项基于学习成果变量构建主成分分析（PCA），其主成分得分记为PCA_Talent。三者加权系数分别为θ、φ和ω，总和为1。该指标用于动态捕捉算法对教育真实价值的契合程度。

以2024年12月备案的“精准学多模态生成算法”（网信算备330106408527201240059号）为例。在现有的备案工作机制下，主要收集了“算法名称、角色、主体名称、应用产品、主要用途、备案编号、备注”7个字段，这些算法基本信息的披露初步实现了公众知晓和在库可查的目标。然而，在更为期待的审查工作机制下，将深入关注算法的实际应用情况。例如，将审查“用户输入的文本、音频”中用户的选择是否过拟合或欠拟合，确保算法能够准确捕捉用户需求；将评估“生成符合用户预期的文本、音频内容”是否被合理应用于有可比性的推理场景中，以验证算法的有效性和实用性；还将考察“实现语音转文本、文本转语音及知识问答等功能”是否如备案承诺般有效助力认知能力发展，从而全面评估算法的实际效能。通过这一系列深层次的审查，将从算法视角更精准地为数字教育产品健康可持续的产学研生态保驾护航。

治理是在管理理念上的升级，更强调通过多元协同的方式提升绩效表现，而非简单地自上而下计划、组织、领导、控制。

本研究对“算法治理”范畴的界定是，针对算法已显露的现实问题或能识别的潜在隐患，通过政策、技术或市场干预策略，提升算法的积极效应。在数字教育产品的背景下，算法治理工作并非孤立存在的，而是在表2所示的审查框架提供科学性指导的基础上，针对表1中已列出及实践中不断衍生出的新问题，启动政策落实、技术诊断或市场巡检等措施，从而达到改善算法负面效应、更好发挥积极作用的目标。

参数级、代码级和运用级审查作为算法审查的底层逻辑，为算法治理工作提供了清晰的路径。在更显性化的工作层面，这三种审查级别分别对应着三种技术治理路线：1）透明性治理：针对算法中的训练数据提取范围、参数设置、权重赋值等进行定期检查，以降低算法的黑箱效应，提升数字教育产品的公信度（Samala et al., 2024）；2）适用性治理：针对算法中的模型设计逻辑、运算规则、商业化程度等进行定期检查，以降低算法的歧视效应，提升数字教育产品的科学度（Sun et al., 2025）；3）泛化性治理：针对算法输出结果的推广范围、认知发展助力效果等进行定期检查，以降低算法的茧房效应，提升数字教育产品的价值度（Fortes et al., 2022）。图1展示了算法治理的三种技术路线，构建了一个动态、闭环的监测流程。

图1 算法治理的三种技术路线

透明性治理模块作为整个监测流程的起点，从数据的采集与处理环节入手，通过采集教育平台内部数据和外部公开数据，生成结构化的数据集，为后续监测提供高质量的输入。内部数据主要包括个人信息、课程学习记录、行为数据等多个维度的用户数据，而外部数据则通过爬虫技术获取，如公开的教育政策、教学资源数据等。随后，借助数据集拟合指数和场景可比指数，对数据集的有效性和代表性进行监测和评估。在此基础上，利用分析建模技术，进一步评估参数权重的科学性。

适用性治理模块则通过代理模型技术和预测序列推理分析，对原始算法运行逻辑进行高保真模拟，以评估其在教育场景中的适应性与公平性。该流程主要包含三个关键环节。首先，代理模型方法基于内部数据集及爬虫爬取的数据，通过构建回归模型学习黑盒算法内在计算规则。其次，借助预测序列推理分析方法，以代理模型为基础，通过预处理算法，修改原始数据使得各条目比例满足教育功能需求后再次构建代理模型，与原始代理模型进行比对，确定差异大小来辅助评估算法的代码科学度。最后，结合计算规则合理指数和代码逻辑属性得分，评估教育应用算法的公平性和其对教育价值导向的偏离程度。

泛化性治理模块依托已知序列对比分析与数据统计反馈机制，对算法的应用效果进行动态验证与持续优化。该模块重点在于评估算法在多用户群体、多教育任务、多场景转移下的认知支持稳定性与外部效益实现度。首先，在已知序列对比分析步骤，选取典型用户行为路径作为对照样本，将当前用户群体的实际推荐序列与基准路径进行比较，利用编辑距离计算“产品使用模式区分度”，判断算法在多样化场景下的适配能力。其次，在数据统计反馈机制中，重点引入用户行为数据与学习结果数据进行关联建模，构建基于时间序列的认知增长分析模型，提取学生在使用算法支持下关于行为频次、学习时长、任务完成度等认知变化的趋势，从而量化“认知能力发展得分”。最后，广泛收集用户输出成果与实际数据，聚合分析其在作业表现、考试成绩、素养评估与升学路径等维度的量化指标，提取“人才培养显性化成果得分”，以衡量算法干预是否有效促进了学生由学习过程向人才结果的正向转化。三者以“数据治理—模型优化—场景验证”为脉络，形成从基础保障到应用落地的闭环治理体系，通过技术模块的有机联动，系统性实现算法效能的迭代提升与风险控制。

在实验测试与反馈阶段，研究团队深入实际数字教育产品场景，系统开展数据收集与算法监测工作，通过A/B测试、离线评估和在线评估等方法对算法的透明性、适用性和泛化性进行监测评估。具体而言，团队基于2025年8月发布的数字教育应用算法智能诊断公共数据集，选取了150组测试数据与多任务标准样本开展实验验证：构建圈层拓展型等6类共3,468个规模的数字教育产品算法智能诊断库；集成大模型/App等5种产品形态在32个省级行政区域的应用场景。对算法歧视、偏见和沉迷的检出率≥90%；对未成年学生教育及成长类数据无序公开、挖掘滥用、隐私泄露等检出率≥90%。在算法智能诊断关键技术攻关的基础上，基于测试结果和场景应用实效，参与工信部和教育部行业标准研制工作，并在国际该领域标准工作组中积极推广中国经验。同时，本研究建立定期的监测机制，对数字教育产品中嵌入算法的各个指标进行监测和反馈。通过定期监测算法的各个指标，并针对用户的反馈和数据进行调整和优化，可以不断提高数字教育产品中嵌入算法的公平性和泛化性。

如前所述，数字教育正在以智能体、App、小程序、云平台、资源库等多种形态提供服务。从近三年的社会反馈实例角度看，这些产品在多个维度上均展现出了显著的效果。在资源丰富程度上，数字教育产品打破了传统教育资源在时间与空间上的限制，汇聚了海量的学习资料，涵盖从基础学科知识到前沿学术研究，从国内教育资源到国际多元文化内容等各个领域，极大地扩充了学习者的知识获取边界。就学习便利程度而言，学习者借助各类智能终端设备，无论是在校园中、家庭里，还是在移动出行过程中，都能随时随地搜索并获取所需的学习资源，使得学习者能够灵活自主地安排学习时间与进度。此外，数字教育产品的广泛应用对提升全民数字素养也发挥了积极作用。在频繁使用数字工具进行学习的过程中，学习者逐渐熟悉并掌握了一系列数字化学习技能，如信息检索、在线协作、数字资源利用等，为其适应数字化时代的发展奠定了坚实基础。

与此同时，国内外也都出现了负面实例。例如，有的在线学习平台中的算法设计将学生的专业课学习情况进行简单统计分析，其结果被用来动员学业成绩不佳的学生转专业以达到减少学业预警数量的目标。而更为扎实的人才培养过程，则会深度分析此类学生学习兴趣波动、成绩低迷的原因，通过教师个性化支持、学习方法调整等帮助学生战胜学业困难，在提升专业成绩的同时磨炼坚韧的品格，转专业则是相对靠后的推荐策略（肖红军, 2022）。国际方面，2022年5月，美国平等就业机会委员会（The Equal Employment Opportunity Commission，EEOC）对iTutorGroup及其旗下三家公司提起诉讼，指控其在线招聘软件通过算法自动拒绝年龄较大的应聘者，涉及55岁以上女性和60岁以上男性，导致200多名申请者因年龄问题被拒。EEOC认为此行为违反了《年龄歧视法》（The Age Discrimination in Employment Act，ADEA），该法保护40岁及以上人群免受歧视。同类的算法歧视问题也出现在数字教育产品的内容推荐算法中，比如部分产品识别出学习者的地域属于边远地区，则会自动推荐与课标不对应的过时学习资源，从而将产品开发者的资源包成本回收利益凌驾于学习者的认知发展目标之上（Ulbricht & Yeung, 2022）。

《教育强国建设规划纲要（2024—2035年）》明确要求坚持应用导向、治理为基，提出要“强化数据安全、人工智能算法和伦理安全”（新华社, 2025）。基于数字教育产品的算法审查框架与监测治理研究研究初步结论，本研究提出如下相关建议。

第一，研制算法审查的监测制度。

当前，教育移动应用备案工作已分使用者、提供者两个层级开展事前备案和阶段性检查等工作。教育数字化战略的新三年中，教育移动应用的类型已出现了智能体、大模型等新形态，家长和校园对监管工作的期待也发展到提前预警以减少负面教学管理案例的新阶段，产业界同样呼吁有可参照的技术应用标准进行更精准的产品研发投入，新的监测制度将具有更显性化的经济和社会效益。为此，建议从以下三个方向研制算法审查的监测制度。

一是算法透明度的治理。在现有教育移动应用备案工作中增加算法相关字段的信息提供要求，包括数据源、参数规模、权重设定方法、模型第三方测评报告等信息，作为事前更完备的披露内容。事中增加定期抽检和正负向例证通报。事后对在校园中超规约应用情节严重的进行治理。构建“事前—事中—事后”的全周期治理制度。

二是算法适用性的治理。升级现有教育移动应用备案工作为审查性工作，即设立授权审查机构对教育智能体、App、小程序、云平台、资源包等新的拟进入校园教学管理环节使用的应用类型进行规范化教育测量，计算规则和代码逻辑属性均符合教育规律者才可准入；对已提供服务的应用类型需接受不定期抽检。

三是算法泛化性的治理。针对算法部署后的实际效能，构建覆盖认知发展与人才培养的长效监测机制；由跨学科专家委员会定期运用认知评估测量体系中的感知能力、注意力发展及思维创造力指标，量化分析算法对学生核心素养的赋能效果。

第二，推进审查工作的科学测量。

教育移动应用及其所包含的算法审查工作是一项科学性活动，需要一套科学的测量体系支撑实施。

一是参数级审查测量体系。将已有研究中的“内容审查测量体系”与“信息溯源测量体系”（柴允, 2023, pp.34-42），用于评估算法在数据采集、样本设计和参数设定过程中的合规性与科学性。其中，“内容审查测量体系”对训练数据及模型输出内容的政治性（国家主权和领土完整表述、民族偏见和歧视程度、正反面人物呈现形式、宗教信仰表述等），科学性（教学难度、作业数量、教学设计、实验操作等）、合法性（行为诱导、网络霸凌、学习干扰等）、规范性（表述合理、学科特色等）和价值性（成长度、低俗恶俗等）等维度进行分析；“信息溯源测量体系”则聚焦算法输入端数据处理的合规性与用户数据权益保障情况，涵盖隐私政策（通用隐私、未成年人隐私、政策告知、政策同意）、信息处理（收集同意、与功能捆绑性、与活动捆绑性、可解绑性）和用户权益（查询、更正、删除、撤回、注销、投诉等）。

二是代码级审查测量体系。在算法执行层面，融合“算法诊断测量体系”，包括群体公平性（种族、性别、地区、经济）和个体公平性（招生公平、机会均等、资源均衡、就业公允等）两个维度，判断其是否具备教育场景中应有的适配性、公平性与伦理导向。

三是运用级审查测量体系。在算法应用效果评估层面，引入“认知评估测量体系”（王国华 等, 2024）。该体系围绕感知能力发展（视听能力、运动能力、空间感知能力）、注意力发展（聚焦能力、稳定性、记忆力）和思维创造力发展（抽象分析能力、计算实践能力、想象联动能力），能够反映算法对学习行为、认知变化和人才发展的支持程度，为算法的教育价值评估提供实证基础。

第三，构建审查机构的生态系统。

算法审查工作包括数据集质量测评、算法科学性诊断、校园应用反馈等广域范畴，需要专业性、规模化的队伍协同开展。建议增设针对教育移动应用的审查机构或专注于算法审查的科研机构。增设机构的具体申报资质标准可以包括但不限于机构属性、从业资质、经验口碑、人员规模等方面。

第四，推动教育移动应用算法专项治理的国际对话。

算法是嵌入在教育移动应用中的要素，建议从政策交流、国际组织间标准协同、高校间科研联动、产业界应用协作等多视角开展国际对话，推动我国的教育移动应用算法专项治理走在国际前列。

从教育大国到教育强国的进程，需要有稳定的科学范式护航，使处于以人工智能为代表的第四次科技革命历史周期中的数字教育产品发挥积极作用。在人工智能的三要素——数据、算法和算力中，数据要素已经通过国家数据局的成立从工作层面进行了统一安排。算法层面的政策体系也逐步成形，需要学界从审查框架研究、监测技术突破等领域加快落实的步伐。本研究从参数级、代码级和运用级三个维度设计了算法审查框架，从透明性、适用性和泛化性三个方面提出了治理技术路线，从科学测量角度实证了算法治理工作的具体实施方案。

在数字化浪潮的推动下，人工智能应用水平已成为全球关注的焦点。从算法综合治理到个人隐私保护，从未成年人网络保护到网络直播乱象的整治，再到版权保护和数字治理的推进，这些工作的成效影响着社会的稳定与发展。本研究后续还将在算法审查框架的“教学管评研育”融合性、算法监测场景的人才培养导向、拓展平台间的算法协同治理机制等领域开展可持续性深度研究。

童莉莉，北京师范大学教育学部教授（通讯作者：tonglili@bnu.edu.cn 北京 100875）。

底颖，北京师范大学教育学部硕士研究生（北京 100875）。

李仁良，泰国国立发展管理研究院社会发展与管理战略学院副院长（曼谷 TH10240）。

张静，北京师范大学教育学部博士后（北京 100875）。

2022年度国家重点研发计划项目“互联网教育应用的行为感知与风险监测关键技术研究”（项目编号：2022YFC3303500）

责任编辑：刘莉