年1月15日，北京大学信息管理系*文彬教授、级硕士生刘千慧在教育技术核心期刊《现代教育技术》上发文，报道了学习者学习效率评测研究的成果，为在线学习的自动评测领域提供了新的思路。
文章信息
标题：学习者的学习效率评测研究——以“课工场”平台学习者的课程学习为例
作者：肖睿，刘千慧，尚俊杰，*文彬等
期刊：现代教育技术
DOI：10./j.issn.-..01.
摘要：在线学习过程中由于学习者缺乏实时指导，其学习效率与最终的学习效果难以得到保证。自动评测学习者的学习效率是实现及时干预、提高教学质量的重要基础。文章以“课工场”平台上“WEB前端开发”课程为例，选取参与该门课程的14名学习者的个学习回合，以8种学习活动特征来表征学习付出，以回合成绩表征学习成果，并采用层次聚类法进行分析。研究结果表明：案例课程的学习回合可以划分为4类，分别对应不同的学习效率，即低效型、低中效型、中高效型和高效型；评测学习效率可以反映学习者的全程学习状态，并与线下的教师记录相对应。因此，教师可以利用本自动评测的结果了解全体学习者的情况并及时调整课程，而学习者可以根据自身的学习状态调整学习方式。学习效率的自动评测还可以作为个性化学习分析的依据，成为自适应学习系统的重要部件。
关键词：在线学习；学习效率；层次聚类；学习分析；学习回合
1研究背景在线学习的普及使得在线学习者规模日益扩大，但同时在线教学也缺乏完善的管理机制与及时的教学干预，无法保证学习者以合适的学习效率完成全部的学习活动。
学习效率是一种用于描述学习者在学习过程中的成果与成本之间关系的指标，学习效率可以反映教师授课内容的难易程度、学习者的学习状态，便于教师改善教学设计、提高教学效果。现有学习效率的两种计算方法：
偏差模型：此模型基于认知负荷理论，由学习者填写李克特九点量表自评脑力付出（MentalEffort），统计学习成绩用于量化学习成果。两者分别标准化后计算点到直线y=x的距离，即为学习效率的取值。
可能性模型：此模型直接计算成绩与付出的比率。
但是传统测量学习效率的方法以定性为主，并不适用于在线学习。而在线教学平台上积累的日志数据记录了学习者的详细学习过程，基于此评测学习效率是一种更客观、非介入的方法，也具有大规模应用的潜质。
2研究问题如何基于在线平台日志数据分析学习者的学习付出？
如何自动评测在线学习者的学习效率？
3数据与方法数据：选取“课工场”平台上14名学习者“WEB前端开发”课程学习的日志数据。案例课程共包含线上的50个课程小节，线下学习者参与答疑活动交流学习过程中遇到的问题，教师专门记录每位学习者的情况。
课程挡板：平台采用挡板控制学习进度，课程中每小节包含必须完成的视频、作业和测试。如果测试中所有技能点的得分都及格，则可通过测试进行下一小节的学习，否则需要重新测试直至通过。
数据预处理：删除日志中的重复和异常记录后，共得到个课程小节、个学习回合的记录。平均每位学习者学习了41个课程小节，每个课程小节需要2次学习回合才能通过，学习回合的平均成绩为0.79。学习回合中8个学习付出特征的描述性统计结果如表1所示。
表1学习付出特征的描述性统计结果
本研究对个学习回合进行层次聚类，首先依据上文所述的8个学习付出特征和学习成绩构建学习回合的特征向量，并进行标准化处理。基于余弦相似度距离，学习回合的聚类采用层次聚类中的凝聚方法，连接方法采用完全连接法。最佳聚类个数通过计算Calinski-Harabasz（CH）指数确定，CH指数越高，表明聚类效果越好。本研究的计算结果表明，最佳聚类个数为4。
4结果与分析学习回合聚类结果
根据聚类分析得到的四类结果，即低效型、低中效型、中高效型、高效型。计算每一类学习回合9个特征的平均值，结果如图1所示。以类别为因素，9个特征为因变量进行单因素方差分析，p值均小于0.05，说明四类学习回合在学习付出特征上存在显著差异，聚类质量良好。
图1学习回合聚类结果
类别1：低效型
类别1的样本量占比最高为32%（n=）。类别1的特点是成绩最低、学习付出最多，学习者暂停和拖拽更频繁，在作业上花费的时间也更长。类别1描述了学习者在学习中遇到困难时表现出的学习情况，学习者会针对资源中具体的部分进行重点学习，以帮助他们更好地理解新的内容。由于这一类学习回合的低成绩和高付出，定义类别1回合的学习效率为低效型。
类别2：低中效型
类别2的样本量占比为21%（n=）。类别2具有中等成绩和较高的学习付出，特别是视频观看时长长和作业提交次数多，体现了学习者学习新知识的另一类学习情况，即学习者按照常规的学习安排观看所有视频并提交作业，并没有专注于具体的学习内容，反映在操作上也就不会过多地暂停或拖拽。由于这一类学习回合的较高成绩和较低付出，定义类别2为低中效型。
类别3：中高效型
类别3的样本量占比最低为18%（n=）。类别3和类别1的成绩几乎相同，但是学习付出要少得多。在这些学习回合中，学习者主要是为了等待足够的时间再次进行测试，会看更少的视频或在作业中更少地练习。由于这一类学习回合非常低的付出，定义类别3为中高效型。
类别4：高效型
类别4的样本占比为27%（n=）。学习者在前几次测试失败之后，会少做甚至不做更多的努力，产生类别3或者类别4。但是由于学习者之前学习的累积收益，有可能在测试中取得更高的成绩，表现为学习回合成绩高。由于这一类回合的高成绩和低付出，定义类别4为高效型。
学习效率整体分布
课程期间学习者的学习效率整体分布如图2所示。整体而言，前半学期的学习回合总数要多于后半部分。最初学习者通常需要一些时间来适应教学平台上的课程，可能也需要更多的学习回合去完成每个课程小节的学习。第一个课程小节过高的平均学习回合数（n=7）主要是因为学习者都被某个具体的测试题目卡住而无法通过。这其中的高效型回合可以被视为一种“问题信号”，表明学习者可能正在跨越知识上的一些“盲点”，他们没能正确回答问题，但是也不知道应该采取怎样的措施来改善情况。这种问题信号可以被及时反馈给老师，帮助其提供对应的辅导。对四类学习回合进行对比，可以发现低效型与低中效型的学习回合总数在整个学期都比较稳定，总数在1上下浮动。随着课程的进行，低中效型、中高效型、高效型学习回合在逐渐减少，低效型学习回合的占比逐渐上升。
图2课程期间学习者的学习效率整体分布
不同学习者的学习效率
为了展示典型学习者的学习效率情况，统计学习者学习的小节数、回合数、总时长如表2所示。学习者大致可被分为三组：第一组（n=7）完成了较少的课程小节与学习回合，第二组（n=5）完成了较多的课程小节且回合数相对较少，第三组（n=2）完成了较多的课程小节且回合数最少。
表名学习者课程学习概况
在这三组学习者中分别挑选学习者4、12和13，绘制学习效率序列如图3（a）、3（b）和3（c）所示，这三位学习者的学习效率序列代表了三种不同的学习状态。
学习者4整体的学习状态比较低效，也经历了更多的学习回合。线下记录学习者4“学习进度比其他人慢”，该学习者也反映自己花费很多时间回顾以前的视频和作业。
学习者12整体的学习状态更高效，大多数测试都可以在3次尝试内通过，这说明学习者12在初次接触学习内容时都能以较高的学习效率进行学习，同时也可以在较少的学习回合中定位知识难点，通过学后测试。
学习者13是三位学习者中最高效的，可以在大部分课程小节中付出很大的努力，掌握足够的知识，一次性通过学后测试。线下记录也证实，学习者13的学习速度明显比其他人快，而且在讨论中也会提出一些高质量的学习问题。
从三位学习者个人的学习效率序列也可以发现，绝大部分课程小节都会出现至少1轮低效或者低中效的学习回合，这与整体学习效率分布的结果相一致。同时，随着课程的推进，三位学习者的学习回合数也逐渐减少，而低效学习状态的学习者回合数波动较大，可能反映这一类学习者的知识基础或者适应能力不足。学习效率与课程内容、学习者特质的关系还需进一步探究。
（a）学习者4的低效学习状态
（b）学习者12的中效学习状态
（c）学习者13的高效学习状态
图33位典型学习者的学习效率序列
5结论与展望本研究基于“课工场”在线学习平台上14位学习者的课程学习日志数据，统计学习回合的成绩作为学习成果，抽取学习者参与学习活动的频次与时长作为学习付出，具体包括学习回合时长、视频观看频次与时长、视频暂停频次与时长、视频拖拽频次、作业提交频次与花费时长，采用层次聚类的方法将案例课程中个学习回合划分为低效型、低中效型、中高效型、高效型四类，并在此基础上分析了学习效率的整体分布，以及不同学习者学习效率序列的差异。本研究提出了基于学习者在线日志数据分析学习付出、评测学习效率的自动方法，以实现学习者画像的规模化构建与分析。分析的结果可以实时反馈给教师与课程管理者，从而完善在线教学设计与学习支持服务，促进个性化教学指导，进一步提高在线教学的质量。
通过对案例课程中学习者学习效率的分析，本研究还发现：
根据课程整体的学习效率分布，较低效的学习过程在学习者接触新知识时总是无法避免的。低效与低中效型回合数在课程进行过程中基本不变，这一现象可能与所学的知识点内容无关。反映在教学过程中，教师需要特别