x

GRE提供的GMAT换算表有何漏洞?

2021-10-21 15:58:36编辑:景景

  GRE提供的GMAT换算表有何漏洞?在过去十多年中,美国教育考试服务中心(ETS),即GRE考试的管理者,在其网站上发布了一款工具并向各商学院推广,声称这一工具可以根据GRE分数预测GMAT分数。

  该工具使用三个线性回归模型来预测GMAT总分、GMAT定量推理题和GMAT文本逻辑推理题的分数,并声称“与实际GMAT总分相比,预测的分数误差范围在50分上下浮动,文本逻辑和定量推题分数则存在6分左右的误差。”

  但这个工具在其研究方案设计与解析方面有几个关键的缺陷。对考生和商学院来说,这个工具毫无依据,并且还会造成反效果!以下是对其存在的问题的具体描述。

  1

  与数据相关的漏洞

  该工具的线性回归模型是基于在2011年8月至2012年12月期间,同时参加了GRE和GMAT的472名考生的情况所建立的。

  这些数据样本已不具备时效性了,并且其真实性也有待考证。今天更加全球化的GMAT考生群体与十年前相比,已经截然不同,并且GMAT定量推理和文本逻辑部分的分值也出现了显著的变化,所以这些过时的数据并不能反映现实情况。所有的成绩数据都是参与者自己报告的,没有提供可确认数据真实性的证据,ETS也公开承认过这个问题。

  该工具的抽样也有不少问题。ETS遗漏了关于抽样案例的特征信息,以及 GRE和GMAT分数分布的基本描述性统计信息(如,平均值、标准差、偏度和峰度等)的描述,这些关键信息的遗漏是一种极不寻常的情况,这表明ETS并不确定这些样本数据具有代表性。

  事实上,有证据表明这个过程使用了不具代表性的样本。ETS无意中透露了他们在计算预测错误的公式中发现的GMAT分数的标准差(SD),以及他们在开发预测模型中使用的GMAT总分数标准差(SD=136.8)与2018-2020年的实际GMAT考生人群(SD=114.7)有显著差异。

  该工具没有考虑到考生的不同备考水平及动机。根据我们从考生和备考机构了解到的情况,同时做好参加GMAT和GRE考试的准备,对考生来说极为不易。通常,他们会先尝试其中一种考试,如果发现分数低于预期,有时候就会决定备考另一种。该模型中的考生都参加了GMAT和GRE,但其备考水平究竟如何我们却不得而知。ETS没有解释考生参加考试的动机,尤其是为何会参加2种考试。也许他们在第一次考试时只为“体验”一下流程,而并未全力以赴去获得最佳成绩。这些问题的存在,ETS也公开承认过。

  2

  方法和程序的漏洞

  使用线性回归模型一定会导致出现系统预测误差(即分数偏差),GRE和GMAT之间衡量误差的差异却完全被忽略了。

  GRE与GMAT的相关性未必是线性相关。GRE与GMAT的定量推理题分数分布存在显著差异,前者接近正态分布,钟形曲线;后者则极为倾斜。即使GRE分数的排名顺序能够完美对应GMAT分数的情况(但事实并非如此),它们之间也只存在非线性关系,对于高分考生来说更是如此。因此,这个预估模型会产生显著的预测偏差,在高分范围的情况下表现尤为明显。

  该工具忽视了考试设计的根本差别。GRE与GMAT在考试设计上有所不同,前者是多层级测试方法,后者则是计算机自适应测验方法,二者在不同计分领域的条件测量误差(CSEM)预计有显著的差别。GMAT的CAT算法极为严格地控制了所有已报告分数范围内的CSEM, GMAT总分的CSEM始终在30~40左右,即使是高分区域(>700)也不例外。而GRE的多层级测试方法设计只有两个阶段(即最多只有50%的自适应性),它的CSEM就很可能出现显著的波动,在高分区域更是如此。

  ETS报告的预测区间严重低估了事实。ETS采用以下基本公式来计算预测标准误差(SE):

GRE提供的GMAT换算表有何漏洞?

  但只有在满足几个关键假设(如线性、独立误差、误差正态分布和误差方差相等)的条件下,使用该方程计算预测标准误差才是合适的做法。鉴于以上列出的所有问题,这个方程的所有关键假设显然都严重违背了事实。

  除此之外,ETS还在预测误差计算中忽略了GRE成绩的条件测量误差,就好像GRE是不会出错的考查方法一样。事实上,GRE成绩很可能出现相对较大的条件测量误差,在较高的分数范围内更是如此。因此,如果说对这个工具目前所指出的有关数据和模型方面的相关问题,还不能证明其对GMAT总分的预测毫无意义,那么也至少可以说,这种情况下预测出的GMAT考试总分对制定任何关键决策都没有很多借鉴意义,这种预测的实证标准误差可能是ETS所估计结果的2到3倍

  很显然,ETS并没有使用他们自己的“预测GMAT定量推理和文本逻辑成绩”的工具来预测GMAT总分,而是引进了另一个不同的多元回归模型。这表明ETS也清楚自己预测的GMAT部分成绩并不能有效且恰当地预测GMAT总分。

  3

  具有误导性的信息

  ETS网站有一个注脚声明,“预测的分数范围与GMAT总分有50分上下的浮动……”

  这种说法是错误的。这种“预测区间”应始终展示其置信水平,例如68%(=1SE)、95%(=2SE)或者99%(=3SE)的置信水平。这种欺骗性陈述会导致大众误以为他们报告了100%的置信水平(“预测得分范围”是指最小可能的预测得分和最大可能的预测得分之间的差值),而他们报告的数值实际上只有68%的置信区间。

  此外,ETS计算的标准误差为54.8,他们将其四舍五入计算为50。更重要的是,鉴于他们的预测标准误差被严重低估,在用于计算GRE的测量标准误和预测器相对于平均值的位置时,实际的标准误差预计远超“50分”。

  例如,在许多院校都青睐的GMAT总分650或更高的总分区域,没有证据表明实际的99%预测区间的分值波动小于200分。这意味着,即使是在最好的情况下(即,尽管存在上述数据相关问题,ETS的回归模型并没有造成任何预测偏差),原本“预测”GMAT总分为650的个别考生的实际GMAT分数在99%的情况下会落入450到800这个分数区间的任何位置

  综上所述,GRE分数与GMAT分数不能互相换算。自1953年以来,GMAT考试一直是专为商学院招生而设计的入学考试。其考试内容专门为商科课程设计,因此备考的这一过程不但有可能让你获得理想的分数,还可以磨练你的技能,以便你为商学院的学习和职业生涯做好准备。这也是为什么我们推荐你参加GMAT考试。

  世界知名的商学院都信赖GMAT考试,你的GMAT分数也可以让商学院认识到,你的确想攻读其院校的商科硕士学位。如果你的目标是进入自己首选的商学院,那么向其证明自己的颇为适宜的方式之一,就是拿到GMAT高分。