USNews大学排名已经倍受诟病 | 选校圣经背后复杂的排名原理解密

[color=rgb(0, 0, 0) !important]2015-5-4 09:54| 发布者: [color=rgb(0, 0, 0) !important]炼数成金_小数| 查看: 922| 评论: 0|来自: 北美留学生日报

摘要: 除了福布斯富豪排行榜，没有哪一个排名比UsNews每年发布的美国大学排名更受中国读者的关注了。这个排名很大程度上左右着来自世界各地学生和家长对美国高等院校的选择。而大学们也在为了在排名表的前后位置而下足了功 ...

除了福布斯富豪排行榜，没有哪一个排名比UsNews每年发布的美国大学排名更受中国读者的关注了。这个排名很大程度上左右着来自世界各地学生和家长对美国高等院校的选择。而大学们也在为了在排名表的前后位置而下足了功夫。但就是这份“选校圣经”现在却遭到很多人（尤其是美国高等教育从业者）的诟病，看似有效客观的排名却充满了漏洞。今天我们特地综合编辑了这篇文章，揭露一下排名背后复杂的原理和博弈。 图：Robert Morse  from UsNews 罗伯特·莫尔斯（Robert Morse）是《美国新闻》排名的组织者，他的六人小组在华盛顿特区旁边的乔治敦的一栋红砖办公室里工作。已步入中年的莫尔斯头发灰白，是个典型的华盛顿书呆子：衣着不整、为人谦虚、带些学究气、鞋子倒还算得体。 他办公室里堆放着二十多年来收集到的零散数据。20世纪80年代中期，他刚开始着手这项工作时，《大学指南》还只藏在《美国新闻》杂志的一角，比服务型新闻篇幅稍大一点。现在，原本一周一期的《美国新闻》已经成为历史，但是测评版面却有了自己的新生。2011年排名出炉的那个月，《美国新闻》网站的访问人数超过了一千万。《美国新闻》如今增加了一些测评内容，包括研究生院、法学院、商业学校、医学校和医院。莫尔斯已然成为新兴国际测评产业的老前辈。 莫尔斯说：“现在发生的一切在过去是难以想象的。排名成为一尺标杆，大学校长纷纷以‘我们要提升在《美国新闻》中的排名’为目标，以证明自己的管理能力，或自己的大学更好，他们自己也是个好校长。过去没有大学校长关注这个。因为这些本来只是面向消费者的。” USNews大学排名各项权重多少？ 时光流逝，莫尔斯的方法日臻成熟。现在的模式基于7项加权参数： 1. 本科学术声誉 22.5% 2. 毕业率和新生返校率 20% 3. 师资力量 20% 4. 新生水平 15% 5. 经济实力 10% 6. 毕业率表现 7.5% 7. 校友捐赠 5% 根据这几项，《美国新闻》为每所院校作出评分，满分为100，其中哈佛大学100分，而北卡莱罗纳大学格林斯伯勒分校则是22分。 下面为2014年公立大学第41—50名： 41. 凯斯西储大学 60分 41. 伦斯勒理工学院 60分 41. 加利福尼亚大学欧文分校 60分 41. 华盛顿大学 60分 45. 德克萨斯大学奥斯汀分校 59分 45. 威斯康辛大学麦迪逊校区 59分 47. 宾夕法尼亚州立大学帕克分校 58分 47. 伊利诺伊大学厄本那－香槟分校 58分 47. 迈阿密大学 58分 50. 耶什华大学 57分 你可以看到这个排名其实已将体制外的测评对象混为一谈。 它不仅仅将加利福尼亚大学欧文分校、华盛顿大学、德克萨斯大学奥斯汀分校、威斯康辛大学麦迪逊校区、宾夕法尼亚州立大学、伊利诺伊大学厄本那-香槟分校等规模差不多的公立院校作比较；而且还将宾夕法尼亚州立大学和叶史瓦大学这两所截然不同的大学进行对比： 前者是一所位于宾州中部郊区山谷中的公立大学，ZF赠地、校园广阔、学费低廉、学生经济状况不等，它的校足球队很出名；而后者则是一所占地面积小、学费昂贵的私立犹太大学，在曼哈顿设有两个本科校区（市中心是女子校区，郊区则是男子校区），而且它的校足球队成绩也平平。 同样是大学，但是各自性质特征已经十分不同，如何能用一份排名体系将所有院校排座次呢？ 该体系也包含了很多方面。它并不只是从单方面比较——如新生的考试成绩，或是学术声誉。它固定地用一种算法对每所院校进行统计，并给出一个得分：照此而言，宾夕法尼亚州立大学比叶史瓦大学只高出一分。《美国新闻》排名如此受欢迎，原因很简单：它可以用一个分数就评判出不同的院校，如叶史瓦大学和宾夕法尼亚州立大学，不然院校间很难进行比较。 但是无论如何，《大学指南》也不会承认他们给自己出了多大的一个难题,它所要做的就是在某个人的指挥下对一堆死物进行排名。坐落在大学城中的宾夕法尼亚州立大学是一所综合院校，开设了数十个院系，拥有44000名教职工，45000名学生。怎么能单单用一个数字来评价这样一所学校呢？ 客观的排名参数其实根本无法做到客观 排名的第一个难点在于：衡量想要排名的参数往往比预想的难得多——即使是那些看上去绝对客观的参数。举个极端的例子：对自杀现象的统计。这里是各国自杀率排名（人数/每十万人）： 1. 白俄罗斯，35.1 2. 立陶宛，31.5 3. 韩国，31.0 4. 哈萨克斯坦，26.9 5. 俄罗斯，26.5 6. 日本，24.4 7. 圭亚那，22.9 8. 乌克兰，22.6 9. 匈牙利，21.8 10. 斯里兰卡，21.6 这个排名看起来一目了然。可是，但凡一个稍微负责的流行病学家都不会看着这张单子说“白俄罗斯是世界上自杀率最高的国家”或是“匈牙利排名前十”。 对自杀行为进行衡量是一件极为复杂的事情，需要断定死者临死时的意图。有时容易，比如死者从金门大桥跳下，或是留了字条；然而大多数时候是很难分辨的，而且在不同文化背景之下、不同验尸官会得出不同结论。在某些地区，死因是由警察确认的，而另外一些地区则由医生完成。一些人认为警察更倾向于将模糊的自杀定性为事故，医生则不然。同时在一些文化中，自杀是一件耻辱的事情，即使很明显的自杀，验尸官也羞于承认。一场自杀可能最终被断定为自杀、他杀、意外或是死因不明 加州大学圣地亚哥分校的社会学家大卫·菲利普斯（DavidPhillips）认为单车事故中很大一部分可能是自杀，颇有几分道理；犯罪学家认为死于警方之手的平民很大一部分实属“借警察之手自杀”——他们蓄意挑逗，迫使警方置其于死地。这样一来，报道中的自杀率便很可能低于真实自杀率。然而实际上没人确定两个数字间的关系在不同国家是否一致，也没人知道我们用来计算真实自杀率的替代指标是否有效。 “相当一部分服毒自杀者都有其他的问题，比如说身患癌症，如果他死了，人们首先会认为是癌症所致，而不会想到他有意服毒自尽。”菲利普斯说道，“任何这种类型的自杀都是无法探明的。我们发现正统派犹太教信徒比天主教徒自杀率低，这可能是因为他们有坚实的群体及反对自杀的禁令，或者因为他们极其忌讳自杀，于是更愿意隐瞒自杀事实。简单地说，没人知道自杀率排名是否真实。” 《美国新闻》的大学排名同样面临着和自杀率排名一样的难题。人们无法直接衡量一所院校的质量——院校在传授知识、启迪心灵、激发潜能等方面表现如何。于是，《美国新闻》在其算法中引入了质量的替代指标——而结果证明教学质量的替代指标统统不堪一击。 师资力量排名，让人摸不到头脑的“力量” 以占总分的20%的“师资力量”为例。《大学指南》对于这个参数的解释是：“研究表明，学生对与教授的交流越满意，便学的越多，同时学校毕业率越高。”的确如此。 教育研究者指出，可以说，成功的大学教育至关重要的一个因素就是所谓的学生“参与度”——这是一个模糊却相当重要的概念，指的是学生在大学学习和社交生活中的参与程度——而参与度的一个主要方面就是学生和教师交流的质量。正如自杀，异议不是来自我们想要测量的是什么。那么，《美国新闻》用什么替代指标来测量参与度的这一难以把握的维度呢？解释如下： 我们使用2009-2010学年的六要素来评估一个学校的教学投入程度。班级规模，包括两个方面：少于20人的班级比例（占师资力量的30%），以及多于50人的班级比例（占10%）；教师工资，占35%，是2008-09和2009-10学年教师的薪水加福利的平均值，并根据各地区消费水平差异做了调整……同时，我们还计算了在其领域获得最高学位的教授的比例（15%），师生比（5%），以及全职教师的比例（5%）。 这让人摸不着头脑。教师获得的报酬越多真能代表他对教学工作更认真吗？而且是否获得专业领域的最高学位有什么重要的呢？工资和学位高低向来是研发能力的风向标。但研究表明，致力于科研并不能代表更善于教学。事实上，《美国新闻》选取的参数中没有一个是参与度的高效替代指标。 教育研究者帕特里克·特伦兹尼（Patrick Terenzini）和欧内斯特·帕斯卡拉（ErnestPascarella）分析了2600份关于大学对学生的影响的报告后，得出结论： 在考虑了性格、能力、背景等学生自进入大学前就具备的因素后，我们发现学生成长和改变的程度，与这种对传统教学质量的评定，其结果并不一致，即对诸如学生的平均教育经费、教生比、教师工资、在其专业获得最高学历的教师的比例、教师科研成果数量、图书馆规模、或新生水平等因素，而且从实用性的角度看，二者的关联更是微乎其微。 声誉是什么东西？如何量化学校的声誉？ 作为《美国新闻》评分方法中最重要的参数，声誉占了大学最终得分的22.5%，但这个指标也没好到哪里去。杂志每年都会向全国各院校校/院长、教务长和招生办主任（还选取了一部分高中辅导员）发放一份问卷，给与其就职院校同类型的所有院校以五分制打分，比如说那些在公立大学就职的要给其他的261所公立大学排名，莫尔斯说一般回复的人只给约一半的学校排名。至于一个人如何对那么多学校有深入的见解，这一直很不明了。 在最近发表在《内科学年鉴》的一篇文章中，阿什维基·赛格尔（Ashwini Sehgal）分析了《美国新闻》“最佳医院”的排名，这份排名也十分看重专业同行的声誉评分。赛格尔列出了一份评价水平的客观标准，比如医院病人在各种外科手术中的死亡率、病人安全率、护工水平以及关键性技术。然后他将这份水准衡量与各个医院的声誉排名对照了一下，结果他发现两者不相配。 得分高不意味着被其他医生敬仰。毕竟，新奥尔良市欧奇斯能医疗中心的一位消化科医师为什么必须对位于波士顿的麻省总医院消化科有任何深入的了解呢？或者说为什么除了听闻离这里不远的巴吞鲁日市某些医院的消化科的一些闲文轶事以外，还要知道更多的什么呢？ 类似的，几年前密歇根州最高法院的一名前首席大法官托马斯·布伦南（Thomas Brennan）给100位左右的律师同行发放了一份问卷，请他们依据学校的好坏排出前十名的法律学校。“他们列举了很多著名院校，如哈佛、耶鲁、密歇根大学；也有些不太知名的，比如约翰·马歇尔法和托马斯·库勒。”布伦南写道，“我记得他们将宾夕法尼亚州州立大学法律学院排在名单的中游位置，大概在10所学校中排名第五的样子。可问题是，当时宾州州立大学根本没有法学院。” 即使他们认为的他们对宾州州立大学的法律学院的认识都是浮云，这些律师仍将宾州州立大学排在中游位置，因为在他们的思维中宾州就是这样不上不下。（顺便提一句，宾州现在有法学院了。）对于教学质量的合理评价必须基于一些细节性的、不易观察到的特征，但是声誉排名只是对于一所院校身份宽泛的、易于察觉的特征的推测，如院校历史、在媒体界的声誉或是建筑是否雅致。这简直就是偏见。 那么这些声誉上的偏见又是从何而来的呢？密歇根大学教育社会学家迈克尔·巴斯特多（Michael Bastedo）曾发表了好几篇文章评述《美国新闻》的研究方法，他认为“正是排名驱动了声誉的出现”。换言之，当《美国新闻》请大学校长评估那些他一无所知的学院的相对优势时，这本身就是一个不可能完成的任务，他手头唯一可以使用的信息来源只有一个，那就是《美国新闻》。 因而像宾州州立大学这样的学校对于提升排名也无能为力。要取得高于47名的排名，它需要更高的声誉分；而要获得更高的声誉分需要排名高于47名。于是《美国新闻》的排名完全是自我循环论证。 大学排名里学费竟然不是一个重要因素！ 不考虑学费是《美国新闻》研究方法中最显著的特征之一。它的大学排名和法学院排名看重学院是否将大量资金用于学生教育，而非能不能上得起。为什么？莫尔斯坦言这么做没什么明确的原因，这只是一种感觉。“我们没说我们在衡量教育产出。”他解释说，“也没说我们是社会科学家，或是把我们的排名亮出来供同行检阅。我们只是说我们做出了这样的评判，我们采访了许多专家，我们推出了这些学术指标，并且我们认为这能衡量出优质的学校。” 这样的答复跟家长们常说的“我说是就是”有得一比。但莫尔斯也只是实话实说，因为如果我们不弄明白究竟什么能代表大学的质量，更别提用一种综合全面的评分体系来呈现它们了，那我们的评分可谓是一无是处。然而在学费的问题上，莫尔斯的意思是他采用的是《名车志》的研究方法，而非《消费者报告》的方法。 《美国新闻》认为在学生身上花大血本的学校要比那些不花的学校要好，而这点也有理由为学校的魅力值加分。许多美国人都认同这么一点：在范德堡大学或威廉姆斯学院里不乏那些不在乎学费有多贵的学生，他们关注的只是高昂的学费能换来的漂亮的花坛、宽敞的套房和造型独特的报告大厅。 当然了，在近几年美国大学学费的日益飙升已成为重大社会问题的大背景下，你可以认为学校应该为它平易近人的学费而受到嘉奖。假设我们现在回到斯德克的排名游戏中去，并按照师生比、第75百分位的法学院入学考试成绩、教师论文发表数和价格平均权衡来给法学院重新排名的话，那么就会像下面这样： 1. 芝加哥大学 2. 耶鲁大学 3. 哈佛大学 4. 斯坦福大学 5. 西北大学 6. 杨百翰大学 7. 康奈尔大学 8. 科罗拉多大学 9. 宾夕法尼亚大学 10. 哥伦比亚大学 从重新调整后的排名我们可以看到，还是有学校——比如杨柏翰大学和科罗拉多大学——以公道的价钱提供良好的法律教育的。而通过不把学费计入衡量标准，《美国新闻》很好地给那些收取高昂学费以提升其价值的学校来了个下马威。但这只是个小伎俩。 假设我们真的很在乎是不是物有所值，那么我们需要的就是一个三元排名，学费占40%，法学院入学考试成绩占40%，教师论文发表数占20%。我们来看看前十名有何变化： 1. 芝加哥大学 2. 杨百翰大学 3. 哈佛大学 4. 耶鲁大学 5. 德克萨斯大学 6. 弗吉尼亚大学 7. 科罗拉多大学 8. 阿拉巴马大学 9. 斯坦福大学 10. 宾夕法尼亚大学 编者后记：教育本身就是适合因人而异因地制宜的事情，美国的各种高等院校也在根据自己不同的建立理念走着不同的发展教学道路。从比美国建国历史还悠久的常青藤们，到遍地开花的社区大学；从恪守精英教育理念的文理学院们，到推崇互联网技术改变教育的Minerva大学。美国的高等教育从来不是一份简单的冰冷的排名和数字能概括的。就读一所排名高的院校并不能拿到锦绣前程的保险，不努力不奋斗照样被社会淘汰，而毕业于“后面”的院校也能活出自己精彩的人生。 对于中国的学生和家长来说，与其计较UsNews上排名的前后一两名，不如放更多精力在自己前途的规划上。这时候也许一份留学中介机构的排名和评价表对你们更有帮助。我们最近启动了有史以来最大规模的针对中国留学中介咨询机构的大调查。