PISA 排名是一个有用、但常被过度解读的快照:OECD 每隔几年对一个 15 岁学生的样本进行阅读、数学和科学测试,并按平均成绩对参与国家进行排名。PISA 不是任何个别学生要报考的考试,它与任何考试局都没有关联,它本身也无法告诉你,某个国家的考试局结构是否「比」另一个国家「更好」。
关于 PISA 排名的新闻标题,往往带着强烈的暗示性结论——认为排名靠前国家的整个教育体系,包括其考核学生的方式,一定在做着某种值得全世界效仿的事情。OECD 自己的文档,态度要比这些标题谨慎得多;在就考试局这一具体问题下任何结论之前,弄清楚 PISA 实际衡量的内容与外界对它的种种说法之间的差距,是很值得的。
PISA 究竟是什么
**Programme for International Student Assessment(PISA)**由 OECD(Organisation for Economic Co-operation and Development,经济合作与发展组织)大约每三年开展一次——不过这一周期偶尔会有调整,包括因新冠疫情而导致的一次延后。它对参与国家和经济体中的 15 岁学生,测试其阅读、数学和科学能力,每个周期轮流侧重某一个科目进行更详细的考察。
它的设计有两个特点,对于如何解读结果至关重要:
- 它是抽样调查,不是普查。 PISA 并不会测试一个国家的每一个 15 岁学生。它使用一个经过统计设计的学校样本,并在这些学校内再抽取学生样本,力求能代表该年龄段的全国人口。全国平均值是从该样本推算出的估计值,带有相应的误差范围——而不是对每一个孩子的直接测量。
- 它测试的是能力,而不是任何国家的课程或资历。 PISA 的题目由 OECD 设计,用于评估一般性的阅读、数学和科学素养——即把知识应用到不熟悉的、贴近现实世界的问题中的能力——而不是考核对任何具体国家课程内容的掌握程度。某个国家的 GCSE、Abitur、Baccalauréat 或任何其他国家资历,在 PISA 的设计和评卷中都不起任何作用。
为什么这排除了一种简单的「考试局解释」
由于 PISA 与任何全国性考试或资历都没有关联,它不可能直接衡量某个考试局的工作做得有多好。一个国家的 PISA 平均分,充其量反映的是该国 15 岁人口在某个特定时间点的一般读写和数理能力——而这个数字还经过了抽样、翻译、题目设计以及各周期参与率不同等因素的过滤。它丝毫说明不了这个国家有多少个考试局、这些考试局是慈善机构还是公司、试卷如何评阅,或者分数线是如何划定的。
这一区别,直接关系到英国在 PISA 数据中呈现的样子。英格兰、苏格兰、威尔士和北爱尔兰在 PISA 中被作为各自独立的实体报告,正是因为每个地区都有自己的课程和自己的评估体系——参见我们的相关文章苏格兰为何采用 SQA、北爱尔兰为何保留了 CCEA以及威尔士为什么创立了 Eduqas。在 PISA 数据中,并不存在一个可以拿去与其他国家比较的统一「英国考试局成绩」,只有同处这几个岛屿之内、彼此独立的四份全国性成绩。
高 PISA 分国家之间结构上的多样性
如果考试局结构以任何直接的方式驱动了 PISA 表现,你会预期高分国家拥有相似的结构。但事实并非如此。在不同周期中表现强劲的国家和地区包括:
- 高度集中、由单一全国考试局或政府部门运营评估的体系,例如新加坡和韩国。
- 历来在较小年龄段几乎不进行外部标准化测试、更多依赖教师主导的持续性评估,直到中学高年级末才参加一次统一毕业考试的体系,例如芬兰。
- 存在多个考试局、评估方式因地区而异的联邦制或区域性体系,见于多个 OECD 成员国。
这种跨度——从几乎没有外部测试,到高度集中的全国性考试,二者在不同时期都出现在 PISA 强势表现者之列——本身就是反对把「考试局数量」或「评估集中程度」视为 PISA 结果明确驱动因素的证据。如果这个光谱的两端都能产生优异表现,那么任何一个具体国家成绩的解释,都不太可能仅仅在于其考试局结构本身。
真正可能解释差异的因素(须保持适当谨慎)
研究 PISA 结果的学者们指出了大量可能的相关因素——教师培训与地位、经费及其分配的公平程度、贫困与不平等、学前教育的数量与性质、社会对教育的文化态度,以及校外辅导的多少,等等。这些因素中没有任何一个被证实是单一的、占主导地位的成因,OECD 自身的文档也明确指出,其结果不应被解读为在单一质量维度上对整个教育体系进行排名。任何引用某个具体因果说法来解释某国为何得分优异的人,都应该能够指出一项具体的研究,而不仅仅是排名本身。
PISA 不是唯一的国际评估——与 TIMSS 混淆会造成实际错误
一个常见而具体的错误,是把任何一项国际学业表现排名都当作 PISA 来对待。家长们可能见到的另一项主要研究是 TIMSS(Trends in International Mathematics and Science Study),由 IEA(International Association for the Evaluation of Educational Achievement)而非 OECD 运营,它与 PISA 在多个对解读结果同样重要的方面有所不同:
- TIMSS 考核的是课程内容,而不是一般性素养。 PISA 刻意避免考核任何单一国家的课程,而是评估应用性的阅读、数学和科学素养;相比之下,TIMSS 明确围绕参与国家实际教授的数学和科学课程来设计——它更接近「学生对所教内容学得如何」,而不是 PISA 所衡量的「学生把一般能力应用到陌生问题上的能力如何」。
- TIMSS 测试的年龄段不同。 它评估的是四年级和八年级学生(大致相当于 9-10 岁和 13-14 岁),而不是 PISA 固定的 15 岁群体——因此一个国家的 TIMSS 成绩和 PISA 成绩,描述的是处于不同学校阶段的不同学生,而不是对同一批学生的两次测量。
- 两项排名可能出现分歧,实际上也确实会出现分歧。 一个在 TIMSS(9-10 岁或 13-14 岁的课程掌握程度)上表现强劲的国家,并不保证在 PISA(15 岁时的应用性素养)上也有同样的排名,正是因为这两项研究由不同机构运营,针对不同年龄段,采用不同的题目设计,衡量的其实是真正不同的东西。
一则引用「国际排名」却没有说明具体是哪项研究的新闻标题,或者把 TIMSS 的结果当作 PISA 结果来引用(反之亦然),都应该带着真正的谨慎去看待——这两者并不能互换使用,把它们混为一谈,是围绕 PISA 的种种说法最常出错的方式之一。
参与是自愿的,这同样影响着结果
一个国家是否加入 PISA 并非强制性的,哪些国家和经济体选择参与——以及它们在一届又一届调查中参与的连贯程度如何——本身也是解读任何一次排名所需要的背景信息的一部分。近几届 PISA 大约有 80 个国家和经济体参与,既有 OECD 成员国,也有非成员的伙伴国家和地区,这份名单在各周期之间会有所变化,有国家加入、退出,或者参与情况受到各种事件影响(例如前面提到的,2022 年这一届的时间安排本身就因新冠疫情而被推迟)。某个国家未出现在某一届的成绩表中,未必意味着它表现不佳——它可能只是没有参加那一轮调查——而一个国家在不同周期之间排名的变化,也可能反映的是其他参与国家构成的变化,而不仅仅是该国自身学生表现的变化。
PISA 真正擅长衡量的是什么
以上这些,并不意味着 PISA 没有用处——它是目前少数几个方法论一致、规模庞大的国际学生能力比较研究之一,遵循一套公开发表、经过同行评审的方法,能让政策制定者追踪一个国家 15 岁学生平均的阅读、数学和科学素养,相较于可比较国家而言,随时间呈现怎样的变化趋势。这是一件真正有价值、但也真正有其局限的事情。
而这种局限,正是本文想要说明的重点:PISA 衡量的是某个特定年龄段抽样人口的素养能力,采用的是与任何国家资历都无关、由 OECD 设计的题目。它从来不是、也从来没有被设计成对任何国家的考试局、评分体系或颁证机构数量的一份成绩单。任何想就自身结构优劣比较英国考试局与其他国家考试局的人,都需要 PISA 排名表之外的证据——也应对那些拿出 PISA 排名就仿佛已经解决了这个问题的说法保持警惕。
准确的结论
一个较高的 PISA 排名,只能告诉你:在某一次特定的测试周期中,该国抽样的 15 岁学生,在一套国际设计的特定素养题目上,平均表现良好。它不能告诉你,该国的考试局管理得更好、评分更可靠、资历更严格,也不能说明该国组织评估方式的任何具体特点导致了这一结果。请把 PISA 排名当作 OECD 设计它时的初衷来看待——一张能力快照——至于任何类似「考试局质量究竟如何」这样问题的答案,请转向本系列涵盖的结构与监管细节去寻找。