原文刊载于《中国考试》2023年第8期第55—64页。
作 者
彭川,深圳大学助理教授。
刘建达,广东外语外贸大学外国语言学及应用语言学研究中心教授。
摘 要:语言能力标准之间的对接有利于不同测评体系分数的互认与解释。本研究探讨《中国英语能力等级量表》(CSE)与《欧洲语言共同参考框架》(CEFR)在阅读技能方面的级别对应关系。研究采用共同锚题非等组设计,将63条CEFR阅读描述语和104条CSE锚题描述语组成15份问卷,同时辅以半结构化访谈,共收集超过2700名教师的5441个作答数据和超过23400名学生的23460个作答数据。结果显示,CSE阅读量表与CEFR阅读量表之间存在着相对清晰的级别对应关系。
关键词:《中国英语能力等级量表》;《欧洲语言共同参考框架》;量表对接;阅读技能
0 引言
《中国英语能力等级量表》(China’s Standards of English Language Ability, CSE)为我国英语学习、教学和评估提供共同参考标准。目前,CSE应用研究主要包括能力现状调查[1]、CSE与自评[2]、CSE与考试对接(如对接方法[3]、效度论证[4]、与校本考试对接[5])等。在与其他语言能力标准的对接方面,已有学者将CSE与国际上影响较大的语言能力标准《欧洲语言共同参考框架》(Common European Framework of Reference for Languages: Learning, Teaching, Assessment,CEFR)进行对接研究,探讨二者在总体语言能力、听力及写作技能上的级别对应关系[6-8]。不同语言能力标准之间的对接有助于考试分数的解释和在不同情境下的能力比较[9],也能促进不同领域语言能力的认证[10]。鉴于此,本研究进一步探寻CSE与CEFR阅读技能级别对应关系,以期为不同语言能力量表的对接提供更多借鉴与参考。
1 文献综述
1.1 量表与描述语
作为语言能力量表,CSE与CEFR衡量和描述从基础阶段到熟练阶段(高水平学习者和使用者)的语言能力水平。无论是总体语言能力还是各项技能(如听、说、读、写等),CSE与CEFR均关注学习者在社会语境中的语言交际性,体现在每个级别的“能做”描述语[11-12]。在这两个量表中,语言能力均被认为是在语言知识和交际策略的帮助下完成任务的能力。各项技能均包括交际活动、交际策略和语言知识3个类别的分量表。例如,CSE和CEFR的阅读量表均包括阅读活动、阅读策略和语言知识(如词汇和语法等)3个类别的分量表。
CSE描述语库吸纳国内外有代表性的量表描述语。在这个意义上,就描述范畴而言,CSE已基本涵盖CEFR。例如,CSE的“理解书面互动”和“理解书面指示”两个分量表分别对应于CEFR的“读信”和“阅读指令”分量表,但部分描述范畴(如阅读策略、修辞组构知识等)为CSE阅读量表所特有。
CEFR阅读描述语难度值按2个洛基值(logit value)进行等距划分,共分为A1、A2、B1、B2、C1和C2 6个难度递进的标准等级[12]。CSE的9个标准级别(由低至高排序为一级至九级)也是按描述语的难度值进行等距划分而得,但是最终划定的CSE各级别的间距比CEFR小且不完全等距,9个级别对应9个不同的教育学段[11]。
1.2 语言能力量表之间的对接
在第二语言测评领域,对接(alignment)多指测试分数和语言能力量表建立级别对应关系[13]。只有理论依据或内容类似的试卷和量表才可以对接[14],故本研究剔除CSE阅读量表独有的描述范畴,仅选取CSE和CEFR阅读量表共有的描述范畴进行对接。鉴于CSE和CEFR的等级均根据描述语难度值进行划分,CSE与CEFR阅读量表的对接可理解为阅读描述语难度值的比较。
目前关于语言能力量表对接的研究方法大致可分为3类:1)描述语导向法,即在一个标尺上计算和比较不同量表描述语的难度值,数据分析方法主要包括Rasch分析、锚题等值设计、线性转换等,如CEFR-Japan与GSE(Global Scale of English)的对接[15];2)考试导向法,通过考试与量表、考试与考试的对接间接推测量表与量表的对接结果,要求考试能代表量表各级的难度与描述内容,如Swender等通过比较已与CEFR对接的阅读考试和已与ACTFL(American Council on the Teaching of Foreign Language Proficiency Guidelines)对接的阅读考试,间接获取ACTFL与CEFR阅读技能级别对应关系[16];3)受试导向法,即将一组受试在两个量表的语言水平校准到同一量尺,要求受试能较好地代表语言能力量表各级别的典型特征,如North等分别比较同一群体在CEFR和CLB(Canadian Language Bench-marks)的口语等级和写作等级,进而推测CEFR和CLB口语技能和写作技能的对应关系[17]。可见,考试导向法和受试导向法未关注作为量表分级之核心的描述语难度值。语言能力量表并不是为某个特定考试研制,考试和描述语的描述差异始终存在[18]。受试导向法直接比较描述语难度值,但现有研究仅用少数描述语通过线性转换得出级别对应关系。在难度值方面,源量表的描述语在目标量表等级上是如何分布的,仍缺乏较深入的研究。在数据收集方面,现有研究数据主要为教师评估或学生自评的定量数据,质性数据较为缺乏。
2 研究问题与方法
2.1 研究问题
本研究力图回答以下两个问题:1)CSE阅读描述语在CEFR阅读量表中的级别分布如何;2)在阅读技能方面,CSE与CEFR是何种等级对应关系。
2.2 研究方法
本研究采用量化与质性相结合的方法,主要采用问卷与访谈两种调查方法。
2.2.1 问卷调查
CSE阅读描述语的难度值通过对教师评学生和学生自评的数据进行Rasch分析得出。先将CEFR量表描述语难度值校准并等值至CSE,然后比较CSE和CEFR阅读量表描述语难度值。由于CEFR只有63条阅读描述语,数量偏少,加之进行大规模数据收集的机会非常宝贵,故按照共同锚题非等组设计(common items non-equivalent design)进行混合组卷时将听、说、写3种语言技能和语言知识、交际策略的CEFR描述语一同纳入,数据分析时仅关注阅读描述语。
在共同锚题非等组设计中,描述语按照难度等级组卷,不同问卷通过共同锚题连接。将467条CEFR描述语(包括63条阅读描述语)和104条CSE描述语通过水平锚题和垂直锚题连接成涵盖CEFR各级别的15份问卷,每份问卷包含50条描述语(包括锚题),涵盖听、说、读、写、语言知识和交际策略,并在数量上保持均衡。
问卷采用0~4的5级评分:0指英语水平远低于描述语所表达的标准,1指英语水平稍低于描述语所表达的标准,2指英语水平等同于描述语所表达的标准,3指英语水平稍高于描述语所表达的标准,4指英语水平远高于描述语所表达的标准。
2.2.2 访谈法
半结构化访谈为定量分析提供补充信息。访谈问题包括:1)哪个CEFR级别与你的阅读技能相对应?;2)哪些描述语更容易理解?哪些描述语更难?
2.2.3 参与者
采用分层抽样选取问卷作答人员,涵盖我国28个省份和义务教育、高中、大学各学段,收集超过2700名教师的5441个作答数据和超过23400名学生的23460个作答数据,详见表1。访谈对象来自湖北省武汉市郊区,包括8名拥有10多年教龄的教师和4名英语水平中等的学生,较为均衡地涵盖各教育阶段。
2.3 数据收集和分析
使用教育部教育考试院提供的电子平台进行数据收集。教师按照0~4的5级评分标准对两名熟悉的学生的英语水平进行评分,学生用相同的评分标准进行自我评估。教师和学生在回答问卷前需进行现场或线上培训。最终结果要基于两个数据集进行交叉验证。访谈数据经过转写和内容分析,作为定量数据的补充。问卷数据分析步骤如下:1)15份问卷的Rasch分析。分析软件为FACETS 3.71.4,对教师数据和学生数据进行独立分析。2)CEFR和CSE锚题描述语的稳定性检测。3)采用固定参数法(fixed item parameter equating)进行描述语等值[19]。将步骤1)所涉及的CEFR描述语的难度值等值至CSE描述语的统一量尺上。4)统计比较。选取CEFR阅读描述语及其难度值,计算CEFR和CSE阅读描述语在各级别上的难度值的平均值和标准差,将CEFR阅读量表各级别的难度值区间定义为平均值加减1个标准差。依据CSE描述语所处的CEFR难度值区间,得到CSE阅读描述语在CEFR各级的百分比分布。
3 结果
3.1 初步分析
教师评学生的数据与学生的自评数据的皮尔逊相关系数为0.98(n=467;p0.01),表明教师评学生和学生自评中描述语难度值的排序高度一致。限于篇幅,本文着重介绍教师评学生的数据。由表2可知,描述语拟合度的平均值为0.97~1.00,标准差为0.13~0.21;学生拟合度的平均值为0.95~0.99,标准差为0.16~0.35;学生的信度系数为0.98~0.99,远高于信度标准最低值(0.7)。因此,数据具有良好的信度和效度。
表3和表4分别是教师评学生中CSE阅读量表和CEFR阅读量表各等级描述语所呈现的难度值描述性统计结果。表3显示,随着CEFR级别的提高,描述语难度值的均值和中位数均逐步递增,这说明采用固定参数法进行描述语等值是恰当的。
3.2 CSE阅读描述语在CEFR阅读量表中的百分比分布
表5和表6呈现CSE阅读描述语在CEFR阅读量表各级别的百分比分布。例如,从表5可知,学生自评结果显示,CSE阅读量表中的二级描述语在CEFR阅读量表各级别的百分比分布情况为:低于A1级别的约占44%,属于A1级别的约占50%,属于A2级别的约占6%。
表5和表6显示,虽然两组数据的百分比数值不完全相同,甚至在某些级别出现异常值(如从表6可知,6%的CSE四级描述语位于CEFR C1级别),但两组数据呈现的分布趋势总体相似。根据两组数据的交叉验证,就阅读技能而言,CSE一级描述语在CEFR中的分布级别为A1以下;CSE二级描述语在CEFR中的分布级别主要为A1及以下,极少数分布在A2; CSE三级和CSE四级描述语在CEFR中的分布级别均主要为A2和B1,CSE三级描述语还有极少数分布在A1,CSE四级描述语还有少数分布在B2和C1; CSE五级描述语在CEFR中的分布级别主要为B1、B2和C1,少数分布在A2; CSE六级描述语在CEFR中的分布级别主要为B2和C1,少数分布在B1和C2; CSE七级和CSE八级描述语在CEFR中均分布至B2、C1和C2; CSE九级描述语在CEFR中主要分布至C1和C2,极少数分布在B2。图1展示CSE阅读描述语在CEFR阅读量表各级别中的主要分布情况。
3.3 级别对应
在表5和表6中,星号(*)强调CSE描述语在CEFR各级最集中的百分比,反映CSE阅读量表与CEFR阅读量表各级别之间最有可能的对应关系。从表5和表6可知,CSE一级描述语的难度值全部落入CEFR A1以下,因此CSE一级明显对应CEFR A1级别以下; CSE二级大部分描述语的难度值分布在CEFR A1及以下难度区间,因此CSE二级主要对应CEFR A1及以下;CSE三级描述语大多分布在CEFR A2,因此CSE三级主要对应CEFR A2;CSE四级描述语大多分布在CEFR B1,因此CSE四级主要对应CEFR B1。
从表5可知,学生数据显示,CEFR B2与CEFR C1存在明显重叠,即CEFR C1难度区间的下界值小于CEFR B2难度区间的下界值,CEFR C1难度区间的上界值大于CEFR B2难度区间的上界值。因此,位于CEFR C1的CSE描述语包括位于CEFR B2的CSE描述语。考虑到由学生数据所反映的描述语级别对应严重重叠,如教师数据和学生数据所反映的描述语级别对应结果差别较大,在较高级别则主要参照教师数据进行量表对接。例如,学生数据显示,CSE四级描述语主要位于CEFR B1,CSE五级描述语对应的CEFR级别则越过B2级别,直接对应C1,而教师数据显示,CSE五级描述语主要位于B2。鉴于这种情况,在仔细评估之后,判定CSE五级主要对应CEFR B2。
由表6可知,教师数据显示,CSE六级描述语大多位于CEFR B2,因此CSE六级主要对应CEFR B2;CSE七级描述语主要位于CEFR C1,因此CSE七级主要对应CEFR C1;CSE八级描述语大多也位于CEFR C1,因此CSE八级也主要对应CEFR C1;分别有43%的CSE九级描述语落入CEFR C1和CEFR C2,因此CSE九级主要对应CEFR C1和CEFR C2。
4 结论与讨论
就本研究的两个具体问题而言,由图1可知,CSE阅读量表各级别描述语趋向于分布在几个相邻的CEFR级别。在访谈中,作为CSE各级别目标群体的教师也表示,学生的语言能力很难直接与CEFR各级别对应,评判时需将CEFR抽象的描述语与中国学生日常教学与生活情境下的英语水平建立关联。就阅读技能而言,尽管CSE与CEFR无法实现精准对接,但仍然存在相对明显的级别对应关系,相应级别也具有类似的典型特征,如CEFR A2和CSE三级均要求说话者能理解最切身相关领域的单独句子和常用词语;CEFR B1和CSE四级均要求说话者能理解别人用清楚、标准的语言讲话的要点。除以上结论外,试作如下讨论。
第一,尽管CSE四级主要对应CEFR B1,仍有超过30%的CSE四级描述语落在CEFR A2(见表5和表6)。这类描述语主要涉及:1)对于熟悉的话题,掌握简单文本的大意或关键词,如“在读中外文化类说明性短文时,能概括主要内容”(理解书面说明,CSE四级)。访谈中,教师反映,获取简短文本的主旨是高考阅读考查的重要内容之一,课堂中也有很多这方面的训练,所以这类描述语对学生来说比较容易;2)阅读策略,如“能利用略读、寻读、跳读等不同的阅读技巧,找出文章中的重要信息”(阅读理解策略,CSE四级)。首先,CEFR分量表“发现线索并推演”用于描述语言输入策略,但未进一步区分听力策略和阅读策略;其次,CEFR阅读策略描述语数量过少(仅有5条),致使阅读策略的等级对接关系不稳定;最后,访谈中,教师表示,学生经常练习这些阅读策略,因而用起来就相对容易。
第二,CSE一级所有描述语均在CEFR A1以下,表明CEFR A1的要求明显超出小学三年级、四年级学生(CSE一级目标群体)的能力。访谈中,教师反映小学三年级、四年级学生主要跟着老师大声朗读,而不是在认知层面理解材料。但CEFR A1已涉及认知层面的能力,如“识别熟悉的单词或短语”。访谈中,小学教师还反映:由于相关描述语超出学生的学习和生活经验,很难将学生的语言水平与CEFR A1描述语进行匹配;由于课本上有类似练习,学生可以理解非常短的故事的基本信息,如儿歌和童谣,但他们仍然不能识别看似常见的单词或短语,涉及认知的描述语不适合低龄段学习者,尤其是小学三年级、四年级的学生。这一对接结果也证实了CEFR对低龄段学习者的局限性[20]。
第三,CSE阅读量表二级描述语中有一半位于CEFR A1,另一半位于CEFR A1级别以下(见表5和表6)。从典型特征来看,CSE阅读量表二级要求在读含有生词的小短文时,能借助插图或其他手段理解短文内容,CEFR A1和CEFR A2也与日常生活中的简单材料有关,但CEFR A2描述语主要涉及基于工作和真实情境的文本,如“能区分关于日常主题的常见规范信件的主要类型,如咨询信件、邮购信件、确认信函等”(阅读信件,CEFR A2)。访谈中,小学五年级、六年级(CSE二级的目标群体)的教师反映,CEFR有关工作的描述语超出学生的经验范围,学生较难理解有关表达。
第四,CSE阅读量表五级和六级主要对应CEFR阅读量表B2级别。这一结果表明,CEFR B2的阅读描述语并不能充分体现我国非英语专业学生阅读能力的发展,原因可能在于CSE五级和六级的描述语主要涉及理解暗含的观点、主要思想和特定细节,如“在读非学术性著作的书评时,能提取作者的主要观点”(理解书面论述,CSE五级),“在读语言较复杂的小说节选时,能掌握故事的主要情节”(理解书面叙述,CSE六级)。从典型特征来看,CEFR B2描述语要求在读语言较复杂的文本时,能理解基本内容、复杂论证和特定信息。CSE阅读量表五级和六级的区别主要在于阅读材料的难度。访谈中,大二非英语专业学生(CSE五级目标群体)和大四非英语专业学生(CSE六级目标群体)反映,材料题材是影响阅读描述语难度的主要因素之一。然而,CEFR并未像CSE那样给出详细的内容类型分类。
第五,CSE阅读量表七级和八级均对应CEFR C1,原因主要为:一方面,CSE七级和CEFR C1均要求能够处理大多数特有的和常用的表达、明示或暗示的观点,描述语主要涉及各种较长的复杂文本,如“能详细读懂社会、职业或高校生活中常见的题材广泛的文章,能辨别细微之处,包括文中人物的态度、明示或暗示的观点”(为获得信息和讨论阅读,CEFR C1),“在读相关专业领域的书评时,能提炼出主要观点”(理解书面论述,CSE七级)。CSE七级和CSE八级的主要区别在于主题的复杂程度和难度。虽然CEFR阅读量表C1级别也涉及复杂和冗长的材料,但没有根据不同主题进一步对阅读材料进行详细分类,而只是一个总体抽象的概念,如“抽象、复杂和陌生的主题”。另一方面,CEFR C1和CEFR C2描述语数量偏少,使得对接比较模糊。CEFR C1阅读描述语不能充分反映我国英语专业学生阅读能力的进步,CEFR量尺并不能恰当标记中国学习者从CSE七级到八级的进阶步伐[21]。
第六,就阅读量表而言,CSE九级对应CEFR C1和CEFR C2。这可从两方面加以解释:一方面,高级别描述语提供的情境参数过少以及对“能做”的表述比较模糊抽象[22];另一方面,CEFR C级别描述语缺乏验证,使用者在作出判断时是否与学习者的真实行为相关联尚不得而知[23]。
本研究主要涉及阅读技能,后续研究可以探究CSE与CEFR在其他语言技能的对接,还可从不同角度进一步验证量表低级别和高级别之间的模糊对接。不仅如此,2018版CEFR在C级别和A1级别增添了一些新的描述语,后续研究可以进一步验证这些新增描述语与CSE的对接关系。
参考文献:
“《中国考试》杂志”
学习强国号
需要本期杂志可长按二维码识别购买