高校英语专业四级测试写作评分标准的设计与效度研究

总序

前言

第1章 引言

第2章 二／外语写作测试效度验证的理论框架

2.1 语言测试效度整体观

2.2 写作测试效度验证的框架

2.3 TEM 4写作评分的效度验证框架

第3章 二／外语写作测试研究

3.1 二／外语写作能力理论研究

3.1.1 写作过程的认知模式

3.1.2 Bachman和Palmer的交际语言能力框架

3.1.3 ESL／EFL写作能力模式

3.2 二／外语写作文本特征研究

3.3 二／外语写作评分研究

3.3.1 评分方法

3.3.2 评分标准及其设计方法

3.3.3 评分模式研究

3.3.4 评分员差异性

第4章 英语专业四级写作评分标准研究

4.1 研究问题和研究设计

4.2 操作化问题及其研究方法

4.3 研究结果分析

4.3.1 中国英语专业学生写作能力构念研究

4.3.2 评分标准设计和修正

第5章 评分标准的效度研究

5.1 两种评分标准的比较

5.2 评分员的主观评价

5.3 新标准质量分析

5.4 两种评分标准评分结果之比较

5.5 评分策略比较

第6章 总结与展望

6.1 TEM 4写作评分效度研究总结

6.2 TEM 4写作评分研究展望

参考文献

附录

附录1 Analytic Scoring Rubrics for TOEFL CBT Writing Prompts

附录2 IELTS写作评分标准

附录3 Examples of Coded Decision-making Behaviors from Think-aloud Protocols

附录4 有声思维材料分析框架

附录5 无评分标准参照的评分材料

附录6 根据评分标准评分的评分材料

附录7 英语专业学生写作能力调查问卷

附录8 评分标准初步方案征求意见之反馈(例)

附录9 TEM 4评分标准

附录10 评分标准评价

《高校英语专业四级测试写作评分标准的设计与效度研究》报告了TEM4写作评分研究的成果。基于语言测试效度整体观理论和写作测试效度验证的框架，提出本课题的理论框架。在全面综述二／外语写作能力理论研究、二／外语写作文本特征研究、二／外语写作评分研究等有关领域的研究成果的基础上，提出本研究的问题和研究方法。根据大规模问卷调查的结果和统计分析，作者设计了TEM4分项式评分标准，然后，运用多种统计方法，特别是基于项目反应理论(itemresponsetheory，IRT)的多层面Rasch模型(multi—facetRaschmeasurement)，并结合质的研究方法，对评分标准终稿进行效度验证。研究发现：总体而言，在评分员之间的一致性、评分员内部的一致性、评分员与受试之间的交互作用、评分量表的区分性等方面新标准均好于原标准，评分员倾向于选择新的分项式评分标准。他们认为，新标准的优势主要是，能够为写作教学提供更详尽的反馈信息，指导和促进教学，能够全面反映学生的写作能力，而且根据新标准打分更加准确。比较新评分标准的维度和评分员的实际评分策略发现，评分标准中的所有要求都在评分实践中得到反映。
　　《高校英语专业四级测试写作评分标准的设计与效度研究》提出的TEM4的分项式评分标准在经过充分验证之后，已应用于TEM4写作的评分实践中，在一定程度上促进了英语专业四级测试的发展。另外，国内大规模、高风险语言测试的写作部分的评分标准尚无基于实验证据设计并加以效度验证的研究，本研究亦为类似研究提供了范例。