A study of trait factors of oral language ability in a computer-based speaking test for Thai university students

การศึกษาองค์ประกอบทางความสามารถด้านการพูดจากแบบสอบการพูดด้วยคอมพิวเตอร์สำหรับนักศึกษาไทยระดับอุดมศึกษา

Name: Sutthirak Sapsirin

ThaSH: English language -- Computer-assisted instruction

ThaSH: English language -- Computer-assisted instruction for Thai speakers

ThaSH: Test of Spoken English

ThaSH: English language -- Spoken English -- Examinations

Abstract: To investigate the trait structure of oral language ability in a computer-based speaking test (CBST), the test-taking processes and strategies of the examinees taking the test, the effects of test tasks on test scores and speech produced, and the attitudes of the examinees to the test. The participants were Thai first-year university students. The research instruments included the CBST, rating scales, and questionnaire. The traits being investigated were knowledge of pronunciation, syntax, vocabulary, cohesion and function. The test tasks comprised the narrative, opinion, imaginary and persuasive tasks which generated planned monologic responses. The data were analyzed through both quantitative and qualitative approaches. The quantitative approaches were multivariate generalizability theory, confirmatory factor analysis, and MANOVAs. The qualitative approaches consisted of content analysis of verbal protocols, and attitudes to the test, and discourse analysis of the test responses: analyses of genre, speech functions and grammatical features. The limitations of the study concerned the homogeneous nature of the participants in terms of their native language and educational level, the purposive sampling method used in selecting the participants as well as the relatively small sample size. The findings seemed to provide evidence which supported and challenged the validity of the CBST score interpretations. The supportive evidence may be, first, most of the trait factor loadings were significant (p < .05) and ranged from moderate to high. Also, the reliability of most constructs was above 0.70. This suggests that most measures were good indicators of the construct they were designed to measure, indicating the CBST was a valid measure of most of the speaking ability as defined. Second, the examinees engaged in test-taking processes and strategies relevant to the constructs of interest. This implies the test scores may be a product of using the language ability aimed to be measured by the test. Moreover, the genre, speech functions and grammatical features found in the test responses corresponded with the task requirements. Finally, the examinees generally had positive attitudes to the test. However, evidence that may threaten the validity of the score interpretation came from the low reliability of the functional knowledge construct. This may be the result of the imaginary task as the difficulty and ambiguity of the task prompt has led to the lowest mean score in almost all areas, unintended speech functions and negative attitude to the test. Also, the lack of interlocutors caused the examinees to view the test as unauthentic. Despite these weak points, with some revisions and careful interpretations made from the test scores, the CBST can serve as a potentially useful instrument in oral language assessment.

Abstract: ศึกษาโครงสร้างทางความสามารถของแบบทดสอบการพูดภาษาอังกฤษด้วยคอมพิวเตอร์ กระบวนการและกลยุทธ์ในการทำข้อสอบ และผลของข้อสอบต่อคะแนน คำตอบและเจตคติของผู้เข้าสอบ กลุ่มตัวอย่างเป็นนิสิตมหาวิทยาลัยชั้นปีที่ 1 เครื่องมือที่ใช้ได้แก่ แบบสอบการพูดด้วยคอมพิวเตอร์ มาตราส่วนประมาณค่า และแบบสอบถาม ความสามารถที่ศึกษา ได้แก่ ความรู้ด้านการออกเสียง ด้านวากยสัมพันธ์ คำศัพท์ การเชื่อมโยงข้อความ และหน้าที่ของภาษา แบบสอบกำหนดให้เล่าเรื่อง แสดงความคิดเห็น บรรยายเหตุการณ์ในจินตนาการ และโน้มน้าวใจผู้ฟัง การวิเคราะห์ข้อมูลใช้วิธีวิเคราะห์เชิงปริมาณ ได้แก่ ทฤษฎีการอ้างอิงสรุปของผลการวัด การวิเคราะห์องค์ประกอบเชิงยืนยัน การวิเคราะห์ความแปรปรวนแบบพหุ และวิธีวิเคราะห์เชิงคุณลักษณะ ได้แก่ การวิเคราะห์เนื้อหาของการรายงานปากเปล่า เจตคติต่อแบบทดสอบ และการวิเคราะห์คำตอบของแบบสอบ ผลการศึกษาพบหลักฐานที่สนับสนุนและโต้แย้งความตรงเชิงทฤษฎีของแบบสอบ หลักฐานที่สนับสนุนได้แก่ ค่า factor loading ของความสามารถมีค่าปานกลางถึงสูงอย่างมีนัยสำคัญทางสถิติ (p < .05) ค่าความเที่ยงของความสามารถมีค่าสูงกว่า 0.70 ซึ่งบ่งบอกว่าแบบสอบสามารถวัดความรู้ที่ออกแบบให้วัดได้ แบบสอบนี้จึงมีความตรงในการวัดความสามารถด้านการพูดที่ศึกษา นอกจากนี้ ผู้เข้าสอบใช้กระบวนการและกลยุทธ์ที่เกี่ยวข้องกับความสามารถที่ต้องการวัด ซึ่งบ่งบอกว่าคะแนนสอบอาจเป็นผลมาจากการใช้ความสามารถทางภาษาซึ่งต้องการวัด โดยแบบสอบ คำตอบของผู้สอบเป็นประเภท หน้าที่ของภาษา และลักษณะทางไวยากรณ์ ที่สอดคล้องกับสิ่งที่แบบสอบต้องการวัด และผู้สอบมีเจตคติเชิงบวกต่อแบบสอบ อย่างไรก็ตาม พบหลักฐานที่แย้งความตรงเชิงทฤษฎีของแบบสอบด้วย ซึ่งเกิดจากค่าความเที่ยงที่ต่ำของความสามารถด้านหน้าที่ ซึ่งอาจเกิดจากข้อสอบที่ให้ผู้สอบบรรยายโลกในจินตนาการ พบว่าข้อสอบข้อนี้ยากที่สุดและกำกวม ทำให้คะแนนข้อนี้ต่ำที่สุดในเกือบทุกด้าน ผู้สอบแสดงหน้าที่ของภาษาที่ไม่เกี่ยวข้องกับข้อสอบ และมีเจตคติทางลบต่อข้อสอบข้อนี้ นอกจากนี้ การไม่มีผู้สนทนาด้วยทำให้ผู้เข้าสอบมองว่าแบบสอบไม่เหมือนสภาพจริง โดยสรุปแล้วหากแบบสอบนี้ได้รับการปรับปรุง ก็อาจมีประโยชน์ในการทดสอบความสามารถด้านการพูดภาษาอังกฤษได้

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Kanchana Prapphal

Role: advisor

Name: Bachman, Lyle f.

Role: advisor

Created: 2006

Modified: 2017-07-06

Issued: 2017-07-06

วิทยานิพนธ์/Thesis

application/pdf

URL: http://cuir.car.chula.ac.th/handle/123456789/14201

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: English as an International Language

Grantor: Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	Sutthirak_Sa.pdf	1.96 MB	16	2023-01-16 14:25:59

ใช้เวลา

0.017401 วินาที