ประสิทธิภาพของวิธีการคัดเลือกข้อสอบสองวิธีในการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับโมเดลการตอบสนองข้อสอบที่ใช้แบบทดสอบย่อย: การเปรียบเทียบระหว่างวิธีมอนติ คาร์โล ซีเอที และวิธีแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ

EFFICIENCY OF TWO ITEM SELECTION METHODS IN COMPUTERIZED ADAPTIVE TESTING FOR THE TESTLET RESPONSE MODEL: A COMPARISON BETWEEN THE MONTE CARLO CAT METHOD AND THE CONSTRAINT-WEIGHTED A-STRATIFICATION METHOD

Name: อนุสรณ์ เกิดศรี

keyword: ทฤษฎีการตอบสนองข้อสอบ

; ข้อสอบ

Abstract: การศึกษาครั้งนี้มีวัตถุประสงค์เพื่อ 1) เปรียบเทียบประสิทธิภาพด้านความถูกต้องแม่นยำของการประมาณค่าความสามารถของผู้สอบระหว่างวิธีการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) และวิธีการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ (CWA) และ 2) เปรียบเทียบประสิทธิภาพด้านการใช้คลังข้อสอบระหว่างวิธีการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) กับวิธีการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ (CWA) การศึกษาครั้งนี้เปรียบเทียบประสิทธิภาพระหว่างวิธีการคัดเลือกแบบทดสอบย่อย 2 วิธี ภายใต้โมเดลการตอบสนองข้อสอบที่ใช้แบบทดสอบย่อย (testlet response model) ข้อมูลถูกจำลองขึ้นมาเพื่อศึกษาประสิทธิภาพภายใต้ตัวแปรอิสระ 2 ตัว คือ อัตราการใช้แบบทดสอบย่อยซ้ำสูงสุด (10%, 15%, 20%, 25%) และขนาดคลังข้อสอบ (600 และ 800 ข้อ) เกณฑ์ที่นำมาใช้เปรียบเทียบประสิทธิภาพในการประมาณค่าพารามิเตอร์ ได้แก่ ความลำเอียง ความแปรปรวนของความคลาดเคลื่อน สหสัมพันธ์ระหว่างค่าความสามารถจริงและความสามารถประมาณค่า และความยาวของแบบสอบ ประสิทธิภาพการใช้คลังข้อสอบพิจารณาจากเกณฑ์ 5 เกณฑ์ ได้แก่ อัตราการใช้แบบทดสอบย่อยซ้ำที่สังเกตได้ อัตราการทับซ้อนของแบบสอบ ไคสแควร์ จำนวนแบบทดสอบย่อยที่ไม่ถูกนำมาใช้ และจำนวนแบบทดสอบย่อยที่ถูกนำมาใช้มากเกินไป ซึ่งการทดลองถูกทำซ้ำ 10 ครั้ง สำหรับแต่ละเงื่อนไข ผลการวิจัยมีดังต่อไปนี้ 1. การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) มีประสิทธิภาพด้านความถูกต้องแม่นยำของการประมาณค่าความสามารถของผู้สอบสูงกว่าการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ (CWA) ในทุกเงื่อนไขการทดลอง 2. การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) มีประสิทธิภาพด้านการใช้คลังข้อสอบสูงกว่าการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ (CWA) เมื่ออัตราการใช้แบบทดสอบย่อยซ้ำสูงสุด ต่ำกว่า 20% แต่เมื่ออัตราการใช้แบบทดสอบย่อยซ้ำสูงสุด เพิ่มขึ้นเป็น 25% การทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบแบ่งกลุ่มค่าอำนาจจำแนกแบบถ่วงน้ำหนักที่มีการบังคับ (CWA) มีประสิทธิภาพเหนือกว่าการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) โดยพิจารณาได้จาก จำนวนแบบทดสอบย่อยที่ไม่ถูกนำมาใช้ อัตราการแสดงแบบทดสอบย่อยที่สังเกตได้ และ ไคสแควร์ ที่มีค่าต่ำกว่า อย่างไรก็ตามการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบมอนติ คาร์โล ซีเอที (MCC) มีประสิทธิภาพสูงกว่าเมื่อพิจารณาจากอัตราการทับซ้อนของแบบสอบที่ต่ำกว่า

Abstract: The purposes of this research were 1) to compare the efficiency of measurement precision between the Monte Carlo CAT method (MCC) and the constraint-weighted a-stratification method (CWA), 2) to compare the efficiency of pool utilization between MCC and CWA. This research compared the efficiency between the two methods within the testlet response model. The data were generated to explore the efficiency under two independent variables: maximum testlet exposure rate (10%, 15%, 20%, 25%) and item pool size (600 and 800). The efficiency in parameter estimation was compared in term of bias, MSE, correlation between true ability and estimated ability as well as test length. The pool utilization efficiency was examined through five criteria: observed testlets exposure rate, test overlap rate, testlets exposure rate distribution (chi-square), number of never exposed testlets and number of overexposed testlets. The experiments were repeated 10 times for each condition. The findings of the research were as follows. 1. The MCC showed greater measurement precision than the CWA for all experimental conditions. 2. The MCC provided greater efficiency in pool utilization than the CWA when maximum testlet exposure rates of less than 20% were investigated, but when maximum testlet exposure rate increased to 25% the CWA was more efficient than the MCC which was evidenced by lower number of never exposed testlets, lower observed testlets exposure rate, and lower testlets exposure rate distribution (chi-square); however, the MCC was more efficient suggested by lower test overlap rate.

จุฬาลงกรณ์มหาวิทยาลัย. สำนักงานวิทยทรัพยากร

Address: กรุงเทพมหานคร

Email: cuir@car.chula.ac.th

Name: ณัฏฐภรณ์ หลาวทอง

Role: ที่ปรึกษา

Name: สังวรณ์ งัดกระโทก

Role: ที่ปรึกษา

Modified: 2559-05-13

Created: 2557

Issued: 2559-05-13

วิทยานิพนธ์/Thesis

application/pdf

URL: http://cuir.car.chula.ac.th/handle/123456789/45890

tha

DegreeName: ครุศาสตรดุษฎีบัณฑิต

Level: ปริญญาเอก

Descipline: การวัดและประเมินผลการศึกษา

Grantor: จุฬาลงกรณ์มหาวิทยาลัย

©copyrights จุฬาลงกรณ์มหาวิทยาลัย

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5284269027.pdf	9.4 MB	151	2026-11-02 01:17:08

ใช้เวลา

0.035866 วินาที