Ambiguity resolution in Thai word segmentation using contextual information

วีธีการแก้ปัญหาความกำกวมในการแบ่งคำไทยโดยใช้ข้อมูลเชิงบริบท

Name: Duanphen Thaiprayoon

LCSH: Automatic speech recognition

LCSH: Natural language processing (Computer science)

LCSH: Word (Linguistics)

Abstract: This thesis studies how to segment ambiguous words in the Thai language, where the ambiguity lies in whether the word in question should be segmented as either a combined (whole) word or as multiple separate words. To make a correct segmentation, we need to understand the structure of the language and the context in which the word is being used in the sentence. Hence, it is challenging for a computer to perform word segmentation for us. Three main approaches have been taken in the research community: rule-based, dictionary-based, and machine-learning-based approaches. In this thesis, we propose a machine-learning-based word segmentation algorithm that learns from a large, existing database of pre-segmented words. We count the number of times the considered ambiguous word is segmented in a combined form and in a separated form. We also look at the collocation of words surrounding the considered ambiguous word, allowing us to take into account the context that the ambiguous word is being used. To decide how to segment an ambiguous word, each segmented form is given a score or a weight which is proposed to be calculated using the following four methods: weight with probability, weight with frequency, weight with frequency and distance, and weight with term frequencyinverse document frequency. From experimental evaluation, the four weighting methods gave a similar performance of up to 84% in term of correctness in segmentation, but the weight-with-probability method requires the least runtime. In summary, the thesis proposes an ambiguous-word-segmentation method that could achieve 84.40% correctness.

Abstract: การศึกษาครั้งนี้เป็นการวิจัยเกี่ยวกับการหาวิธีแก้ไขปัญหาความกำกวมในการแบ่งคำ ไทย ซึ่งความกำกวมของการแบ่งคำจะเกิดขึ้นเมื่อคำๆนั้นมีรูปแบบการแบ่งได้มากกว่า 1 แบบ ได้แก่ รูปแบบของการรวมคำและรูปแบบการของการแยกคำ ในการตัดสินใจว่าควรจะเลือกใช้การแบ่งคำ รูปแบบใดจะต้องรู้โครงสร้างของภาษาและเข้าใจเนื้อหา จึงเป็นการยากเมื่อให้คอมพิวเตอร์แบ่งคำ แทนคน จึงได้ศึกษาหาวิธีการโดยเข้าไปเรียนรู้จากคลังข้อมูลที่ได้มีการแบ่งคำไว้ ดูจำนวนการเกิด การแบ่งในรูปแบบของการรวมคำและรูปแบบของการแยกคำ และดูคำแวดล้อมที่เกิดขึ้น จากข้อมูล ดังกล่าวนำมาคำนวณหาน้ำหนักของการแบ่งแต่ละแบบ โดยเสนอทั้งหมด 4 วิธี ได้แก่หาค่า น้ำหนักด้วยโอกาสการเกิดการแบ่งแต่ละแบบ, หาค่าน้ำหนักจากจำนวนความถี่ของคำแวดล้อม , หาค่าน้ำหนักจากความถี่และระยะห่างของคำแวดล้อม และหาค่าน้ำหนักจากความถี่ของคำแวดล้อม แปรผกผันกับจำนวนเอกสารที่คำแวดล้อมนั้นปรากฏอยู่ ซึ่งทั้ง 4 วิธีให้ความถูกต้องใกล้เคียงกัน แต่เมื่อพิจารณาจากความซับซ้อนของวิธีการพบว่าวิธีการหาโอกาสของการเกิดการแบ่งคำแต่ละ แบบเป็นวิธีที่มีความซับซ้อนน้อยที่สุด จึงเลือกใช้วิธีนี้ สรุปผลของการวิจัยนี้สามารถแบ่งคำที่มี ความกำกวมได้ถูกต้องเฉลี่ย 84.40 %

Mahidol University. Mahidol University Library and Knowledge Center

Address: NAKHONPATHOM

Email: liwww@mahidol.ac.th

Name: Charnyote Pluempitiwiriyawej

Role: Thesis Advisors

Created: 2009

Modified: 2553-08-24

Issued: 2010-08-24

วิทยานิพนธ์/Thesis

application/pdf

CallNumber: TH D812a 2009

eng

DegreeName: Master of Science

Level: Master's Degree

Descipline: Computer Science

Grantor: Mahidol University

©copyrights Mahidol University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	4637282.pdf	2.42 MB	93	2024-09-26 00:31:45

ใช้เวลา

-0.716369 วินาที