A combination of graph-based and cell-based clustering techniques for big datasets

การผสมผสานเทคนิคการจัดกลุ่มบนฐานกราฟและเซลล์สำหรับชุดข้อมูลขนาดใหญ่

Name: Duong Van Hieu

keyword: Cell-based clustering

; Graph-based clustering

LCSH: Big data

LCSH: Information retrieval

Abstract: Big dataset analysis is more challenging to data scientists. They cause technological challenges when setting up a big data project in terms of choosing the right platform technologies and suitable algorithms. This study proposes a fast outlier detection algorithm for big datasets (Cell-RDOS) and two clustering algorithms for big datasets on a limited memory computer (Cell-MST-based and Weighted Cell-MST-based). The Cell-RDOS algorithm is a combination of cell-based algorithms and a revised version of the ranking-based outlier detection algorithm with various depths (RDOS). The Cell-RDOS algorithm can produce the same results compared to the RDOS algorithm, and reduce up to 99% executing time of the RDOS algorithm when working with big datasets. The proposed clustering algorithms are combinations of cell-based algorithms, MST-based algorithms, and K-means clustering algorithm. These two proposed algorithms outperform many other algorithms in terms of less used memory, accuracy level, and speed. Firstly, they can reduce up to 99% required memory size compared to the previous methods such as Similarity-based, Decision-theoretic Rough Set and MST-based algorithms.

Abstract: การวิเคราะห์ชุดข้อมูลขนาดใหญ่เป็นความท้าทายสำหรับนักวิทยาศาสตร์ข้อมูล ความท้าทายคือการเลือกใช้แพลทฟอร์มเทคโนโลยีและอัลกอริธึมที่ถูกต้องสำหรับโครงงานข้อมูลขนาดใหญ่ โดยเฉพาะอย่างยิ่งในข้อมูลขนาดใหญ่ที่ประกอบไปด้วยข้อมูลนอกกลุ่มซึ่งมีผลต่อการวิเคราะห์ข้อมูลในกลุ่มหลัก ข้อมูลนอกกลุ่มมีความจำเป็นต้องมีการค้นพบและแก้ไขก่อนที่จะทำการวิเคราะห์ข้อมูลกลุ่มหลัก วิทยานิพนธ์นี้นำเสนอเทคนิคใหม่เกี่ยวกับชุดข้อมูลขนาดใหญ่ ได้แก่ 1) ขั้นตอนวิธีการค้นหาข้อมูลนอกกลุ่มอย่างรวดเร็ว เรียกว่า Cell-RDOS และ 2) ขั้นตอนวิธีการจัดกลุ่มข้อมูล 2 วิธี Cell-MST-based และ Weighted Cell-MST-based สำหรับขั้นตอนวิธีการค้นหาข้อมูลนอกกลุ่ม Cell-RDOS เป็นการผสนผสานระหว่างเทคนิค cell-based และ RDOS ผลการวิจัยพบว่า Cell-RDOS ให้ผลการค้นหาข้อมูลนอกกลุ่มเทียบเท่ากับวิธี RDOS แบบเดิม แต่ลดเวลาการประมวลผลลงถึง 99% ในการทำงานกับชุดข้อมูลขนาดใหญ่ ในส่วนอัลกอริธึมการจัดกลุ่มที่พัฒนาขึ้นเป็นการผสมผสานเทคนิค cell-based, MST-based และ K-means ผลการวิจัยพบว่าเทคนิคที่นำเสนอใหม่ทั้งสองวิธี มีผลการจัดกลุ่มได้ดีกว่าขั้นตอนวิธีแบบดั้งเดิม ได้แก่ Similarity–based, Decision-theoretic Rough Set และ MST-based ด้านการใช้หน่วยความจำที่น้อยกว่าแบบเดิมถึง 99% อีกทั้งด้านความถูกต้องในการจัดกลุ่ม และความเร็วในการประมวลผลก็มีผลที่ดีกว่าเทคนิคเดิม

King Mongkut's University of Technology North Bangkok. Central Library

Address: BANGKOK

Email: library@kmutnb.ac.th

Name: Phayung Meesad

Role: Thesis Advisor

Email : pym@kmutnb.ac.th

Created: 2016

Modified: 2016-11-23

Issued: 2559-11-23

วิทยานิพนธ์/Thesis

application/pdf

CallNumber: Dissert DIT D8H

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Information Technology

Grantor: King Mongkut's University of Technology North Bangkok

©copyrights King Mongkut's University of Technology North Bangkok

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	B16007608.pdf	6.86 MB	209	2025-12-02 13:57:46

ใช้เวลา

0.017126 วินาที