การเรียนรู้แบบเสริมแรงบนพื้นฐานของ CTM สำหรับการปรับปรุงการเลือกโครงข่ายไร้สายแบบวิวิธพันธุ์

CTM-based reinforcement learning for improvement of heterogeneous wireless network selection

Name: กิตติศักดิ์ กิตติเวทางค์

ThaSH: ระบบสื่อสารไร้สาย

ThaSH: การเรียนรู้แบบเสริมแรง

ThaSH: จราจร -- การจำลองระบบ

LCSH: Wireless communication systems

LCSH: Reinforcement learning

LCSH: Communication and traffic -- Simulation methods

Abstract: เสนอการพิจารณาสมรรถนะของการนำวิธีการเรียนรู้แบบเสริมแรง (reinforcement learning) มาประยุกต์ใช้เพื่อปรับปรุงกระบวนการตัดสินใจเลือกโครงข่ายเทคโนโลยีสื่อสารไร้สายที่เหมาะสม บนพื้นฐานของการจำลองการเคลื่อนที่แบบมหภาคที่มีชื่อว่า การจำลองการส่งผ่านเซลล์ (cell transmission model, CTM) ในโครงข่ายวิวิธพันธุ์ไร้สาย ในวิทยานิพนธ์นี้ได้เสนอผลการคำนวณเชิงตัวเลขบนโครงข่ายท้องถนน 1 มิติ โดยตั้งค่าให้ผู้ใช้มีตัวเลือกในการเชื่อมต่อกับโครงข่ายไร้สายแบบครอบคลุมพื้นที่ขนาดเล็กหรือโครงข่ายไมโครเซลล์ (micro cell network) และแบบครอบคลุมพื้นที่ขนาดใหญ่หรือโครงข่ายแมโครเซลล์ (macro cell network) ในแบบทิศทางตรงและแบบแอดฮ็อก (ad-hoc) การจำลองแบบมหภาคที่เสนอนี้กำหนดให้แหล่งกำเนิดทราฟฟิกจำลอง มาจากการเคลื่อนที่แบบของไหลของยานพาหนะบนถนน ตรงกันข้ามกับแบบจำลองการเคลื่อนที่ของผู้ใช้แบบจุลภาค ซึ่งเป็นที่นิยมใช้ในงานวิจัยอดีตที่การวิเคราะห์จะซ่อนพฤติกรรมของผู้ใช้แต่ละคนไว้ ซึ่งส่งผลให้เกิดความซับซ้อนในการคำนวณ แบบจำลองดังกล่าวนี้มีความได้เปรียบในเรื่องความสามารถในการคำนวณ เมื่อเปรียบเทียบกับแบบจำลองการเคลื่อนที่ของผู้ใช้แบบจุลภาค และสามารถอธิบายพฤติกรรมของผู้ใช้บนท้องถนนได้ ผ่านทางสมการคณิตศาสตร์ แบบจำลองนี้จึงเหมาะสมกับการนำมาจำลองเพื่อหากลยุทธ์การเลือกโครงข่ายที่เหมาะสมแบบปรับตัวได้ การทดลองในวิทยานิพนธ์ที่เสนอกำหนดให้มีความแปรปรวนของระบบแตกต่างกัน เพื่อทดสอบการทำงานของวิธีการเรียนรู้แบบเสริมแรงในสภาพแวดล้อมที่แตกต่างกันออกไป ซึ่งผลการทดลองดังกล่าวนั้นแสดงให้เห็นว่า วิธีการเรียนรู้แบบเสริมแรงนั้นสามารถเลือกโครงข่ายที่เหมาะสมได้ ในทุกผลการทดลองที่ได้นำเสนอ โดยไม่จำเป็นต้องใช้การคำนวณที่ซับซ้อน เหมือนกับอัลกอริทึมอื่นที่มีประสิทธิภาพใกล้เคียงกัน ทั้งยังสามารถปรับปรุงการเลือกโครงข่ายได้โดยอัตโนมัติ หากสภาพแวดล้อมของระบบเปลี่ยนไปอย่างรวดเร็ว

Abstract: This thesis proposes the framework to find the optimal selection of heterogeneous wireless network. Reinforcement learning (RL) model has been used to find the best strategy to maximise the reward function expressed in terms of call blocking and call dropping probabilities. The reward-evaluation model is based on the well-established macroscopic cell transmission model (CTM). In this regard, numerical results have been given on a simple 1-dimensional road network settings with choices of moving users in making their connections via micro and macro cells in both direct and ad hoc modes. With this approach, traffic sources have been modelled as the deterministic fluid flow of moving users travelling on their vehicles along a road. In contrast to the approaches with microscopic user mobility models often used in the past, the proposed framework has the advantage of computational efficiency and can be integrated well with RL in the herein developed optimisation framework. The proposed framework has been considered RL-sensitivity in order to find the sensitivity of RL-parameters and evaluated in different scenarios which are the changes of bandwidth, stochastic incoming demands and unpredictable network problems. The results show that the RL algorithm can lead to the optimal solutions in all the tested scenarios with no large computational complexity as the other algorithms which have the efficiency nearly equal to RL. Furthermore, the RL algorithm can improve the network selection automatically even if the topology of the system has been changed immediately.

จุฬาลงกรณ์มหาวิทยาลัย. ศูนย์วิทยทรัพยากร

Address: กรุงเทพมหานคร

Email: cuir@car.chula.ac.th

Name: เชาวน์ดิศ อัศวกุล

Role: ที่ปรึกษา

Created: 2553

Modified: 2555-06-14

Issued: 2555-06-14

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมไฟฟ้า

Grantor: จุฬาลงกรณ์มหาวิทยาลัย

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	Kittisak_ki.pdf	1.46 MB	45	2024-09-12 14:13:33

ใช้เวลา

0.05071 วินาที