Real-time image super-resolution reconstruction for system on chip FPGA

การสร้างคืนภาพความละเอียดสูงยิ่งยวดเวลาจริงสำหรับเอฟพีจีเอแบบชิปที่มีระบบประมวลผล

Name: Watchara Ruangsang

LCSH: Image processing

LCSH: Neural networks (Computer science)

LCSH: Image reconstruction

Abstract: In recent years, image super-resolution (SR) techniques based on Convolutional Neural Network (CNN) have achieved impressive attention from computer vision scholars and artificial intelligence (AI) companies. Due to the necessity of using the SR algorithms in real-world applications, designing an efficient and lightweight SR algorithm that improves the sharpness and visual quality of the SR results is a critical issue in real-time hardware implementation. To address these issues, we proposed the Multi-FusNet of Cross Channel Network (MFCC) network by constructing the groups of Residual-in-Residual architecture under the multi-path cascading framework. Additionally, a residual connection is used to transfer the low-level features of the early layer to the reconstructed SR image. The proposed SR model is initially trained with the GPU's training image dataset. To implement our trained model in System on Chip FPGA, the size of the proposed model is required to reduce. We convert the floating-point checkpoint into a fixed-point integer checkpoint in the quantization procedure. According to the experimental results, the proposed method reduces the number of network parameters significantly (8.4 times compared to RCAN), can execute fast in System On Chip FPGA, around 30 frames per second, and image accuracy of the proposed method in terms of PSNR value does not decrease over 1 dB.

Abstract: ในปัจจุบัน การสร้างคืนภาพความละเอียดสูงยิ่งยวดใช้เทคนิคภายใต้โครงข่ายประสาทเทียมแบบคอนโวลูชั่น ได้รับความสนใจอย่างมาก ในการใช้งานด้านคอมพิวเตอร์วิชชั่นและบริษัทที่ทำเกี่ยวกับปัญญาประดิษฐ์ อย่างไรตามวิธีการการสร้างคืนความละเอียดสูงยิ่งยวดต้องใช้ทรัพยากรในการประมวลที่ต้องใช้พลังงานสูง และการใช้หน่วยความจำจำนวนมาก ซึ่งปัญหาที่สำคัญ ในการนำไปใช้งานจริง คือ การออกแบบให้มีประสิทธิภาพและโมเดดมีขนาดเหมาะสม ปรับปรุงความคมชัดและคุณภาพของภาพไม่เสียไป โดยการแก้ไขดังกล่าว เราจึงเสนอโครงข่ายข้ามช่องสัญญาณตกค้างรวมหลายทาง จากการใช้สัญญาณตกค้างในสัญญาตกค้างภายใต้การเชื่อมต่อหลายทาง พร้อมทั้งคุณลักษณะพื้นฐานของชั้นข้อมูลก่อนหน้าในการสร้างคืนภาพความละเอียดสูง โดยใช้การฝึกฝนโมเดลกับฐานข้อมูลจากการใช้การ์ดประมวลผลภาพ และนำไปใช้งานกับเอฟพีจีเอแบบชิปที่มีระบบประมวลผลโดยการใช้เทคนิคการแบบนับ จากข้อมูลแบบอิงดรรชนีเป็นไม่อิงดรรชนีแบบจำนวนเต็ม ไปประมวลผลโดยใช้โมดูลดีพียู โดยผลการทดลองแสดงเห็นว่า วิธีการที่นำเสนอสามารถลดขนาดตัวแปรได้อย่างมีนัยสำคัญ (8.4 เท่าเมื่อเทียบกับวิธีการแบบอาร์ซ๊เอเอ็น) โดยที่รักษาคุณภาพของภาพและค่าพีเอสเอ็นอาร์กับเทคนิคทันสมัยต่างๆ อีกทั้งสามารถนำไปประมวลผลเอฟพีจีเอแบบชิปที่มีระบบประมวลผลด้วยความเร็ว 30 เฟรมต่อวินาที และภาพมีความถูกต้องในรูปแบบการวัดค่าแบบพีเอสเอ็นอาร์ไม่ลดลงน้อยกว่า 1 เดซิเบล

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Supavadee Aramvith

Role: Advisor

Name: Takao Onoye

Role: Advisor

Issued: 2021

Modified: 2025-01-04

Issued: 2025-01-04

วิทยานิพนธ์/Thesis

application/pdf

URL: http://doi.org/10.58837/CHULA.THE.2021.138

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Electrical Engineering

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5871440221.pdf	5.04 MB

ใช้เวลา

0.031924 วินาที