5210120055 นายกฤตศิลป์ ศิลานนท์, Hand Gesture Analysis and Recognition for Surveillance Command System, Prince of Songkla University, ปีการศึกษา 2552
วิทยานิพนธ์ฉบับนี้เป็นงานวิจัยเพื่อประยุกต์ใช้เทคนิคด้านการประมวลผลภาพวิเคราะห์ท่าทางการเคลื่อนที่ของมือสำหรับการรู้จำชุดคำสั่งเพื่อใช้สำหรับการติดต่อระหว่างระบบคอมพิวเตอร์หรือเครื่องจักรกลกับผู้ใช้งาน โดยในงานชิ้นนี้จะมุ่งเน้นไปที่เทคนิคของการรู้จำชุดคำสั่งเพียงอย่างเดียว ซึ่งชุดคำสั่งนั้นผู้ใช้สามารถกำหนดขึ้นเองได้และนำไปประยุกต์ใช้กับงานตามแต่ความต้องการของผู้ใช้ในภายหลัง โดยเทคนิคการรู้จำชุดคำสั่งด้วยท่าทางมือประกอบด้วย (1) กระบวนการตรวจจับและติดตามรูปร่างลักษณะของมือภายในภาพวีดีโอ เพื่อให้ได้บริเวณที่สนใจ (2) กระบวนการหาคุณลักษณะเด่นที่ได้จากการติดตามมือ ซึ่งผลจากการติดตามจะให้ข้อมูลของทิศทางการเคลื่อนที่ ขนาด และมุมของแต่ละท่าทาง ข้อมูลดังกล่าวจะถูกนำไปใช้เพื่ออธิบายถึงลักษณะเด่นท่าทางมือที่จะใช้ในการรู้จำ (3) กระบวนการรู้จำท่าทางมือ ซึ่งแบ่งเป็น 2 กลุ่ม ได้แก่ (3.1) การรู้จำท่าทางมืออย่างง่าย เช่น การโบกมือไปทางซ้าย-ขวา หรือขึ้น-ลง ได้ใช้วิธีไฟไนต์สเตตแมชชีนในการกำหนดเงื่อนไขการรู้จำท่าทางจากคุณลักษณะเด่นที่หามาได้ โดยได้มีการทดลองใช้การรู้จำชุดคำสั่งในการควบคุมการทำงานของโปรแกรมคอมพิวเตอร์เพื่อใช้งานจริง และ (3.2) การรู้จำท่าทางมือแบบสัญลักษณ์ เช่น การโบกมือเป็นท่าทางวงกลม สี่เหลี่ยม สามเลี่ยม หรือท่าทางอื่นๆ โดยใช้แบบจำลองฮิดเดนมาร์คอฟสร้างแบบจำลองที่ใช้อธิบายคุณลักษณะของท่าทางนั้นๆ จากตัวอย่างชุดข้อมูลสำหรับการฝึกสอนเพื่อใช้ในการรู้จำ ซึ่งสัญลักษณ์ในที่นี้คือตัวอักษรภาษาไทยที่แบ่งกลุ่มตามลักษณะความคล้ายคลึงกันได้ 12 กลุ่ม และเลือกเอาเฉพาะตัวอักษรหนึ่งตัวที่ง่ายที่สุดในแต่ละกลุ่มมาใช้เป็นสัญลักษณ์ในการรู้จำ โดยผลการรู้จำท่าทางมือให้ความถูกต้องโดยเฉลี่ย 84 เปอร์เซ็นต์ แต่ทั้งนี้ความสามารถในการรู้จำท่าทางมือของระบบจะขึ้นอยู่กับชุดข้อมูลท่าทางมือที่จะนำมาทำการฝึกสอนระบบ
This thesis applies image processing techniques for hand gesture recognition system based on hand motion analysis. The system is established into the following steps. Firstly, hand detection and tracking from image sequences to obtain region of interest. Secondly, feature extraction from hand motion that provides the important information of hand movement including size, angle and orientation which are reformulated into the features description of hand gesture characteristic. Finally, hand gesture recognition that we focus on two study cases: simple hand gestures recognition and hand symbols recognition. For simple hand gestures recognition such as moving hand to up, down, left or right direction. In this case, the finite state machine is applied to define the condition of recognition command from the hand’s features. We have used hand command for controlling computer application in real situation. In the case of hand symbols recognition such as moving hand as square circle or other symbols. Hidden markov model is applied to generate the model that describe gesture characteristic from data training. The symbols is chosen from the 12 groups of Thai alphabet that considering from its similarities. The experimentation result of hand symbols recognition is around 84%. However, the recognition rate will depend on data training that used to train the system.