成果展示

隊伍名稱 台灣的最北端
作品名稱 即時手寫辨識
指導教授 謝君偉
團隊成員 陳鴻鈞
作品介紹 隨著體感裝置(Kinect、Xtion)的推出,人機互動漸漸成為熱門的議題,其遠端控制的性質,讓我們可以應用在一些場合,例如,在廚房做菜不方便拿手機打電話時,或是汽車修理廠的師傅工作到一半需要使用電腦時,另外,在教育方面,目前許多老師上課的方式是必須面對黑(白)板寫板書,又要使用電腦切換投影片或是選擇下一個撥放的檔案等。本系統目的是讓人們能更自然的與機器互動,不必穿戴任何裝置,便可以操作機器去執行指令。這是一項有挑戰性的工作,因為空中手寫不像觸控式手寫板可以藉由使用者的提筆與收筆來決定系統何時該記錄軌跡與輸出結果,而且不同使用者所寫的字之大小與風格都會存在差異性。本系統使用Kinect做為影像擷取裝置,並使用OpenNI進行人體骨架追蹤,系統的設計方式是使用者不需要任何的起始手勢即可在空中寫字,當一個字完整地被寫出來並將手部靜止一秒則開始進行辨識,而這樣的設計方式勢必會有多餘的軌跡被系統記錄,由於多餘軌跡通常是在整段軌跡的前段,故本系統使用反向結合分段之架構,透過軌跡轉折點偵測將軌跡予以分段,並由後往前逐一結合分段,每次結合一個分段並透過正規化將軌跡縮放至同一大小空間,接著擷取轉折點、haar wavelet、dynamic time ordered shape context、以及global time ordered shape context等特徵並使用動態時間校正與資料庫比對,由於在結合分段之過程中,某些子結合分段可能與某些類別相似而造成誤判,本系統利用越往前結合分段通常會與最後結果越相似的特性去搭配遞增的權重,並使用一個階層式分類架構以較有效率的方式進行比對,漸進式地找出最佳的區段與類別。