訂閱
糾錯
加入自媒體

谷歌開源「AI手勢識別」算法

2019-08-24 09:55
來源: 科技行者

谷歌公司的科學家們研究出一種新的計算機視覺方法,用于實現手部感知。該方案能夠在實機實驗中僅憑一幀圖像識別出一只手(或者多只手)上的21個3D點位。只要在手機上就能進行實時追蹤,并且還能同時追蹤多只手,可識別遮擋。

實時手形與動作跟蹤方案,一直是手語識別與手勢控制系統中最為核心的組成部分,同時在部分增加現實體驗中也扮演著重要角色。然而,現有技術往往因為遮擋或者缺乏對比模式等問題的困擾,無法提供理想的可靠性。

面對這一現實挑戰,谷歌公司的科學家們研究出一種新的計算機視覺方法,用于實現手部感知。作為幕后推手,機器學習技術為提供了強大助力。根據介紹,該方案能夠在實機實驗中僅憑一幀圖像識別出一只手(或者多只手)上的21個3D點位。與目前市面的手勢識別技術相比,谷歌的全新技術不需要依賴臺式機來計算,只要在手機上就能進行實時追蹤,并且還能同時追蹤多只手,可識別遮擋。

谷歌開源「AI手勢識別」算法

早在今年6月,谷歌就在2019計算機視覺與模式識別大會上公布了此項技術的預覽版本。2月之后,谷歌于美國時間8月20日正式宣布將該技術集成于引入MediaPipe當中。MediaPipe是一套開源跨平臺框架,用于構建多模應用機器學習流水線,可以處理不同模態(例如視頻與音頻)中的感知數據。該項目的源代碼以及端到端使用場景目前都已經在GitHub上全面公開。

谷歌開源「AI手勢識別」算法

研究工程師Valentin Bazarevsky和Fan Zhang在博文他們的當中寫道:“感知手部形狀與運動姿態的能力,有望成為改善各類技術表現及平臺用戶體驗的重要助力。我們希望將這種手部感知功能交付至更為廣泛的研究與開發社區處,利用大家的力量共同促進創新用例的出現,刺激新的應用方式并開拓出前所未有的研究途徑。”

據了解,谷歌的這一技術包含三套串聯工作的AI模型:一個手掌探測模型(BlazePalm)用于分析框體并返回手部動作邊框;一個手部標記模型(Landmark),用于查看由手掌探測器定義的裁剪后圖像區域,并返回3D位點;一個手勢識別模型,用于將之前計算得出的位點歸類為一組手勢。

BlazePalm:手部識別絕不像聽起來那么簡單。GlazePalm必須能夠解決手部遮擋這一現實難題。為此,谷歌團隊訓練出一款手掌探測器BlazePalm——注意,是手掌而不是手部。他們認為,對拳頭這類物體進行邊界框描繪,在難度上要比跟蹤手指低得多。具體地,BlazePalm可以識別多種不同手掌大小,具備較大的縮放范圍,還能識別手部遮擋,能通過識別手臂、軀干或個人特征等信息準確定位手部。除此之外,這種方式還有另一大優勢,就是能夠很好地兼容握手等特殊場景,利用忽略其它寬高比條件的方形邊框模擬手掌,從而將所需的3D點數縮減至以往的三分之一到五分之一。據統計,經過訓練之后,BlazePalm識別手掌的準確率可以達到95.7%。

谷歌開源「AI手勢識別」算法

Landmark:在手掌檢測之后,手部標記模型開始接管,負責在檢測到的手部區域之內建立21個由手到肘的3D定位坐標。在訓練當中,模型要求研究人員手動注釋多達3萬份真實場景下的圖像,并立足多種背景對相應坐標進行渲染和映射,最終創建出高質量的合成手部模型。據統計,在經過訓練后,算法的平均回歸誤差可降低到13.4%。

手勢識別模型:流水線上的最后一步是手勢識別,該模型利用關節旋轉角度來確定每根手指的狀態(如彎曲或伸直),并將手指狀態集合與預定義的手勢映射起來,進而預測基礎的靜態手勢。Bazarevsky和Zhang介紹稱,該模型能夠識別來自多種文化(例如美國、歐洲與中國)的算數手勢,以及握拳、“OK”、“搖滾”、“蜘蛛俠”等常見手勢。

除此之外,這些模型也可以執行對應的單獨任務,例如利用顯卡進行圖像裁剪與渲染,從而節約計算資源;并且,手掌探測模型只有在必要時才運行——因為在大多數時段內,后續視頻幀內的手部位置只憑計算出的手部關鍵點即可推理得出,不再需要手掌探測器的參與。也就是說,只有當推理置信度低于某個閾值時,手部檢測模型才會重新介入。

展望未來,Bazarevsky、Zhang及其團隊還計劃建立更強大且、更穩定的跟蹤擴展技術,同時增加能夠可靠檢測出的手勢數量,并考慮支持即時動態手勢識別。他們總結道:“我們相信,這項技術的發布將為研究及開發者社區帶來助力,幫助他們發現更多新的創意與應用方向。”

聲明: 本文系OFweek根據授權轉載自其它媒體或授權刊載,目的在于信息傳遞,并不代表本站贊同其觀點和對其真實性負責,如有新聞稿件和圖片作品的內容、版權以及其它問題的,請聯系我們。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

领航彩票软件