據(jù)阿里巴巴人機自然交互實驗室研究員趙晨介紹，這種新的盲人觸感反饋技術叫Smart Touch。具體做法是給手機貼一個新的“屏幕保護膜”，上面有支持觸覺交互的“盲鍵”，通過低成本的屏幕盲鍵按鈕提供觸覺。更重要的是根據(jù)頁面的動態(tài)變化，盲鍵對應的功能也隨之改變，提升交互效率和用戶體驗。
彌補語音交互的不足
目前，視障用戶通常使用讀屏軟件操作手機，用手指觸摸屏幕后由讀屏軟件提供語音反饋。“但這樣的交互方式還存在很多問題，比如缺少觸覺反饋，用戶經(jīng)常需要訪問大量不需要的元素，容錯率低、糾錯成本高且頻繁，所以視障用戶使用起來的用戶體驗并不是很好。”清華大學計算機系教授喻純表示。因此，他們希望增加聽覺、觸覺等其它交互手段，以彌補單純語音交互的不足，從而增加視障用戶人機交互的便利。
Smart Touch之所以可以實現(xiàn)盲鍵功能在不同頁面的功能變化，離不開自動理解頁面信息的智能算法。“該算法首先提取界面的語義和主要功能，然后以符合視障用戶心理模型的方式映射到觸覺盲鍵按鈕上。因此，和現(xiàn)有的技術相比，Smart Touch不單提供語音交互，還提供基于界面內(nèi)容理解的觸覺盲鍵。”喻純說。
對于界面的主要功能按鈕，視障用戶也不再需要通過遍歷的方式去使用，通過盲鍵可以層次化地訪問界面元素，這大大改變了視障用戶現(xiàn)在使用手機的方式，從現(xiàn)在的語音交互拓展到語音加觸覺交互，為視障用戶提供更高效更方便的用戶體驗。
讓智能交互代替明眼人講解
“我們技術的核心主要有兩部分：界面理解和界面交互。具體來說，界面理解指對界面語意的理解。”據(jù)喻純介紹，界面的內(nèi)容包括三層：第一層解決“未加標簽”控件。目前手機界面上有很多不同的圖標，大多數(shù)圖標是一張圖片加文字，目前的讀屏軟件讀出來的是“未加標簽”，Smart Touch 通過算法自動地將圖標和文本進行關聯(lián)，為圖標提供標簽。第二層對手機界面的邏輯區(qū)塊做自動識別，形成界面元素的層級組織。第三層則對界面的交互語義做理解，將界面依據(jù)視障用戶的心理模型讀出來。
“我們的研究發(fā)現(xiàn)視障用戶在使用手機的時候希望有個明眼人在旁邊，把界面上的內(nèi)容講解給他/她。Smart Touch算法的長期目標是希望可以達到像用戶旁邊的明眼人一樣轉達頁面內(nèi)容。”喻純說，“目前版本上不同界面的盲鍵是根據(jù)界面內(nèi)容按規(guī)則變化的，隨著我們算法的繼續(xù)改進，以后界面的交互盲鍵也會自動生成，這樣可以支持更多的手機應用。”
低成本惠及弱勢人群
“視障用戶去應用商店下載運行Smart Touch APP后，第一次需要先根據(jù)提示在手機界面相應位置貼上‘盲鍵’按鈕，然后就可以使用Smart Touch 提供的功能了。”
落到實用性，趙晨表示盲鍵的成本非常低，“我們目前使用的是普通的硅膠膜，很便宜成本很低，這樣才可以使大多數(shù)視障用戶可以用得上用得起，更重要的創(chuàng)新是背后的AI算法。以后我們會對這個盲鍵進行更多的觸感設計，讓它有更清晰的觸覺反饋，滿足更多的應用程序的需要。未來可以免費發(fā)放給視障用戶使用”。
觸覺是人與環(huán)境、人與人交互的一個重要通道，也是視障用戶主要的信息通道，趙晨表示：“希望我們的技術創(chuàng)新不但服務于大眾用戶，也可以幫助像視障用戶這樣的弱勢或少數(shù)群體，讓他們的生活更愉快些。從另外一個角度，電話發(fā)明的初衷是為了幫助聾啞人，今天成為人人不可或缺的一個設備。從長遠看來，我們希望為視障用戶提供的技術以后也能逐步惠及大眾。”
