智東西（公眾號：zhidxcom）
編輯?| 程茜
6月30日，由智東西和智東西公開課主辦的GTIC 2022全球AIoT智能家居峰會（以下簡稱AIoT智能家居峰會），在線上成功舉辦，在全網16個渠道同步直播，線上觀看人數達到了90多萬人，眾多嘉賓的議題都引起了大家熱烈討論。
8位行業重磅大咖就AIoT智能家居的技術突破、創新應用和行業展望展開了精彩的深度探討，直擊行業痛點。
▲小度科技IoT生態業務部總經理沈健
作為小度科技IoT生態業務部總經理，沈健帶來了題為《小度全屋智能：交互的變革與場景的進化》的演講。
小度全屋智能是百度AI技術與IoT智能家居技術結合的產物，以環繞智能為核心能力的小度助手7.0，將多模態的感知理解相融合，讓人與機器的交互和理解變得更加簡單，這也正是小度全屋智能的核心能力。
附小度科技IoT生態業務部總經理沈健演講實錄
沈健：非常感謝組委會的邀請，借此機會我今天簡單介紹一下小度在全屋智能的交互和場景方面的一些工作。
在整體講解之前，我想和大家聊一個常見的單詞AI，我們平常所說的是人工智能，而這里我想說的AI是Ambient Intelligence，也就是環繞智能。
我們對環繞智能的定義是這樣的，將數字世界的內容和服務通過設備“編織”入物理世界，在物理世界中，智能環繞著你，持續適應、理解你所處的場景和你的偏好，在你需要時響應你，不需要時隱入環境。
環繞智能也是目前小度一個較大的中臺算法團隊在做的工作。在這個過程中，我們也會用到很多人工智能技術，這也符合百度的理念，通過技術來將復雜的世界變得更加簡單。
我們認為，環繞智能主要有兩方面能力，第一個是感知世界的能力，第二個是感知之后，能對感知到的內容進行理解的能力。
目前，在小度整個系統里，我們有三種類型的感知和理解能力，分別是語音、視覺和多重感知，接下來我會針對這三種類型的感知和理解能力進行分別介紹。
第一個是語音感知和理解，因為小度設備最初是以語音交互為主要的交互方式，因此我們認為用戶對語音感知和理解已經比較熟悉了。經過幾年的發展，目前小度提供的聽清、聽懂、滿足理解能力已經是業界最好的。小度設備每天有將近幾千萬的用戶，通過小度設備進行各種交互，有事問小度也已經成為很多用戶的日常習慣，這一部分的技術我就不深入介紹了。
第二個是視覺感知和理解，一開始小度的智能型設備中，我們是以語音交互感知理解能力為主，還增加了一些視覺感知能力，例如對于兒童的屏幕保護、距離保護，AI攝像頭捕捉用戶的動作，然后判斷用戶是否距離屏幕過近。此外，我們還有通過手勢控制音視頻播放、遠程喚醒等功能。
事實上，視覺感知和理解已經成為社會上最主要的感知和理解能力。去年，我們推出了一款新的產品小度添添智能健身鏡，AI攝像頭捕捉用戶肢體動作，并對其進行判斷，就可以對用戶動作進行打分。
這個技術的實現方式是，通過AI攝像頭把用戶的視覺圖像以每秒30幀進行捕獲，上傳到AI芯片中，然后通過平滑、補幀等預處理，并結合用戶當前意圖下所做的動作來進行判斷，還會結合一些動態模型，比如當你跟著鏡子中的教練進行運動時，我們會有包括計數模型、計時模型、匹配模型、動作糾正模型等，這些模型結合用戶當前的動作，進行理解、匹配和動作糾正，最終給用戶的動作生成結果，這個結果包括給一個動作打了多少分以及動作是不是能做的更加準確等。
這個過程中，很多用戶會十分關注數據隱私，我們承諾所有關于視覺的原始圖像都是在本地進行處理的，不會上傳到云端。
第三個多重感知和理解，就是利用各種類型的傳感器設備，對整個物理實際空間各種變化進行感知。
小度的整個系統有一套開放的IoT生態，各種類型的傳感設備都可以通過這套IoT開放平臺接入到小度設備中。接入后，小度的整個系統都可以獲取到這些信息，同時，這個過程也能幫助小度將整個感知能力進行延伸。
視頻中簡單介紹了一下這些感知和理解能力，在小度系統中是如何帶給用戶感知效果的，這些功能其實很多人用過，但可能大家都不太清楚它的背后是怎么實現的。
對于環繞智能而言，除了上述獨立的不同類型的感知和理解能力之外，還有一個非常重要的點，就是能對不同類型的感知和理解能力進行無縫融合。
原因在于，用戶和機器哪怕只有一次交互，也會產生不同類型的交互方式。因此，機器能不能將不同類型的感知和理解能力進行無縫融合就顯得非常關鍵。這一點也是體現機器智不智能、聰不聰明、方不方便的關鍵。在融合能力上，我們簡單將其分為交互上的融合和理解上的融合。
對于交互上的融合，我可以舉幾個例子，例如我們首先推出了延長聆聽功能，目前已經在全場景和全領域上線了該功能。第二個例子是，小度快捷指令。
這背后的技術實現上有一個重要的技術就是，人機置信度判斷模型。在自然交互的場景下，麥克風會接收到各種各樣的聲音，小度就需要判斷收到的聲音是否是用戶有意和其交互的，因為有很多聲音是雜音或者即使是用戶發出的聲音，也并不一定是和小度說話，而可能是和其他人進行交流，所以這是非常關鍵的技術點。
我們使用了深度學習模型，參考語音特征、語義特征和視覺特征，比如用戶盯著設備看的時候，這時候的判斷可能會使得置信度變高。這個模型也促成了上述兩個功能的實現。
目前延長聆聽的全雙工2.0功能已經在所有設備上線，小度快捷指令在小度智能屏X8上線，后邊會逐步開放至所有的小度智能屏、智能健身鏡等產品上。
除了交互上的融合之外，理解上的融合也很關鍵，實現上也更加復雜。
理解上的融合其實是針對對話理解，是語義上的融合，它的融合比單純交互上的融合更加復雜。原因在于，用戶的語義是很難去猜測的。
在這一點上，我們針對語義融合專門構建了PCAN模型，這個模型有兩個特點，一個是百萬級別的需求空間的超大規模。第二個是在整個實驗過程中，用戶跟小度設備在很長一段時間內的交互，會積累更多個性化數據，將這些數據和當前用戶上下文篩選的數據進行結合，就可以對用戶當前場景下的意圖、需求進行多輪追蹤和判斷。
下圖左下方就是上下文編碼的模塊，需要考慮當前、過去以及一系列的向量特征，比如設備的狀態、視覺狀態等，然后編碼出當前上下文的向量。圖片右側就是用戶的個性化數據編碼模塊，能夠將用戶長期的偏好進行數字化。這兩個模塊進行融合，我們就可以實現多種應用，包括全空間領域的連續目標追蹤、語義糾錯、上下文和個性化消除歧義等。
為了實現剛才的功能，我們首創了PCAN大模型，除此以外，小度還自研了一套自學習深度學習語義理解系統，它的最大特點是可以在線上進行自學習。
首先用戶產生一個新的需求，如新的垂類、服務，我們一開始需要文法標注系統進行冷啟動，針對用戶行為數據進行標注，然后將新需求上線，就可以累計用戶的數據行為，并通過自動樣本挖掘，實現更多的滿意度反饋，使用標注好的數據來進一步訓練PCAN模型。
再加上它是自學習系統，就意味著即使小度工程師放假，也不會對其產生影響，只要用戶在不斷使用小度產生新的意圖和服務，小度就會基于這些意圖和服務增強理解能力，也就會變得越來越聰明。
我們前面主要介紹了環繞智能，原因在于去年年底，百度Create 2021·小度智能生活論壇上小度助手7.0發布，環繞智能就是小度助手7.0的核心能力之一。
從2017年發布小度助手1.0開始，5年時間，我們已經對小度助手進行了7次迭代，幾乎每次迭代都圍繞著兩個方面對小度助手的能力進行提升，一是智能能力，其次是如何把生態打造的更加成熟。
小度助手7.0是一個跨設備的助手系統，目前包括智能音箱、智能健身鏡、智能屏、智能電視、平板等絕大多數小度設備上都運行的是小度助手7.0.
從小度助手7.0的全景圖上，我們可以看到，包括人臉、眼神、聲音、手勢、人體都有相關應用，同時希望大家可以使用這些功能，給我們提出寶貴的意見。在智能化方面，我們也會提升小度助手的能力，帶給用戶更好的體驗。
剛才講了很多技術方面的內容，接下來我介紹一下業務側。
近幾年，全屋智能賽道爆火，傳統家電廠商、做平臺的廠商等都紛紛加入，越來越多的玩家入局，但到底什么是全屋智能？我們也一直在思考這個問題。
在小度看來，第一個就是要讓環繞智能無處不在，一句話、一個眼神、一個動作甚至一個表情，機器都能秒懂，讓人和機器的交互更簡單、自然，讓機器對人的理解更精準。
智能也就是全屋智能的基石，這也是為什么我剛才一直在講環繞智能，以及我們在這一領域做了什么。如果你的全屋智能解決方案中智能化程度較弱，那么即便顏值再高，這也只是一個硬件的對接，我們認為這種做法缺少溫度。
第二個就是全屋智能滿足用戶需求的程度和維度是什么。目前在便捷控制、物理安防、環境安全等場景已經有很多玩家做的非常美觀、便捷。我認為，這些需求只是用戶的生理需求場景，從不同層次的用戶需求來看，用戶更高維度的精神層面需求也需要去滿足。
事實上，當今社會很多人把更多時間放到了更高層面的精神需求滿足上，包括日常信息助手、身體健康、學習成長、娛樂等，我認為這些都是更高維度的需求場景。
對于小度來說，我們希望在更高維度的場景上做更多的解決方案來滿足用戶。
接下來，我會通過小度正在做的最重要的4個場景，簡單介紹一下我們在做的工作和理念。
第一個場景是全屋智能控制場景，這個場景也是目前行業中做的比較好的，包括照明、影音、安防等。我想強調一點，全屋智能控制并不等于全屋智能，我們認為它只是其中的一個場景。
在這個場景下，小度科技堅持三大理念，首先是提供符合大眾美的產品，我們認為大眾美才是絕大部分用戶所需要的，專業極致的產品可能只是小部分用戶的需求，因此我們的設計理念還是堅持提供大眾類產品。
其次是長久穩定，目前做整套方案的智能家居產品，在穩定性方面仍然參差不齊，因此，選擇品牌過硬、技術過硬的產品是非常重要的，在這一點上，百度的口碑還是可以的。
在過去20年間，用戶看網絡連接狀態的首選工具就是訪問百度首頁，如果訪問成功就代表網絡連接正常，如果發現404，用戶并不會認為是百度首頁出現問題，而會想到是網絡出現問題。這一點足以證明，百度在穩定性方面給用戶留下的口碑和影響。
最后是我們希望通過建立生態，給用戶提供豐富的品牌，讓用戶去進行選擇，因為，我們認為目前小度的產品線仍然不能滿足所有用戶，所以我們還是先將穩定性做好，再讓用戶選擇更多的品牌產品。
下一個場景是生活娛樂場景，這個場景用戶更加熟悉，也是我們首要切入的場景，我們就是用戶日程生活娛樂的助手。很多用戶已經習慣用小度去問天氣、查股票、查百科、聽新聞、設鬧鐘、設日歷、問時間等，這些生活上的小工具服務已經成為了習慣。
此外，很多人也會用我們的設備聽歌、看劇、刷視頻等，尤其在疫情的背景下，居家生活時間越來越多，我們也能明顯看到，通過小度設備進行娛樂的需求大增。也是因為這個原因，我們去年推出了兩款專門面向娛樂的產品，智能屏和電視。
第三個場景是運動健康場景，小度從去年開始深入這個場景，因為疫情，我們對居家健康場景產生了更多的思考。在這個場景下，我們的思路有兩個，第一是獨立或建立生態與合作伙伴共同推出若干款產品，這些產品可以收集用戶行為數據，然后進行分析推測用戶當前的情況是正常還是異常。
再加上百度醫療是目前流量最大的醫療信息查詢和在線問診平臺，對用戶行為數據的分析結合百度醫療系統，小度就可以主動報告用戶的異常數據，并為用戶提供一些健康生活的建議。
同樣，用戶也可以主動詢問小度，獲取相關疾病方面的信息，或者通過這個平臺去找到專業醫生進行在線問診。
對于用戶健康來說，監測只是保守的做法，最重要的還是應該動起來。我們去年推出了健康套裝，其中最重要的產品就是智能健身鏡，此外，小度聯合合作伙伴推出了智能跳繩、跑步機、瑜伽墊、智能啞鈴等產品，組成了家居健身套餐，為用戶提供完整的健身工具和方法。在健身鏡產品中，小度科技在視覺交互上也實現了技術創新。
在產品側，我們也做了一些有意思的事情，健身、運動會有反彈，我們在里面增加了游戲化方案，讓用戶在游戲過程中健身，同時，我們還推出了社交化方式，用戶可以和陌生人或朋友一起健身，讓健身過程變得更加有趣。
同時，這款產品在今年3、4、5月，連續三個月的銷售額排名第一。
還有我們剛剛推出的智能鬧鐘，這一產品的最大特點是可以針對用戶鼾聲進行檢測，用戶睡覺期間它就可以作為床頭鬧鐘，還能對用戶打鼾長度、頻次、時間、是否異常等情況進行數據分析。
此外，我們嘗試通過不使用毫米波技術，而是其他不需要升級硬件的方式，來檢測人體呼吸等，這樣的話，我們就可以通過聲音、呼吸來對用戶睡眠進行檢測，保證用戶的睡眠健康。
第四個場景是兒童成長場景，針對孩子從嬰兒期、學齡期到學齡后，我們都有很專業的產品解決方案。去年，我們開始做學習平板這一品類，去年第二季度，小度入局學習平板這一品類，從第三季度開始，連續三個季度在線上銷售排名第一，去年第四季度和今年第一季度同樣是全渠道銷售第一，這也可以直接說明用戶對它的喜愛程度。
最后，我想和大家聊一聊中控屏。
在過去一年中，中控屏市場變得越來越卷，很多玩家都推出了自己的中控屏產品，中控屏的屏幕也變得越來越大，從6寸、7寸、8寸一直到現在的13寸、15寸，分辨率越來越高，顏值、美學、前裝等方面都在不斷提升。
但是這些中控屏的界面和功能基本上都大同小異，都是以全屋控制加背景音樂作為最主要的功能。
因此，借這個機會我也想和大家探討一下，以及去講解一下我們如何看待中控屏產品。
首先，去年3月，小度推出小度智能中控屏。
談及小度為什么推出這個產品，首先我們通過分析認為，用戶玄關確實需要一塊擁有智能控制、社區監測等核心功能，并配合鬧鐘、日歷等輔助功能的智能產品。其次，這也是小度踐行“一屋一屏”整個大戰略的重要一步，我們希望用戶在家里每一個需求點上，都有一個能夠對應解決當前場景問題的設備。
回到智能中控屏產品，我們主要是針對玄關，對于整個智能中控網關來說，小度整體全屋智能分布式網關解決方案中，包括小度智能中控屏和所有的屏幕，有客廳智能電視、健身區域的健身屏、學習方面的學習屏等，這些屏幕共同組成了小度全屋智能分布式網關的系統，每個屏幕都是一個分布式網關，用戶也可以和每個屏或者音箱進行交互來進行中控控制。
因此在小度的整個系統中，每個屏都是中控屏，這也是我們對于中控屏的定位和理解。
針對上面新思路的布局，我們也對小度全屋智能體驗店進行了全面升級，從陳列、布局、體驗，各個方面都能體現出我們的新思路。我們今年的目標就是基于新的體驗店，實現百城百店。
最后，我簡單聊一下小度在酒店方面的一些工作，前段時間，小度酒店客房數已經突破40萬。實際上，如果沒有受疫情影響，我們預計這個數據在今年第一、二季度就可以實現，從現在的趨勢來看，疫情的影響在不斷消退，今年6月份實現了較高速的增長，因此我們保守預測，今年年底這個數字可能會突破60萬。
除了頭部酒店集團外，單體、獨立酒店的增速也很快，目前已經超過50%，這也顯示出目前小度智慧酒店的生態是很完善的。
這是目前我們在酒店解決方案中的所有產品，主要有5款，其中2款是桌面有屏產品，2款是桌面無屏產品，1款是掛墻有屏產品。
接下來我們將上線一款新產品，是主要針對酒店的小度送貨機器人，這代表著小度客需這一層面的服務閉環打造完成。這樣的話，小度在客控和客需上都能給客戶、酒店等提供完整的解決方案。
在客控領域，2021年8月，我們推出了小度基于藍牙Mesh的公寓直連方案，截至現在，已經落地2000多家酒店、公寓，超30000個房間。目前，通過小度智能設備主控的被控設備數量已經超過40萬臺。在這個方案中，我們也和一些合作伙伴，在產品、服務、定價體系、運營體系方面進行更多的監督把控，保證我們最終的方案能實現三方互贏。
以上就是我講的所有內容，感謝大家。
