在日常生活之外，多模態(tài)交互設備也在應用于工業(yè)設備中。比如通過給機器設備搭載機器視覺+傳感器提供安全警告，以及利用機器視覺+故障信號的方式判斷設備問題等。

把不同信號模態(tài)整合在一起，實現設備的多維感知，今天正在以比較快的速度來到應用市場。

高精度判斷用戶命令，輸出主動服務；提供實時化、彈性化的體驗，可以說是AI帶來的多模態(tài)交互技術放進物聯網世界中的一張鬼牌。

當然了，還是有幾道難關……

按照慣例，最后我們還是要正視任何技術都存在不足。剛剛有一點萌芽的多模態(tài)交互+物聯網當然也不例外。

最核心的一個問題，是我們到底靠什么實現多模態(tài)協(xié)同？

目前來看，無論是家電還是工業(yè)設備，實現多模態(tài)混合的主要方式還是把不同的傳感源輸入到設備處理中心，啟動一定程序來開啟相應服務。

換句話說，AI模型本身是沒法理解多模態(tài)信號的，只是不同的算法啟動不同的開關而已。這種“偽AI多模態(tài)”的設備也不是不行，只是在實時化和復雜的推理判斷上會有心無力。

解決方案可能是一種叫做“多模態(tài)深度學習”的技術，讓AI智能體本身能夠理解多模態(tài)信號，從算法本身就容納聽覺、視覺、傳感信號進行統(tǒng)一思考。這樣可以保證設備高度實時化，并且可以讓設備進行多模態(tài)協(xié)同學習，真正地“聰明”起來。

這要求在算法上對多維度數據的各自表示、融合、對齊有新的突破，今天我們還只能等待學術界的好消息。

另外一個問題，是今天的多模態(tài)交互缺少有效的開發(fā)平臺，開發(fā)者和企業(yè)很難復制這一模式，來進行獨立的物聯網解決方案開發(fā)。當然，目前來看這應該僅僅是個時間問題。

與之相對應的，是在缺乏行業(yè)標準、開發(fā)基礎的前提下，今天開發(fā)一個多模態(tài)物聯網項目需要大量的人才成本和綜合開發(fā)成本。并且缺少芯片、專用傳感器等后端硬件的支撐。這個領域國內有一些芯片和算法公司，但似乎大部分處在做PPT的畫餅階段。

綜合來看，AI帶來的多模態(tài)想象力，大概確實可以完成一些物聯網很早就希望實現的東西。但方興未艾的產業(yè)局勢，還需要巨頭搭建平臺、優(yōu)質案例出現、開發(fā)者路徑明確等幾個環(huán)節(jié)才能開啟下一輪風口。

但無論如何，耳聰目明的機器，已經在跑步過來的路上了……