混合AI驅動的計算機視覺結合物理學和大數據

AI 全文翻譯 ScienceDaily 的文章

日期:2023年6月14日
來源:加利福尼亞大學洛杉磯分校
摘要:研究人員提出了一種增強基於人工智能的計算機視覺技術的新方法,通過將基於物理的意識添加到數據驅動的技術中。該研究概述了一種混合方法,旨在改善基於人工智能的機械對其環境的感知、互動和響應能力,實時地感知自主車輛的移動和操縱,或者機器人如何使用改進的技術進行精確操作。

加利福尼亞大學洛杉磯分校和美國陸軍研究實驗室的研究人員提出了一種增強基於人工智能的計算機視覺技術的新方法,通過將基於物理的意識添加到數據驅動的技術中。

該研究發表在《自然機器智能》上,概述了一種混合方法,旨在改善基於人工智能的機械對其環境的感知、互動和響應能力,實時地感知自主車輛的移動和操縱,或者機器人如何使用改進的技術進行精確操作。

計算機視覺通過解碼數據並從圖像中推斷出物理世界的特性,使人工智能能夠看到並理解周圍的環境。傳統的計算機視覺技術主要依賴於基於數據的機器學習來推動性能。而基於物理的研究則是在不同的軌道上發展,探索許多計算機視覺挑戰背後的各種物理原理。

將物理學的理解(控制質量、運動等的法則)納入神經網絡的開發中一直是一個挑戰,在這些神經網絡中,人工智能模仿人腦,通過億萬個節點處理大量圖像數據集,直到它們對所“看到”的內容有了理解。但現在有一些有希望的研究方向,試圖在已經強大的數據驅動網絡中添加物理意識的元素。

加州大學洛杉磯分校的研究旨在利用數據的深度知識和物理的實際知識來創建具有增強功能的混合人工智能。

該研究的通訊作者,加州大學洛杉磯分校Samueli工程學院電氣和計算機工程助理教授Achuta Kadambi表示:“視覺機器——汽車、機器人或使用圖像感知世界的醫療儀器——最終都在我們的物理世界中執行任務。物理意識的推理形式可以使汽車行駛更安全,手術機器人更精確。”

研究團隊概述了三種將物理和數據結合到計算機視覺人工智能中的方法:

將物理納入AI數據集中,為物體標記附加信息,例如它們的運動速度或重量,類似於視頻遊戲中的角色。 將物理納入網絡架構中,通過將數據通過網絡過濾器,將物理特性編碼到攝像頭拍攝的內容中。 將物理納入網絡損失函數中,利用基於物理學的知識幫助人工智能解釋訓練數據中觀察到的內容。

這三個研究方向已經取得了令人鼓舞的改進計算機視覺的結果。例如,混合方法使人工智能能夠更精確地跟踪和預測物體的運動,並能夠從惡劣天氣中模糊的場景中生成準確、高分辨率的圖像。

根據研究人員的說法,隨著這種雙模態方法的不斷進步,基於深度學習的人工智能甚至可能開始自主學習物理定律。

論文的其他作者是陸軍研究實驗室的計算機科學家Celso de Melo,以及加州大學洛杉磯分校的教師Stefano Soatto(計算機科學教授)、Cho-Jui Hsieh(計算機科學副教授)和Mani Srivastava(電氣和計算機工程教授,計算機科學教授)。

這項研究得到了美國陸軍研究實驗室的資助。Kadambi獲得了美國國家科學基金會、陸軍青年研究員計劃和國防高級研究計劃局的資助。Kadambi還是Vayu Robotics的聯合創始人,他還接受來自Alphabet旗下公司Intrinsic的資助。Hsieh、Srivastava和Soatto則獲得了亞馬遜的支持。

新增留言