本申請涉及移動貨車識別領域，且更為具體地，涉及一種移動機器人的移動貨車識別系統(tǒng)及方法。

背景技術：

1、移動機器人是一種能夠在各種環(huán)境中自主移動和操作的智能設備，廣泛應用于工業(yè)、物流、醫(yī)療等領域。隨著移動機器人在工業(yè)領域的應用越來越廣泛，一個關鍵的挑戰(zhàn)是如何讓這些機器人在動態(tài)的工業(yè)環(huán)境中有效地識別和避讓移動貨車。

2、由于在工業(yè)領域中，貨車的行駛路線、速度以及偶發(fā)的?？啃袨榭赡軙绊憴C器人的正常工作。目前，移動機器人大多依靠單一攝像檢測對移動貨車進行識別，單一攝像檢測檢測角度單一，且容易產生視覺盲區(qū)，造成視角受限和盲區(qū)問題。

3、因此，期望一種移動機器人的移動貨車識別系統(tǒng)及方法。

技術實現思路

1、為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

2、根據本申請的一個方面，提供了一種移動機器人的移動貨車識別系統(tǒng)，其包括：

3、移動貨車識別數據獲取模塊，用于獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據；

4、移動貨車識別數據提取模塊，用于從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量；

5、移動機器人避讓操作判斷模塊，用于基于所述周圍環(huán)境貨車追蹤特征向量和所述環(huán)境多模態(tài)關聯(lián)特征向量，判斷移動機器人是否需要進行避讓操作。

6、根據本申請的另一方面，提供了一種移動機器人的移動貨車識別方法，其包括：

7、獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據；

8、從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量；

9、基于所述周圍環(huán)境貨車追蹤特征向量和所述環(huán)境多模態(tài)關聯(lián)特征向量，判斷移動機器人是否需要進行避讓操作。

10、與現有技術相比，本申請?zhí)峁┑囊环N移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

技術特征：

1.一種移動機器人的移動貨車識別系統(tǒng)，其特征在于，包括：

2.根據權利要求1所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述移動貨車識別數據提取模塊，包括：

3.根據權利要求2所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述周圍環(huán)境多區(qū)域特征提取單元，包括：

4.根據權利要求3所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述周圍環(huán)境多區(qū)域特征編碼子單元，包括：

5.根據權利要求4所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述超聲波距離特征提取單元，包括：

6.根據權利要求5所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述環(huán)境聲音特征提取單元，包括：

7.根據權利要求6所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述移動機器人避讓操作判斷模塊，包括：

8.根據權利要求7所述的移動機器人的移動貨車識別系統(tǒng)，其特征在于，所述環(huán)境信息特征優(yōu)化單元，包括：

9.一種移動機器人的移動貨車識別方法，其特征在于，包括：

10.根據權利要求9所述的移動機器人的移動貨車識別方法，其特征在于，從所述由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、所述由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和所述由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據中提取周圍環(huán)境貨車追蹤特征向量和環(huán)境多模態(tài)關聯(lián)特征向量，包括：

技術總結
本申請涉及移動貨車識別領域，其具體地公開了一種移動機器人的移動貨車識別系統(tǒng)及方法，其首先獲取由攝像頭采集的移動機器人周圍環(huán)境多區(qū)域圖像、由超聲波傳感器采集的移動機器人與周圍環(huán)境之間的超聲波距離數據和由聲音傳感器采集的多個預定時間點的環(huán)境聲音數據，然后利用深度學習技術，對三者進行特征提取和關聯(lián)分析，最后通過分類器，以判斷移動機器人是否需要進行避讓操作，從而在復雜和動態(tài)的工業(yè)環(huán)境中提升移動機器人對周圍環(huán)境的理解能力，確保在工業(yè)環(huán)境中對移動貨車進行的高效安全的操作。

技術研發(fā)人員：徐威挺,陳健,王文偉,邱旭東
受保護的技術使用者：浙江科聰控制技術有限公司
技術研發(fā)日：
技術公布日：2025/1/6