露天礦山道路凹坑、碎石密集，障礙物精準感知是實現(xiàn)礦用卡車自動駕駛的核心與難點。基于激光雷達與攝像頭融合感知的障礙物識別方法，設(shè)計激光雷達點云與攝像頭圖像的聯(lián)合標定方法，實現(xiàn)點云與圖像坐標統(tǒng)一;結(jié)合二維和三維信息的目標檢測算法，將圖像檢測障礙物回歸目標中心點、點云中檢測障礙物回歸為目標中心點集;提出了基于KNN算法與二叉樹模型的感知目標融合算法，KNN算法實現(xiàn)目標點中心融合，并采用二叉樹模型提高檢測目標匹配效率。

文章來源：《智能礦山》2025年第8期“學(xué)術(shù)園地”欄目

作者簡介：趙樹軍，主要從事露天礦科技創(chuàng)新、生產(chǎn)技術(shù)管理的相關(guān)研究工作。E-mail：10022605@ceic.com

作者單位：國家能源集團陜西神延煤炭有限責(zé)任公司

引用格式：趙樹軍.露天礦山礦用卡車多傳感融合障礙物識別方法探討[J].智能礦山，2025，6(8)：69-72.

點擊文末左下角閱讀原文，免費下載閱讀pdf全文

關(guān)注微信公眾號，了解更多礦山智能化建設(shè)進展

露天礦山環(huán)境復(fù)雜、障礙物多，實現(xiàn)高效可靠的障礙物識別是礦用卡車自動駕駛技術(shù)的核心需求和難點。單一傳感器障礙物識別方法難以適用于復(fù)雜的礦山環(huán)境，不能滿足礦用卡車自動駕駛技術(shù)的感知需求。基于激光雷達和深度相機的融合感知方法，通過雷達和相機決策層融合，實現(xiàn)高精度障礙物識別，結(jié)合二維和三維目標檢測算法提高障礙物識別的準確性；利用KNN算法和二叉樹模型提高數(shù)據(jù)匹配的效率和可靠性。

露天礦環(huán)境特點

露天煤礦環(huán)境中的障礙物種類繁多，可分為固定障礙物、動態(tài)障礙物和對礦用卡車行駛有重要影響的特殊障礙物。固定障礙物包括但不限于巖石、礦石堆、建筑物和固定設(shè)備等位置和形態(tài)相對固定的障礙物，可通過預(yù)先地圖信息和實時傳感器數(shù)據(jù)進行識別。動態(tài)障礙物包括位置和速度變化的其他行駛車輛、工人和動物等，需要實時監(jiān)測和響應(yīng)確保安全。特殊障礙物包括深坑、積水、積雪等影響礦用卡車正常行駛的干擾因素，需要準確辨識以保障礦用卡車穩(wěn)定運行。

露天煤礦特殊環(huán)境障礙物識別存在多方面挑戰(zhàn)。不平路面、坡度變化和滑坡區(qū)域等復(fù)雜地形條件，需要障礙物識別方法具有高度的適應(yīng)性；雨、霧和雪等惡劣天氣條件，嚴重影響傳感器性能和可靠性；礦區(qū)塵土和噪聲干擾傳感器信號和數(shù)據(jù)處理系統(tǒng)，要求障礙物識別方法滿足實時調(diào)整和適應(yīng)快速變化的復(fù)雜環(huán)境。

現(xiàn)有障礙物識別方法存在的問題

目前，露天礦無人駕駛車輛障礙物檢測系統(tǒng)主要依賴多傳感器識別道路障礙，再通過卷積神經(jīng)網(wǎng)絡(luò)算法模型訓(xùn)練實車數(shù)據(jù)，選取圖像目標檢測中的特定數(shù)據(jù)點并使用改良的迭代最近點算法消除虛假目標點，實現(xiàn)圖像與3D點云數(shù)據(jù)融合，提高算法準確性和效率。

激光雷達向目標物體發(fā)送激光束，激光束通過不同目標物體返回不同回波，激光雷達接收回波，從中提取最近回波點進行聚類分析，確定回波點是否為障礙物；使用YOLO算法訓(xùn)練數(shù)據(jù)集以生成目標框，融合雷達目標和相機目標的檢測框來確定障礙物，邊界框重疊區(qū)域百分比用作判斷障礙物的標準，激光雷達多回波感知示意如圖1所示。

圖1 激光雷達多回波感知示意

在露天采場的具體場景中，激光雷達傳感器識別障礙物的方法存在顯著缺陷。使用多傳感器數(shù)據(jù)融合增加計算負擔(dān)，增加算法時間復(fù)雜度并降低運行效率，導(dǎo)致礦用卡車感知系統(tǒng)實時性不足；普通單目相機無法獲取深度信息，障礙物位置估計不精確；礦區(qū)運輸路況復(fù)雜，障礙物種類多，增加了誤檢和漏檢的風(fēng)險。

露天礦礦用卡車自動駕駛障礙物識別方法

基于16線激光雷達及RealsenseD435深度相機的露天煤礦環(huán)境中礦用卡車自動駕駛的障礙物識別方法，目標檢測算法滿足高復(fù)雜路況的精度障礙物識別，主要包括6個方面的核心技術(shù)。

（1）數(shù)據(jù)采集設(shè)備

采用16線激光雷達和RealsenseD435深度相機作為主要的數(shù)據(jù)采集設(shè)備。16線激光雷達提供高精度點云數(shù)據(jù)，捕捉環(huán)境三維信息；RealsenseD435深度相機捕獲高清圖像數(shù)據(jù)，提供相關(guān)的深度信息。通過整合傳感器數(shù)據(jù)，在統(tǒng)一系統(tǒng)中獲得更豐富和多元化信息，提高障礙物識別系統(tǒng)的性能和可靠性。

（2）數(shù)據(jù)采集方式

激光雷達捕獲周圍環(huán)境的詳細三維點云數(shù)據(jù)，為后續(xù)的對象識別提供三維信息源；深度相機獲取高清圖像數(shù)據(jù)和與之相應(yīng)的深度信息。激光雷達檢測使用CenterPoint算法，生成候選點并對輸入點云離散化，生成多候選點的3D網(wǎng)格，采用網(wǎng)絡(luò)輸出和非極大值抑制策略確定最終目標中心點，數(shù)據(jù)融合提高了系統(tǒng)穩(wěn)定性和可靠性，數(shù)據(jù)采集算法分配如圖2所示。

圖2 數(shù)據(jù)采集算法分配

（3）激光雷達與相機聯(lián)合標定

露天礦礦用卡車自動駕駛障礙物識別系統(tǒng)中，激光雷達和相機聯(lián)合標定確保從2個不同傳感器獲取的數(shù)據(jù)，可在統(tǒng)一坐標系中準確表示和分析。聯(lián)合標定通常采用帶有特定標記的平板作為標定對象，將帶有標記的平板放置在激光雷達和相機共同視場中，找到激光雷達和相機之間的空間關(guān)系。在相機端，采用特征點檢測算法標定對象標記，從中提取必要的幾何信息；在激光雷達端，通過點云數(shù)據(jù)捕獲標定對象的三維結(jié)構(gòu)。激光雷達和相機的聯(lián)合標定如圖3所示。

圖3 激光雷達和相機的聯(lián)合標定

結(jié)合標定對象在2個傳感器中的數(shù)據(jù)，建立描述激光雷達和相機之間旋轉(zhuǎn)和平移關(guān)系的轉(zhuǎn)換矩陣，標定得到的轉(zhuǎn)換矩陣將三維點云數(shù)據(jù)投影到相機圖像上，且將相機圖像中識別到的對象精確定位到點云數(shù)據(jù)的對應(yīng)對象。創(chuàng)建融合數(shù)據(jù)集，為后續(xù)目標檢測算法提供更加準確和詳細的數(shù)據(jù)支持。

（4）數(shù)據(jù)融合與處理

數(shù)據(jù)融合和處理是實現(xiàn)障礙物檢測的關(guān)鍵，將來自激光雷達和相機的信息整合到統(tǒng)一框架中，以實現(xiàn)更加準確和可靠的障礙物識別。通過轉(zhuǎn)換矩陣將激光雷達和相機的數(shù)據(jù)映射到統(tǒng)一坐標系，使用基于圖像的CenterNet算法和基于雷達的CenterPoint算法從各自的數(shù)據(jù)源中識別障礙物，將2種方法檢測到的目標中心點在共同平臺融合，創(chuàng)建基于激光雷達和相機數(shù)據(jù)的融合數(shù)據(jù)集。

目標中心點融合使用KNN算法，查找最近鄰居并合并相應(yīng)數(shù)據(jù)點，通過比較圖像和點云數(shù)據(jù)中的目標中心點，理解和識別各障礙物特性和位置，引入二叉樹模型提高數(shù)據(jù)匹配效率，允許快速查找和匹配相應(yīng)數(shù)據(jù)點，減少計算時間和資源，數(shù)據(jù)融合處理流程如圖4所示。

圖4 數(shù)據(jù)融合處理流程

（5）點云中的障礙物識別與回歸

在點云數(shù)據(jù)處理階段，選擇使用CenterPoint算法識別和回歸障礙物，在三維空間中得以精確定位和描述。將三維空間分割為許多體素，并在每個體素中確定1個代表點，通常為體素中心點，通過離散化輸入點云數(shù)據(jù)，構(gòu)建初步候選點3D網(wǎng)格集合標識潛在障礙物；后處理候選點預(yù)測候選點各項屬性。

采用深度神經(jīng)網(wǎng)絡(luò)，基于候選點周圍點云結(jié)構(gòu)信息預(yù)測每個候選點的類別、三維空間尺寸和方向等屬性。引入非極大值抑制策略消除冗余和錯誤候選點，減少重復(fù)檢測和錯誤陽性，提高檢測的準確性，保證檢測系統(tǒng)的高精度和高可靠性。NMS通過比較相鄰候選點的預(yù)測分數(shù)和重疊度，保留得分最高的候選點，同時抑制其他重疊度較高的點，centerpoint模型應(yīng)用效果如圖5所示。

圖5 centerpoint模型應(yīng)用效果

（6）障礙物中心點融合與匹配

在目標中心點融合過程中，K-最近鄰（KNN）算法整合了由CenterNet和CenterPoint算法獲取的二維圖像和三維點云障礙物中心點信息。不同維度的相關(guān)數(shù)據(jù)信息輸入統(tǒng)一坐標系中比較和關(guān)聯(lián)。利用KNN算法找到最近點對，并通過比較中心點間的歐氏距離確定匹配點。在確定最近點對之后，采用投票系統(tǒng)，基于多數(shù)投票原則決定每個點的最終類別和屬性，確保系統(tǒng)具有魯棒性，抵抗傳感器噪聲和其他干擾。KNN算法在數(shù)據(jù)融合過程中識別出匹配點對，合并來自不同傳感器的信息，提供更豐富的障礙物表示，提高障礙物識別的準確性和可靠性，KNN算法原理示意如圖6所示。

圖6 KNN算法原理

在KNN算法的數(shù)據(jù)匹配過程中，匹配效率采用了KD樹結(jié)構(gòu)加速和優(yōu)化匹配效率。KD樹用于多維空間中數(shù)據(jù)快速檢索的二叉樹結(jié)構(gòu)。基于從雷達和相機獲取的多維數(shù)據(jù)，選擇目標中心點坐標作為KD樹構(gòu)建依據(jù)。應(yīng)用KD樹數(shù)據(jù)檢索時，通過快速消除不可能包含目標區(qū)域減少搜索時間，提高了搜索效率。

礦用卡車配備激光雷達、毫米波雷達以及攝像頭等傳感器，在障礙物識別過程中快速構(gòu)建周圍環(huán)境的點全模型，勾勒出石塊輪廓確定其位置和形狀，根據(jù)大小進行繞障或跨障決策，礦用卡車多傳感融合障礙物識別現(xiàn)場如圖7所示。

圖7 礦用卡車多傳感融合障礙物識別現(xiàn)場

結(jié) 語

露天煤礦環(huán)境中的礦用卡車自動駕駛系統(tǒng)通過融合16線激光雷達與RealsenseD435深度相機的數(shù)據(jù)，實現(xiàn)了對障礙物的準確識別。通過聯(lián)合標定技術(shù)將點云數(shù)據(jù)和圖像數(shù)據(jù)投影至同一坐標系，整合了二維和三維目標檢測算法；利用CenterNet和CenterPoint算法分別處理圖像和點云數(shù)據(jù)來獲取目標中心點，并通過KNN算法實現(xiàn)了目標中心點的高效融合。為進一步提高數(shù)據(jù)匹配效率，引入了基于KD樹結(jié)構(gòu)的匹配策略，提高數(shù)據(jù)檢索的速度和準確性。露天礦山智能礦用卡車多傳感融合障礙物識別方法，提高了障礙物識別準確率，為實時避障研究提供了一定的技術(shù)支持。

編輯丨李莎

審核丨趙瑞

煤炭科學(xué)研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地，也是行業(yè)最大最權(quán)威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進展的綜合性技術(shù)刊物。

主編：王國法院士

投稿網(wǎng)址：www.chinamai.org.cn（期刊中心-作者投稿）

聯(lián)系人：李編輯 010-87986441

郵發(fā)代號：82-476

往期薦讀

• 二號通知┃關(guān)于舉辦2025年礦山智能化建設(shè)運維與技術(shù)創(chuàng)新高級研修班的通知（山東威海9月23—28日）

• 行業(yè)聚焦┃2025智慧礦山技術(shù)創(chuàng)新與產(chǎn)業(yè)發(fā)展論壇（新疆）成功召開

• 行業(yè)聚焦┃2024年煤炭清潔高效利用智能化成果發(fā)布暨選煤廠智能化建設(shè)論壇順利召開

• 征稿┃《智能礦山》面向廣大讀者征稿，歡迎投稿

• 歡迎訂閱┃《智能礦山》雜志2025年訂閱開始了！

• 行業(yè)聚焦┃2024年煤礦智能化重大進展發(fā)布會成功召開

• 《智能礦山》創(chuàng)刊4周年回顧

• 王國法院士煤礦智能化觀點集錦

• 新書訂閱 ┃《中國煤礦智能化發(fā)展報告（2024年）》（王國法，劉峰 主編）

往期特刊

中國煤科特刊

陜煤集團特刊

神東專欄

重大進展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術(shù)特刊

創(chuàng)刊號

版權(quán)聲明

本刊對已出版文章持有電子版、網(wǎng)絡(luò)版及進行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫合作的權(quán)利，稿酬一次性付清，版權(quán)歸本刊與作者共同所有，如不同意，請在投稿時聲明。

聲明：本文系轉(zhuǎn)載自互聯(lián)網(wǎng)，請讀者僅作參考，并自行核實相關(guān)內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑，請立即與鐵甲網(wǎng)聯(lián)系，本網(wǎng)將迅速給您回應(yīng)并做處理，再次感謝您的閱讀與關(guān)注。