跳到主要內容

基於激光雷達和雷達融合的自動駕駛周圍物體檢測與跟蹤

摘要

雷達和激光雷達是自動駕駛汽車上常用的兩種環境傳感器,激光雷達在確定物體位置方麵非常準確,但在測量物體速度方麵的準確性明顯低於雷達。然而,雷達相對於激光雷達在測量物體速度上更精確,但在確定它們的位置上更不準確,因為它們具有較低的空間分辨率。為了彌補Radar、LiDAR等單一傳感器檢測精度低、目標屬性不完整、環境適應性差的缺點,本文提出了一種對自動駕駛汽車周圍目標進行高精度檢測與跟蹤的有效方法。采用無氣味卡爾曼濾波,有效融合雷達和激光雷達信息,實現對自主車輛周圍目標位置和速度信息的高精度檢測。最後,進行了各種駕駛環境場景下的實車試驗。實驗結果表明,所提出的傳感器融合方法能有效地檢測和跟蹤車輛周邊目標,具有較高的精度。與單一傳感器相比,具有明顯的優勢,可以提高自動駕駛汽車的智能水平。

簡介

自動駕駛汽車是一種主要依靠車內計算機係統和傳感器係統實現自動駕駛的智能汽車。自動駕駛汽車集成了自動控製、架構、人工智能、視覺計算等許多技術[1].它是計算機科學、模式識別和智能控製技術高度發達的產物,也是衡量一個國家科研實力和產業水平的重要標誌[2].它在國防和國民經濟領域具有廣泛的應用前景。近年來,汽車智能技術如車道偏離預警、ACC自適應巡航、高級駕駛輔助係統如自動停車(Advanced Driver Assistance Systems, ADAS) [3.4]已經應用到汽車設計中,並在一定程度上實現了自動駕駛汽車,給人們的生活帶來了許多便利,並且對減少事故,提供安全便捷的駕駛體驗起到了不可缺少的作用[56].隨著科學技術的不斷發展和進步,智能駕駛技術使得自動駕駛汽車在道路上不再遙不可及[789].

自動駕駛汽車離不開環境意識、決策規劃和運動控製。環境感知技術作為自動駕駛技術的關鍵之一,通過各種車載傳感器為自動駕駛汽車添加眼睛,準確感知周圍環境,確保駕駛的安全性和可靠性[10].目前最常用的機載傳感器有激光雷達、雷達和視覺攝像機等,但各種傳感器各有優缺點。

激光雷達具有方向性好、測量精度高、不受道路雜波影響等特點。根據結構和類型,激光雷達可分為單線(二維)和多線(三維)兩種類型。多線激光雷達具有一定的俯仰角,可以實現表麵掃描,但價格相對昂貴。激光雷達很難在近距離被探測到,而且會受到周圍環境和天氣的影響。另外,激光雷達容易被串擾,激光雷達無法判斷自身是否發射出脈衝光導致無法判斷物體的形狀。雷達測速測距是利用多普勒頻移,向外輻射波長為毫米波的電磁波來完成探測目標的任務。電磁波經過目標反射後被接收機接收,對回波中的信息進行分析,得到目標的距離和相對速度。雷達對惡劣天氣的穿透能力強,溫度穩定性好。

而雷達在探測範圍內的精度直接受到頻帶損耗的限製,也無法感知周圍的目標類別,無法對周圍的所有障礙物進行精確建模。激光雷達和雷達都能探測到附近的目標。激光雷達在確定物體位置方麵是準確的,但在測量物體速度方麵則明顯不準確。然而,雷達在測量物體速度方麵更精確,但由於空間分辨率較低,確定物體位置的精度較低。被不同傳感器感知到的不同類型的目標會發生碰撞。

我們的方法是綜合兩個激光雷達和雷達傳感器的數據,通過數據融合的方式感知自動駕駛汽車周圍目標存在的既準確的位置信息又準確的速度信息,提高環境感知的準確性,為自動駕駛汽車的決策提供有效的數據,從而減少自動駕駛汽車事故的發生。

近年來,激光雷達與雷達的融合已成為國內外研究人員關注的熱點。2017年,Kwon等人。[11]在lidar -雷達傳感器融合中創建了基於閉塞深度的部分閉塞行人檢測方案。實驗證明,激光雷達和雷達融合數據可以有效解決目標部分遮擋問題。2019年,李等人。[12]提出了基於幾何模型的二維激光雷達/雷達傳感器融合跟蹤周圍車輛的方法。該融合係統通過反映各傳感器的特征,提高了估計性能。2020年,Kim等人利用雷達和激光雷達的可靠性函數設計了用於車輛位置跟蹤的擴展卡爾曼濾波器(EKF),研究證實,由於激光雷達和雷達傳感器融合,距離測量的精度得到了提高,擴展卡爾曼濾波器的組成中反映距離誤差的方法更加準確。同年,Farag、Wael提出利用激光雷達和雷達融合技術進行自動駕駛道路目標跟蹤。本文提出、實現並詳細描述了一種自動駕駛汽車實時道路目標檢測與跟蹤方法[13].

信息融合是研究一種有效的方法,自動或半自動地將來自不同來源和不同時間點的信息轉換為為人工或自動化決策提供有效支持的表示形式。本文采用工程應用較為成熟的雷達和LiDAR作為環境傳感傳感器,通過傳感器信息融合,解決自動駕駛汽車周圍目標的檢測和跟蹤問題,提高環境傳感係統的穩定性、可靠性和環境適應性。

剩下的工作安排如下。節2,我們提供了相關工作的概述。節3.,我們推導出我們的算法。首先,討論了雷達與激光雷達的融合。隨後,我們提出了我們對UKF (Unscented卡爾曼濾波,UKF)體係結構的修改,以利用融合數據。節4最後,我們對研究結果進行了總結和展望。

相關工作

在傳感器的具體型號選擇上,我們采用了美國德爾福公司生產的德爾福ESR毫米波雷達和深圳Robosense RS-LiDAR-16線雷達。雷達是一種利用電磁波反射來測量目標的距離、方位和速度的傳感器。該方法測量距離和速度信息準確可靠,但方位角識別能力較差。Delphi 77G ESR,雷達頻帶為77 GHz,通過計算電磁波向環境發射和接收反射波所需的時間,計算出與目標物體的距離,並計算所接收反射波的頻移,得到待測目標物體的運動速度。使用該雷達,64個目標可以在同一時間被捕獲。每個目標都包含目標的縱向距離、目標的橫向角度和目標的縱向速度等參數。雷達可以直接輸出目標序列,但在檢測過程中,雷達有時會遇到誤檢現象。在雷達注意的探測範圍內沒有目標,但雷達探測到目標的存在。Delphi 77G ESR如圖所示1

圖1
圖1

德爾福77G ESR

主從控製在機器人操作中得到了廣泛的應用。在大多數情況下,操縱杆或鍵盤是機器人主從控製係統的常規輸入設備。本文提出的係統如圖所示1

另外,Delphi 77G ESR的係統特性、掃描範圍、精度等性能參數如表所示1

表1 ESR技術參數

激光雷達係統的工作原理是發射一束激光,以逆時針方向完成水平方向360°掃描。當激光光斑擊中目標時,反射的激光束經過光學接收係統,被光學探測器探測到,然後與原始激光束混合轉換成電信號,經過濾波器和放大器,輸入到數字信號處理器。處理後,輸出到計算機顯示目標點雲。隨著障礙物距離的增加,激光雷達兩個相鄰掃描線之間的距離也會增加。我們使用深圳Robosense RS-LiDAR-16雷達。由RoboSense公司推出的RS-LiDAR-16是國內首個同類產品,世界領先的16束微型激光雷達產品。RS-LiDAR-16是一種固態混合激光雷達,集成了16對激光/探測器,安裝在一個緊湊的外殼中。RS-LiDAR-16的緊湊外殼安裝了16對激光/探測器,快速旋轉並發出高頻激光束,持續掃描周圍環境。先進的數字信號處理和測距算法計算點雲數據和物體的反射率,使機器能夠“看到”世界,並為定位、導航和避障提供可靠的數據。RS-LiDAR-16安裝在我們的自動駕駛車上,如圖所示2.相關技術參數見表2

圖2
圖2

自動駕駛車上安裝了RS-LiDAR-16

表2 RS-LiDAR-16激光雷達技術參數

本文基於雷達與LiDAR信息融合的周邊目標檢測與跟蹤方法的具體實現過程是:首先對LiDAR點雲數據進行網格聚類,根據聚類結果的矩形框選擇目標,識別目標質心位置。雷達可以直接輸出目標序列。然後,利用UKF融合雷達和激光雷達目標。

方法

在本節中,我們將描述我們融合雷達和激光雷達的方法。本節概述了當前有關激光雷達和雷達傳感器數據融合的研究。本文在綜合考慮雷達和激光雷達性能的基礎上,設計了基於雷達和激光雷達信息融合的傳感係統。雷達和激光雷達的不同探測範圍如圖所示3..藍色部分代表激光雷達的視場,紫色部分代表雷達。激光雷達探測到的目標用橙色矩形表示,雷達用藍色圓圈表示。雷達的探測角度較小,兩側±10°,但探測距離相對較遠,最大探測距離可達180米。該激光雷達的最大測量距離為150米,測量精度為±2厘米,測點數高達300000點/秒。水平角度為360°,垂直角度為−15°~15°。我們發現,結合激光雷達在位置感知方麵的優勢和雷達在目標速度方麵的優勢,基於激光雷達和雷達的信息融合係統可以獲得更準確的目標位置和速度信息,有效提高自動駕駛汽車對周圍目標的感知精度。實驗結果表明,基於激光雷達和雷達信息融合的方法可以有效避免任何傳感器故障導致的係統故障,提高係統的魯棒性。下麵的部分將更詳細地解釋每個部分。

圖3
圖3

雷達和LiDAR探測範圍(黃色矩形目標為LiDAR探測目標,藍色圓目標為雷達探測目標)

移動物體模型

由於自動駕駛汽車周邊目標的運動狀態是不確定的,因此我們建立了周邊目標的一致性模型[14151617].我們實際上簡化了外圍目標的實際移動形式。假設模型對象沿直線運動,也可以以固定的轉彎速率和恒定的速度運動,如圖所示4.藍色的模型是我們的自動駕駛汽車,橙色的模型是我們的外圍目標。在某一點上,目標對象正在圍繞宿主載體移動。目標物體與宿主飛行器的水平和垂直位移為\ (P_ {x} \)\ (P_ {y} \).的\ (P_ {x} \)而且\ (P_ {y} \)這裏是相對於主載車的坐標係,也就是說,主載車是坐標係的原點,前麵是x軸,車輛的左側是y軸。主載具的速度為v1目標物體的速度是v2\ (\ delta_ {{2}} \)是目標物體的頭部角度,\(\點{\三角洲}_ {{2}}\)是目標物體的角速度。這樣目標物體的運動狀態就可以描述為一個矢量x,如Eq. (1).由此得出目標物體運動狀態的變化\ ({x} \ \點)用微分方程表示\ (g (x) \)在Eq. (1).在那裏,\(\點P {} _ {x} \)\(\點P {} _ {y} \)是位置隨時間的變化率,\(\點{v} _ {2} \)速度的變化率,和\(\點{\三角洲}_ {2}\)\ (\ ddot{\三角洲}_ {2}\)是角度變化率和角加速度。另外,還研究了橫向位置變化率之間的關係\(\點P {} _ {x} \)而速度v2目標對象的值顯示在Eq. (2):

左$ $ x = \[開始\{聚集}P_ {x} \ hfill \ \ P_ {y} \ hfill \ \ v_ {2} \ hfill \ \ \ delta_ {2} \ hfill \ \ \點{\三角洲}_ {2}\ hfill \ \ \{聚集}結束\正確),\;\點{x} = g (x) =左\[{聚集}\ \開始點P {} _ {x} \ hfill \ \ \點P {} _ {y} \ hfill \ \ \點{v} _ {2} \ hfill \ \ \點{\三角洲}_ {2}\ hfill \ \ \ ddot{\三角洲}_ {2}\ hfill \ \ \{聚集}結束\正確),$ $
(1)
$ $ \點P {} _ {x} = v_ {2 x} = v_ {2} \ cdot \因為\離開({\ delta_{2}} \右),$ $
(2)
圖4
圖4

移動物體模型

從方程式。(1)及(2),微分方程(3.),可推導出目標物體的運動狀態變化:

左$ $ \[{聚集}\ \開始點P {} _ {x} \ hfill \ \ \點P {} _ {y} \ hfill \ \ \點{v} _ {2} \ hfill \ \ \點{\三角洲}_ {2}\ hfill \ \ \ ddot{\三角洲}_ {2}\ hfill \ \ \{聚集}結束\右)= \離開[\{聚集}開始v_ {2} \ cdot \因為\離開({\ delta_ {2}} \) \ \ v_ {2} \ cdot \罪\離開({\ delta_{2}} \) \ \ \ \ \ 0點{\三角洲}_{2}\ \ 0 \ \ \{聚集}結束\]。$ $
(3)

假設離散時間步長k是否與持續時間值有關\ (t_ {k} \識別),離散時間步長k+ 1與持續時間值相關\(t_{k + 1}\).兩地的時間差\(t_{k + 1}\)而且\ (t_ {k} \識別)表示為Δt,則利用\ ({x} \ \點)以及它與時間的融合\(x_{k + 1} = \int {\dot{x}{\text{d}}t} .\)

$ $間{k + 1} =間{k} + \ int_ {{t_ {k}識別}}^ {{t_ {k + 1}識別}}{左\[{聚集}\ \開始點P {} _ {x}點(t) \ hfill \ \ \ P {} _ {y} (t) \ hfill \ \ \點{v} _ {2} (t) \ hfill \ \ \點{\三角洲}_ {2}(t) \ hfill \ \ \ ddot{\三角洲}_ {2}(t)結束\ hfill \ \ \{聚集}\右]}\,{文本\ d {}} t =間{k} +左\[開始\{聚集}\ int_ {{t_ {k}識別}}^ {{t_ {k + 1}識別}}{v_ {2} (t) \ cdot \ cos (\ delta_ {2} (t)){文本\ d {}} t} \ \ \ int_ {{t_ {k}識別}}^ {{t_ {k + 1}識別}}{v_ {2} (t) \ cdot \罪(\ delta_ {2} (t)){文本\ d {}} t} \ \ \ \ \ 0點{\三角洲}_ {k} \δt \ \ 0\ \ \{聚集}結束正確\]=間{k} +左\[開始\{聚集}\壓裂{{v_ {k}}}{{\點{\三角洲}_ {k}}} \離開({\罪\離開({\ delta_ {k} + \點{\三角洲}_ {k} \δt} \右)——罪\ \離開({\ delta_ {k}} \右)}\)\ \ \壓裂{{v_ {k}}}{{\點{\三角洲}_ {k}}} \離開({- \因為\離開({\ delta_ {k} + \點{\三角洲}_ {k} \δt} \右)+ \因為\離開({\ delta_ {k}} \右)}\)\ \ \ \ \ 0點{\三角洲}_ {k} \δt \ \ 0 \ \ \{聚集}結束\]。$ $
(4)

假設轉換率(\ (\ delta_ {2} \))和速度(\ (v_ {2} \))保持不變。因為我們有噪聲\ (v_ {k} \)在狀態方程中,我們把\ (v_ {k} \)它的預測噪聲包括加速度和角加速度作為方程(5):

$ $ v_ {k} =左\[開始\{聚集}v_ {, k} \ hfill \ \ v_ {{\ ddot{\三角洲},k}} \ hfill \ \ \{聚集}結束\右),\;v_ {, k} \ sim N (0 \ sigma_{一}^ {2}),\;v_ {{\ ddot{\三角洲}_ {2},k}} \ sim N (0 \ sigma_ {{\ ddot{\三角洲}_ {2}}}^ {2}),$ $
(5)

如果考慮了預測噪聲,則目標的狀態描述為:

$ $間{k + 1} =間{k} +左\[開始\{聚集}\壓裂{{v_ {k}}}{{\點{\三角洲}_ {k}}} \離開({\罪\離開({\ delta_ {k} + \點{\三角洲}_ {k} \δt} \右)——罪\ \離開({\ delta_ {k}} \右)}\)\ hfill \ \ \壓裂{{v_ {k}}}{{\點{\三角洲}_ {k}}} \離開({- \因為\離開({\ delta_ {k} + \點{\三角洲}_ {k} \δt} \右)+ \因為\離開({\ delta_ {k}} \右)}\)\ hfill \ hfill \ \ \ \ \ 0點{\三角洲}_ {k} \δt \ hfill \ \ 0 \ hfill \ \ \{聚集}結束\右)+左[\ \{聚集}開始\壓裂{1}{2}v_ {, k} \因為\離開({\ delta_ {k}} \) \離開({\δt} \右)^ {2}\ hfill \ \ \壓裂{1}{2}v_ {, k} \罪\離開({\ delta_ {k}} \) \離開({\δt} \右)^ {2}\ hfill \ \ v_ {, k} \δt \ hfill \ \ \壓裂{1}{2}v_ {{\ ddot{\三角洲},k}} \δt ^ {2} \ hfill \ \ v_ {{\ ddot{\三角洲},k}} \δt \ hfill \ \ \{聚集}結束\]。$ $
(6)

有一種特殊情況我們必須考慮,那就是當\(\點{\三角洲}_ {2}\)= 0, (\ (P_ {x} \)\ (P_ {y} \))的狀態轉移函數公式將變為無窮大,而我們跟蹤的車輛實際上是直線行駛的,因此我們的計算公式(\ (P_ {x} \)\ (P_ {y} \))就變成:

$ $ P_{{間{k + 1}}} = P_{{間{k}}} + \ cos (\ delta_ {k}) \ cdot v_ {k} \ cdot \δt, $ $
(7)
$ $ P_ {{y_ {k + 1}}} = P_ {{y_ {k}}} + \ cos (\ delta_ {k}) \ cdot v_ {k} \ cdot \δt。$ $
(8)

現在我們已經生成了預測點,我們需要預測對象的下一個狀態,因為對象將以某種方式移動。這裏的計算是基於狀態轉移矩陣的。我們隻需要將每個預測點插入到過程模型Eq中(6).

利用UKF進行傳感器融合

卡爾曼濾波[181920.]是一個線性濾波器,它可以融合多元不確定信息來獲得最優狀態估計。卡爾曼濾波在一個連續變化的線性係統中性能非常好,因為它在係統的過程中存在著一些幹擾,因此,即使對係統伴隨著一些幹擾,卡爾曼濾波也能更準確地計算出係統的實際狀態,並能對係統的運動做出合理的預測。卡爾曼濾波的前提是係統是線性高斯係統。一般來說,狀態躍遷後高斯噪聲將保持高斯狀態。如果不滿足線性的前提條件,卡爾曼濾波就不再適用。

簡單的卡爾曼濾波必須應用於符合高斯分布的係統,但並不是現實中的所有係統都符合這個。另外,高斯分布在非線性係統中的傳遞結果將不再是高斯分布。在這一點上,你需要使用擴展卡爾曼濾波器或無氣味卡爾曼濾波器代替。擴展卡爾曼濾波器解決了具有局部線性的非線性問題。利用切線對非線性預測方程和觀測方程進行微分和線性化,即在均值處進行一階泰勒展開。

EKF和KF [212223]具有相同的算法結構,都以高斯形式描述後驗概率密度,該後驗概率密度是通過計算貝葉斯遞推公式得到的。EKF與KF的區別在於,在計算方差時,EKF的狀態轉移矩陣和觀測矩陣都是狀態信息的雅可比矩陣。在預測公式部分[11242526的雅可比矩陣\ (f {k} \)f由卡爾曼濾波擴展。的雅可比矩陣\ (H_ {k} \)h由卡爾曼濾波擴展。EKF通過Taylor分解對模型進行線性化,得到預測模型的概率均值和方差。UKF可以通過不敏感變換計算出預測模型的均值和方差。UKF [27]可以通過不敏感變換(一種計算非線性隨機變量矩的近似方法)更好地解決非線性問題。通過對某些規則的抽樣和加權,可以近似地得到均值和方差。此外,由於統計矩不敏感變換的近似精度高,UKF效應可以達到二階EKF的效果。

我們有兩個激光雷達和雷達傳感器。Rs-LiDAR-16激光雷達測量位置坐標\((P_{x},P_{y})\)目標對象的。Delphi ESR測量目標物體與主載具在主載具坐標係中的距離l如下:

$$L = \sqrt {P_{x}^{2} + P_{y}^{2}} .$$
(7)

目標對象與x軸之間的角度為\ (\ delta_ {2} \),目標物體與宿主載具之間的相對距離變化率為\(\點{L} \).LiDAR的測量模型仍然是線性的,其測量矩陣為:

$ $ H_ {L} =左\[{\開始{數組}{* c{20}} 1 0 \ \ & 0 & 0 & 0 & & 1 & 0 & 0 & 0結束\ \ \{數組}}\右]。$ $
(8)

將預測映射到LiDAR測量空間,即:

$ $ H_ vec {x} = {1} \ (P_ {x}, P_ {y}) ^{{\文本{T}}}。$ $
(9)

雷達對測量空間的預測映射是非線性的,其表達式為:

$ $ h (x) = \離開({\開始{數組}{* c {20}} L \ \ {\ delta_{2}} \ \{\點{L}} \ \ \{數組}}結束\右)左({= \ \開始{數組}{* c{20}}{\√6 {P_ {x} ^ {2} + P_ {y} ^ {2 } } } \\ {\ 反正切\壓裂{{P_ {y}}} {{P_ {x } }}} \\ {\ 壓裂{{P_ {x} \ cdot v_ {2 x} + P_ {y} \ cdot v_ {2 y}}}{{\√6 {P_ {x} ^ {2} + P_ {y} ^ {2 } } }}} \\ \ {數組}}\右)結束。$ $
(10)

預測數據與傳感器實際數據之間必然存在誤差,因此需要通過測量傳輸矩陣將狀態空間向量與傳感器可用數據關聯起來hx).因為測量傳遞矩陣hx)是一個非線性函數,我們還需要找到一些預測點並對預測值進行轉換\(\vec{z}_{k + 1}\)通過非線性函數進入測量空間\(x_{k + 1|k}\).我們的方法是替換生成的預測點\(x_{k + 1|k}\)\(z_{k + 1} = h(x_{k + 1} + w_{k + 1})\)求被測空間的值。然後根據每個預測值和權重,得到預測測量平均值和測量平均值協方差。如方程式所示。(11)及(12):

$ $ z_ {{k + 1 k {|}}} = \ \ limits_總和{i = 1} ^ {{2 n_{\σ}}}{w_{我}z_ {{k + 1 {|} k,我}}},$ $
(11)
$ $ \{對齊}開始S_ {{k + 1 k {|}}} & = \ \ limits_總和我= {0}^ {{2 n_{\σ}}}{w_{我}(Z_ {{k + 1 {|} k,我}}- Z_ {{k + 1 k {|}}})} (Z_ {{k + 1 {|} k,我}}- Z_ {{k + 1 k{|}}}) ^{{\文本{T}}} \ hfill \ \ & \四+ E \ {w_ {k} \ cdot w_ {k} ^ {{{T \文本 }}} \} , \ hfill \ \ \{對齊}$ $
(12)

在哪裏w是權重的平均值,和wk+1是測量模型中的噪聲。

最後,卡爾曼增益\(K_{k + 1|k}\)互相關函數\(T_{k + 1|k}\)是根據預測值計算的嗎x而且z,然後更新狀態和協方差。如方程式所示。(13)及(14):

$ $ K_ {k + 1 | k} = T_ {k + 1 | k}識別S_ {k + 1 | k} ^ {- 1}, $ $
(13)
$ $間{k + 1 | k + 1} =間{k + 1 | k} + K_ {k + 1 | k} (z_ {k + 1} - z_ {k + 1 | k}), $ $
(14)

數字5介紹了采用UKF的激光雷達與雷達數據融合技術。結果預測的西格瑪點然後被用來計算狀態的平均值和協方差矩陣。

圖5
圖5

利用UKF進行激光雷達和雷達數據融合

結果

本文對雷達和激光雷達的融合結果進行了驗證。結果部分分為檢測結果和結果分析。實驗平台為Intel雙核處理器,4G內存,操作係統為Ubuntu16.04 LTS,編程軟件為ROS (Robot operating system)。試驗車輛如圖所示6在實際應用中,既用於記錄內部數據,又用於評估傳感器融合和跟蹤效果。傳感器融合運行在20赫茲,與雷達同步。

圖6
圖6

我們的自動駕駛汽車

我們的方法已經在我們的自動駕駛汽車上進行了評估。在提前測量距離的測試段中,采集數據作為真值。我們設計了一個包含6種工況的試驗段,用於自動駕駛汽車對周圍目標的水平跟蹤和縱向跟蹤:(1)靠近,(2)遠離,(3)左拐,(4)右拐,(5)左拐,(6)右拐。同時對目標跟蹤時間進行統計,便於直觀比較LiDAR、Radar和融合數據的跟蹤效果。數字7給出了該算法在實車測試中的應用界麵。圖中黃色和紅色點雲為LiDAR點雲,白色矩形框為LiDAR點雲聚類後檢測到的車輛環繞目標,亮黃色方框為雷達跟蹤的目標,被跟蹤目標上實時顯示目標速度信息。

圖7
圖7

我們的算法正在進行真車驗證。

在所有六種情況下,水平和垂直跟蹤實驗都記錄了大約80-90秒的視頻。我們的融合方法是實時運行的,是輕量級的。在道路上確定跟蹤目標後,我們的自動駕駛汽車將垂直方向行駛在目標後方10 - 80米範圍內,橫向方向行駛在目標後方−10~10米範圍內,從而跟蹤前麵的目標車輛。將每次跟蹤試驗的多個跟蹤目標根據其ID號進行分類,然後取平均值。

數據8而且9分別是智能駕駛汽車對汽車縱向和橫向跟蹤的效果實驗。在圖8,可以直觀地看出,LiDAR提供的縱向目標跟蹤非常穩定,隻有很小的波動範圍。相比之下,雷達觀測到的縱向距離有明顯的波動。如圖所示9時,激光雷達提供的水平目標跟蹤相對穩定,而由於視場角的限製,當水平距離過大時,雷達波動較大。與我們最初的預期一致,雷達和激光雷達在水平和垂直跟蹤方麵各有優缺點。

圖8
圖8

自動駕駛汽車垂直跟蹤結果

圖9
圖9

自動駕駛汽車水平跟蹤結果

表格3.列舉了幾種常用算法的最終檢測和跟蹤結果的比較。如圖所示,我們的方法在這類模型中的準確率和檢出率都是最好的。

表3幾種流行算法與我們的方法的比較

我們的融合方法特別適用於一些小型網絡,小型網絡的測試速度提高更明顯。

然而,從圖中可以看出89和表3.我們的融合逼近檢測和跟蹤效果更接近真值標準值,說明了本文融合算法的有效性。

總結與未來工作

  1. (1)

    在單傳感器環境感知技術研究的基礎上,提出了一種基於UKF激光雷達和雷達信息融合的周邊目標檢測與跟蹤方法。

  2. (2)

    我們的融合方法將毫米波雷達和激光雷達傳感器結合在車載環境中。

  3. (3)

    引入UKF非線性數據融合方法對觀測值進行匹配,實現了基於毫米波雷達和激光雷達的目標檢測和跟蹤,有效地減少了單個傳感器感知周邊目標屬性不完整的問題。

  4. (4)

    進行了六種常見條件下的實車試驗和周邊目標運動跟蹤試驗,驗證了融合算法的有效性,可有效提高自動駕駛汽車的智能水平。

參考文獻

  1. 楊超,姚峰,張明軍,等。基於遞歸神經網絡的自主水下航行器自適應反演終端滑模控製方法。bwin900手机版光子學報,2018,31(6):228-243。

    穀歌學者

  2. 蔡勇,戴磊,王宏,等。智能駕駛中的行人運動軌跡預測,遠拍第一人稱視角視頻。IEEE智能交通係統彙刊, 2021年,doi:https://doi.org/10.1109/TITS.2021.3052908

    文章穀歌學者

  3. 劉錚,蔡勇,陳磊,等。複雜道路場景下基於深度卷積網絡的車牌識別方法。機械工程師學會學報D部分汽車工程雜誌地球物理學報,2019,233(9):2284-2292。

    文章穀歌學者

  4. 趙永強,李海強,林飛,等。基於車輛製動動力學的不同路況路麵摩擦係數估算。bwin900手机版浙江農業學報,2017,30(4):982-990。

    文章穀歌學者

  5. 劉錚,蔡勇,王宏,等。惡劣天氣條件下自動駕駛汽車雷達與相機信息融合的魯棒目標識別與跟蹤。IEEE智能交通係統彙刊, 2021年,doi:https://doi.org/10.1109/TITS.2021.3059674

    文章穀歌學者

  6. H Hajri, M C Rahal。用於障礙物檢測和跟蹤的實時激光雷達和雷達高級融合,並對地麵真相進行評估。國際機械與機電一體化工程學報, 2018年。

  7. 何傑,高飛。高動態多足機器人的機理、驅動、感知和控製研究進展。bwin900手机版, 2020, 33: 79, https://doi.org/https://doi.org/10.1186/s10033-020-00485-9

    文章穀歌學者

  8. M Merchant, C Haas, J Schroder,等。利用多日期和多傳感器地球觀測數據的高緯度濕地製圖:以西北地區為例。應用遙感學報, 2020, 14(3)。

  9. 孫g, K J Ranson。林冠層激光雷達和雷達回波模型的數據融合。地球科學與遙感研討會, ieee, 2002。

  10. 羅倩娜,卞傑,盧明,等。融合多個2D激光雷達和雷達的目標探測和跟蹤在所有方向。互聯汽車國際會議暨博覽會, ieee, 2015。

  11. 權淑坤,玄恩賢,李俊華,等。基於被遮擋深度的激光雷達傳感器融合部分被遮擋行人檢測方案。光學工程岩石力學與工程學報,2017,56(11):1。

    文章穀歌學者

  12. 李赫,蔡赫,李克基。基於幾何模型的二維激光雷達/雷達傳感器融合跟蹤周圍車輛- ScienceDirect。IFAC-PapersOnLine地球物理學報,2019,52(8):130-135。

    文章穀歌學者

  13. W法拉克。基於激光雷達和雷達融合的自動駕駛道路目標跟蹤。智能決策技術浙江農業學報,2020,15(3):1-14。

    穀歌學者

  14. 蔡勇,戴磊,王宏,等。基於訓練任務轉換流的DLnet,實現實際交通場景的精確語義分割。IEEE神經網絡和學習係統彙刊doi:https://doi.org/10.1109/TNNLS.2021.3080261

  15. 黃五菱。激光雷達在自動駕駛環境感知中的應用。微控製器和嵌入式係統, 2016年。

  16. Kidono, T Naito, J Miura。結合高清激光雷達和視覺數據的可靠行人識別。國際IEEE智能交通係統會議, ieee, 2012。

  17. 權淑坤,玄恩賢,李俊華,等。基於LiDAR-RADAR傳感器融合的部分閉塞行人檢測低複雜度方案。IEEE嵌入式和實時計算係統及應用國際會議, ieee, 2016。

  18. M H Daraei, A Vu, R Manduchi。利用激光雷達和攝像機進行區域分割。IEEE智能交通係統國際會議, ieee, 2017。

  19. 萬娥,範德明。無香味卡爾曼濾波器。:卡爾曼濾波與神經網絡。John Wiley & Sons, Inc. 2002。

  20. E卡夫。基於四元數的無氣味卡爾曼濾波器的方向跟蹤。第六屆信息融合國際會議IEEE學報, 2003年。

  21. E N查齊,A W史密斯。無氣味卡爾曼濾波和粒子濾波方法在非配置異質感知非線性結構係統識別中的應用。結構控製與健康監測高分子學報,2010,16(1):99-123。

    文章穀歌學者

  22. B斯滕格,R聖保羅,R Mendonça西波拉。基於模型的手部跟蹤使用無氣味卡爾曼濾波器。2001年英國機器視覺會議論文集,BMVC 20012001年9月10日至13日,英國曼徹斯特。

  23. 寧鑫,方傑。基於無氣味卡爾曼濾波和信息融合的LEO衛星自主天文導航方法。航空航天與技術光子學報,2007,11(2-3):222-228。

    文章穀歌學者

  24. Kim T, T H Park。利用雷達和激光雷達可靠性功能的車輛位置跟蹤擴展卡爾曼濾波器設計。傳感器地球物理學報,2020,20(15):4126。

    文章穀歌學者

  25. J·霍林格,B·庫徹,R·克洛斯。激光雷達和雷達的融合,用於探測部分模糊的物體。間諜防禦+安全, 2015年。

  26. T N Ranjan, A Nherakkol, G Navelkar。基於擴展卡爾曼濾波的自主水下航行器導航。智能機器人趨勢-第十三屆FIRA機器人世界大會,FIRA 20102010年9月15-17日,印度班加羅爾。

  27. 一個Khitwongwattana, T Maneewarn。基於自適應測量噪聲特性的擴展卡爾曼濾波器自動駕駛汽車位置估計。IEEE/ASME機電與嵌入式係統及應用國際會議, ieee, 2008。

下載參考

確認

不適用。

作者的信息

劉澤,1990年生,碩士畢業於江蘇大學,中國.他正在攻讀博士學位江蘇大學,中國.他的研究方向包括傳感器融合、深度學習和智能汽車。

蔡英峰,1985年生,本科、碩士、博士學位東南大學儀器科學與工程學院,中國,分別。2013年,她加入了公司汽車工程研究所江蘇大學她現在是美國的一名教授。主要研究方向為計算機視覺、智能交通係統、智能汽車。

王海,1983年生,本科、碩士、博士學位東南大學儀器科學與工程學院,中國,分別。2012年,他加入了汽車與交通工程學院“,江蘇大學目前,他在美國擔任副教授。他的研究方向包括計算機視覺、智能交通係統和智能車輛。他在基於機器視覺的智能汽車環境傳感領域發表了50多篇論文。

陳龍,1958年生,獲清華大學車輛工程專業博士學位江蘇大學,中國2002年。主要研究方向為智能汽車和車輛控製係統。

資金

國家自然科學基金(資助號:U20A20333, 61906076, 51875255, U1764257, U1762264);江蘇省自然科學基金(資助號:BK20180100, BK20190853);江蘇省人才六峰工程(資助號:2018-TD-GDZB-022);中國博士後科學基金(資助號:2020T130258);BE2020083-2)。

作者信息

作者和隸屬關係

作者

貢獻

YC負責整個試驗;ZL寫了手稿;HW和LC協助取樣和實驗室分析。所有作者閱讀並批準了最終稿件。

相應的作者

對應到公司以蔡

道德聲明

相互競爭的利益

作者聲明沒有競爭的經濟利益。

權利與權限

開放獲取本文遵循創作共用署名4.0國際許可協議(Creative Commons Attribution 4.0 International License),該協議允許在任何媒體或格式中使用、分享、改編、分發和複製,隻要您給予原作者和來源適當的署名,提供創作共用許可協議的鏈接,並說明是否有更改。本文中的圖片或其他第三方材料包含在文章的創作共用許可中,除非在材料的信用額度中另有說明。如果材料不包含在文章的創作共用許可中,並且您的預期用途不被法律法規允許或超出了允許的用途,您將需要直接從版權所有者那裏獲得許可。欲查看此許可證的副本,請訪問http://creativecommons.org/licenses/by/4.0/

轉載及權限

關於本文

通過CrossMark驗證貨幣和真實性

引用本文

劉錚,蔡玉玉,王宏。et al。基於激光雷達和雷達融合的自動駕駛周圍物體檢測與跟蹤。下巴。j .機械工程。Eng。34, 117(2021)。https://doi.org/10.1186/s10033-021-00630-y

下載引用

  • 收到了

  • 修改後的

  • 接受

  • 發表

  • DOIhttps://doi.org/10.1186/s10033-021-00630-y

關鍵字

  • 無人駕駛汽車
  • 雷達和激光雷達信息融合
  • 無氣味卡爾曼濾波器
  • 目標檢測與跟蹤
Baidu
map