目錄 序一 序二 前言 第1章 機(jī)器人自主智能導(dǎo)航概述 1 1.1 技術(shù)的發(fā)展和趨勢(shì) 2 1.2 邁向智能導(dǎo)航 9 1.3 本書(shū)內(nèi)容簡(jiǎn)介 13 參考文獻(xiàn) 14 第2章 機(jī)器人自主導(dǎo)航框架 17 2.1 機(jī)器人操作系統(tǒng)簡(jiǎn)介 17 2.1.1 概述 17 2.1.2 ROS的基礎(chǔ)概念與設(shè)計(jì)思想 18 2.2 自主導(dǎo)航框架 24 2.2.1 建圖與地圖發(fā)布模塊 26 2.2.2 狀態(tài)估計(jì)模塊 29 2.2.3 全局路線(xiàn)規(guī)劃模塊 31 2.2.4 局部規(guī)劃模塊 31 2.2.5 抽象控制模塊 32 2.3 用于機(jī)器人導(dǎo)航的硬件 34 2.3.1 主動(dòng)傳感器 34 2.3.2 被動(dòng)傳感器 39 2.3.3 電機(jī) 41 2.3.4 常見(jiàn)的機(jī)器人底盤(pán)及運(yùn)動(dòng)模型 42 2.3.5 融合北斗和AI的實(shí)驗(yàn)教學(xué)系統(tǒng) 51 2.4 工程實(shí)踐：差速輪機(jī)器人的遠(yuǎn)程操控 52 2.4.1 環(huán)境配置與安裝 53 2.4.2 代碼解析 54 2.4.3 實(shí)驗(yàn) 55 2.5 工程實(shí)踐：ROS：：Movebase 58 2.5.1 環(huán)境配置與安裝 58 2.5.2 實(shí)驗(yàn)框圖 61 2.5.3 仿真實(shí)驗(yàn) 63 參考文獻(xiàn) 65 第3章 機(jī)器人環(huán)境語(yǔ)義感知 67 3.1 目標(biāo)檢測(cè) 67 3.1.1 概述 67 3.1.2 常用數(shù)據(jù)集及評(píng)估指標(biāo) 69 3.1.3 二階段目標(biāo)檢測(cè)模型 71 3.1.4 一階段目標(biāo)檢測(cè)模型 74 3.2 圖像分割 79 3.2.1 概述 79 3.2.2 常用數(shù)據(jù)集及評(píng)估指標(biāo) 81 3.2.3 語(yǔ)義分割 83 3.2.4 實(shí)例分割 90 3.2.5 全景分割 93 3.2.6 融合深度信息的分割 95 3.3 目標(biāo)跟蹤 98 3.3.1 概述 98 3.3.2 常用數(shù)據(jù)集與評(píng)估指標(biāo) 101 3.3.3 單目標(biāo)跟蹤 104 3.3.4 多目標(biāo)跟蹤 111 3.4 視覺(jué)注意力 113 3.4.1 概述 113 3.4.2 基于Transformer的目標(biāo)檢測(cè) 120 3.4.3 基于Transformer的圖像分割 123 3.4.4 基于Transformer的目標(biāo)跟蹤 125 3.5 基于深度學(xué)習(xí)的3D點(diǎn)云語(yǔ)義感知 127 3.5.1 概述 127 3.5.2 常用數(shù)據(jù)集與評(píng)估指標(biāo) 130 3.5.3 3D點(diǎn)云目標(biāo)檢測(cè) 130 3.5.4 3D點(diǎn)云分割 134 3.5.5 3D點(diǎn)云目標(biāo)跟蹤 137 3.6 圖像和點(diǎn)云的融合語(yǔ)義感知 138 3.6.1 概述 138 3.6.2 前期融合 139 3.6.3 后期融合 139 3.7 典型交通對(duì)象的語(yǔ)義感知 140 3.8 工程實(shí)踐：YOLO v4 142 3.8.1 環(huán)境配置與安裝 142 3.8.2 代碼解析 145 3.8.3 實(shí)驗(yàn) 146 3.9 工程實(shí)踐：DeepLab v3 + 149 3.9.1 環(huán)境配置與安裝 149 3.9.2 代碼解析 151 3.9.3 實(shí)驗(yàn) 153 3.10 工程實(shí)踐：SiamRPN 161 3.10.1 環(huán)境配置 162 3.10.2 代碼解析 163 3.10.3 實(shí)驗(yàn) 164 參考文獻(xiàn) 168 第4章 機(jī)器人狀態(tài)估計(jì) 175 4.1 GNSS高精度定位定姿技術(shù) 175 4.1.1 全球衛(wèi)星導(dǎo)航系統(tǒng) 175 4.1.2 GNSS快速定位 184 4.1.3 GNSS高精度定位方法 185 4.1.4 GNSS測(cè)向定姿 189 4.2 基于IMU的主動(dòng)姿態(tài)估計(jì) 191 4.2.1 捷聯(lián)慣性導(dǎo)航涉及的坐標(biāo)系 191 4.2.2 捷聯(lián)慣性導(dǎo)航中IMU傳感器誤差建模 193 4.2.3 捷聯(lián)慣性導(dǎo)航姿態(tài)表示方法 195 4.2.4 捷聯(lián)慣導(dǎo)算法中的微分方程及其解算更新 197 4.2.5 捷聯(lián)慣導(dǎo)的誤差微分方程 201 4.3 基于激光雷達(dá)的定位 204 4.4 基于視覺(jué)的定位 204 4.5 基于機(jī)會(huì)信號(hào)的定位 204 4.6 GNSS/SINS組合導(dǎo)航定位 206 4.6.1 卡爾曼濾波用于數(shù)據(jù)融合 208 4.6.2 GNSS/SINS松組合 210 4.6.3 RTK/SINS緊組合 213 4.7 因子圖用于數(shù)據(jù)融合 214 4.8 深度神經(jīng)網(wǎng)絡(luò)用于數(shù)據(jù)融合 219 4.8.1 非端到端學(xué)習(xí)下的慣導(dǎo)定位方法 219 4.8.2 端到端學(xué)習(xí)下的慣導(dǎo)定位方法 223 4.8.3 監(jiān)督學(xué)習(xí)下的視覺(jué)定位方法 227 4.8.4 無(wú)監(jiān)督學(xué)習(xí)下的視覺(jué)定位方法 230 4.8.5 慣性傳感器與視覺(jué)傳感器的數(shù)據(jù)融合 234 4.9 工程實(shí)踐：利用網(wǎng)絡(luò)RTK技術(shù)定位機(jī)器人 237 4.9.1 實(shí)驗(yàn)準(zhǔn)備 237 4.9.2 GNSS數(shù)據(jù)格式 238 4.9.3 實(shí)驗(yàn) 239 4.10 工程實(shí)踐：GNSS/INS松組合導(dǎo)航定位 242 4.10.1 數(shù)據(jù)集介紹 242 4.10.2 代碼解析 243 4.10.3 實(shí)驗(yàn) 244 4.11 工程實(shí)踐：RoNIN 247 4.11.1 環(huán)境配置 247 4.11.2 代碼解析 248 4.11.3 實(shí)驗(yàn) 250 參考文獻(xiàn) 252 第5章 機(jī)器人同步定位與建圖 255 5.1 激光SLAM方法 255 5.1.1 概述 255 5.1.2 基于優(yōu)化的激光SLAM 258 5.1.3 基于濾波的激光SLAM 266 5.2 視覺(jué)SLAM方法 268 5.2.1 概述 268 5.2.2 光流估計(jì) 275 5.2.3 間接法視覺(jué)SLAM與經(jīng)典方案 280 5.2.4 直接法視覺(jué)SLAM與經(jīng)典方案 289 5.3 視覺(jué)慣性SLAM方法 293 5.3.1 概述 293 5.3.2 基于濾波的視覺(jué)慣性SLAM方法 294 5.3.3 基于優(yōu)化的視覺(jué)慣性SLAM方法 302 5.4 激光慣性SLAM方法 307 5.4.1 概述 307 5.4.2 基于濾波的激光慣性SLAM 308 5.4.3 基于優(yōu)化的激光慣性SLAM 313 5.5 事件相機(jī)SLAM方法 315 5.6 工程實(shí)踐：Cartographer 319 5.6.1 環(huán)境配置 319 5.6.2 代碼解析 323 5.6.3 Turtlebot3仿真實(shí)驗(yàn) 324 5.7 工程實(shí)踐：ORB-SLAM2 326 5.7.1 環(huán)境配置 327 5.7.2 代碼解析 329 5.7.3 實(shí)驗(yàn) 331 5.8 工程實(shí)踐：ORB-SLAM3 333 5.8.1 環(huán)境配置 333 5.8.2 代碼解析 336 5.8.3 實(shí)驗(yàn) 337 參考文獻(xiàn) 339 第6章 機(jī)器人視覺(jué)語(yǔ)義融合 344 6.1 語(yǔ)義輔助前端特征篩選 344 6.1.1 概述 344 6.1.2 語(yǔ)義分割輔助特征篩選 345 6.1.3 實(shí)例分割輔助特征篩選 347 6.2 語(yǔ)義輔助后端定位優(yōu)化 350 6.2.1 概述 350 6.2.2 像素級(jí)語(yǔ)義輔助后端 350 6.2.3 物體級(jí)語(yǔ)義輔助后端 353 6.3 語(yǔ)義輔助回環(huán)檢測(cè) 356 6.3.1 概述 356 6.3.2 基于特征的回環(huán)檢測(cè) 357 6.3.3 基于場(chǎng)景的回環(huán)檢測(cè) 359 6.4 語(yǔ)義融合環(huán)境建模 361 6.4.1 概述 361 6.4.2 像素級(jí)語(yǔ)義建模 364 6.4.3 物體級(jí)語(yǔ)義建模 368 6.5 工程實(shí)踐：DS-SLAM 369 6.5.1 環(huán)境配置 370 6.5.2 代碼解析 372 6.5.3 實(shí)驗(yàn) 373 參考文獻(xiàn) 374 第7章 機(jī)器人導(dǎo)航規(guī)劃與決策 378 7.1 全局路線(xiàn)的規(guī)劃 378 7.1.1 基于圖搜索的路線(xiàn)規(guī)劃 378 7.1.2 基于采樣的路線(xiàn)規(guī)劃 383 7.1.3 面向任務(wù)的路線(xiàn)規(guī)劃 384 7.2 動(dòng)態(tài)目標(biāo)的距離探測(cè)和運(yùn)動(dòng)預(yù)測(cè) 386 7.2.1 傳感器測(cè)距 386 7.2.2 基于動(dòng)態(tài)SLAM的多目標(biāo)運(yùn)動(dòng)預(yù)測(cè) 388 7.3 基于幾何模型的避障 393 7.3.1 概述 393 7.3.2 速度障礙模型 394 7.3.3 快速幾何避障模型 396 7.4 基于勢(shì)場(chǎng)模型的避障 399 7.4.1 概述 399 7.4.2 人工勢(shì)場(chǎng)模型 400 7.4.3 旋轉(zhuǎn)矢量場(chǎng)模型 401 7.4.4 混合勢(shì)場(chǎng)法模型 403 7.5 基于優(yōu)化思想的避障 405 7.5.1 概述 405 7.5.2 動(dòng)態(tài)窗口算法 405 7.5.3 時(shí)變松緊帶算法 410 7.6 基于深度學(xué)習(xí)的局部規(guī)劃 414 7.6.1 端對(duì)端局部規(guī)劃 414 7.6.2 融合仿生LGMD的局部規(guī)劃 418 7.7 更高級(jí)的行動(dòng)決策 421 7.8 工程實(shí)踐：TEB_Local_planner 424 7.8.1 環(huán)境配置與安裝 424 7.8.2 文件介紹 425 7.8.3 仿真實(shí)驗(yàn) 426 參考文獻(xiàn) 433 第8章 基于強(qiáng)化學(xué)習(xí)的認(rèn)知導(dǎo)航 436 8.1 認(rèn)知導(dǎo)航的任務(wù)描述與建模 436 8.1.1 基本定義與馬爾可夫決策過(guò)程建模 436 8.1.2 強(qiáng)化學(xué)習(xí)A2C/A3C算法 442 8.1.3 常見(jiàn)的任務(wù)形式 445 8.2 目標(biāo)驅(qū)動(dòng)導(dǎo)航 446 8.2.1 孿生網(wǎng)絡(luò)模型 447 8.2.2 自適應(yīng)視覺(jué)導(dǎo)航模型 449 8.3 視覺(jué)語(yǔ)言導(dǎo)航 452 8.3.1 增強(qiáng)型跨模態(tài)匹配和自監(jiān)督模仿學(xué)習(xí)的視覺(jué)語(yǔ)言導(dǎo)航模型 452 8.3.2 對(duì)象-動(dòng)作感知模型 458 8.4 視覺(jué)對(duì)話(huà)導(dǎo)航 461 8.5 導(dǎo)航知識(shí)圖譜的構(gòu)建與應(yīng)用 466 8.5.1 知識(shí)圖譜概述 466 8.5.2 認(rèn)知導(dǎo)航中知識(shí)圖譜的構(gòu)建 467 8.5.3 認(rèn)知導(dǎo)航中知識(shí)圖譜的應(yīng)用 470 8.6 拓展到仿生導(dǎo)航 476 8.6.1 仿生導(dǎo)航傳感器 476 8.6.2 使用類(lèi)網(wǎng)格細(xì)胞網(wǎng)絡(luò)模擬生物的矢量導(dǎo)航 477 8.7 工程實(shí)踐：SAVN 481 8.7.1 數(shù)據(jù)集 481 8.7.2 環(huán)境配置與安裝 481 8.7.3 代碼解析 484 8.7.4 實(shí)驗(yàn) 485 參考文獻(xiàn) 486 第9章 多足機(jī)器人導(dǎo)航 489 9.1 多足機(jī)器人的發(fā)展及應(yīng)用 489 9.2 多足機(jī)器人上的足式里程計(jì) 490 9.2.1 多足機(jī)器人的D-H建模方法 491 9.2.2 多足機(jī)器人的正向運(yùn)動(dòng)學(xué)模型 492 9.2.3 多足機(jī)器人的足式里程計(jì)的構(gòu)建 493 9.3 多足機(jī)器人上的不變卡爾曼濾波器 495 9.3.1 不變卡爾曼濾波器簡(jiǎn)介 495 9.3.2 組合導(dǎo)航中的不變卡爾曼濾波器 498 9.3.3 足式里程計(jì)/INS組合導(dǎo)航 501 9.4 多足機(jī)器人上的最優(yōu)平滑算法 503 9.4.1 雙向?yàn)V波算法 503 9.4.2 RTS平滑 505 9.4.3 分段平滑 506 9.5 多足機(jī)器人導(dǎo)航的發(fā)展趨勢(shì) 507 參考文獻(xiàn) 509 附錄 部分常用數(shù)據(jù)集 511 參考文獻(xiàn) 515