文章作者：莫璐怡 Pony.ai
編輯整理：Hoh Xil
內容來源：Pony.ai & DataFun AI Talk
出品社區：DataFun
注：歡迎轉載，轉載請在留言區留言。
導讀：本次分享的主題為打造最可靠的自動駕駛基礎架構。主要內容包括如何做 Pony.ai 自動駕駛系統的基礎架構，涉及到的技術困難，以及我們是如何克服的。
首先先了解下傳統互聯網公司的基礎架構：
數據基礎設施，會包括大規模的數據庫、分佈式的文件系統；
計算平台，可能會需要大量的服務器、大數據平台、容器的管理機制；
Web 服務管理，同時還會有各種各樣的 Web Service，不停的迭代來滿足新的業務發展。
這是傳統互聯網公司要做的事情，但是對於自動駕駛公司和 Pony.ai，在這樣的架構基礎上我們還會做哪些事情？
這是 Pony.ai 的基礎架構，包含了所有傳統互聯網公司要做的事情，除此之外，還需要做如下事情：
自動駕駛車載系統，如何支持各種各樣的AI技術、算法，如何控制車輛，這都依賴於自動駕駛車載系統來完成。
大規模仿真平台，Pony.ai 每天至少會跑 30W 公里的仿真測試（很多自動駕駛公司一年跑的里程可能只有百萬級別），這點對於自動駕駛測試來說非常重要。
車隊運營基礎平台，Pony.ai 要打造自己的移動出行服務，需要基礎平台來支持 Robotaxi 的運營。
可視化平台與人機接口，可視化平台是幫助我們了解系統到底是如何思考、運作的，或者當測試工程師做各種測試的時候都依賴於可視化平台；人機接口，自動駕駛車輛最終是要提供出行服務，是有乘客在裏面，這時會有一個可視化的界面，來告訴乘客車所感知的周圍環境，以及接下來的駕駛操作等等信息，同時還會提供人機交互的功能，讓乘客也能控制車輛，比如輸入目的地，或者需要停車等等。
Pony.ai 的目標是打造自動駕駛移動出行平台，我們希望可以在不同的城市，可以提供大規模自動駕駛車輛的運營，那麼我們的基礎架構會面臨以下挑戰：
車輛數量的增加，目前廣州已經有幾十輛車在進行測試，同時還在不停的增長着；
運營區域的擴大，剛開始只是在很小的區域進行測試，目前已經在幾百平方公里的區域進行測試；
數據量的增長，我們有很多的傳感器，以及車輛和運營區域的增加，都使得數據量的增長非常非常非常大；
工程師數量的增長，目前 Pony.ai 有廣深、北京、美國四個 office，工程師的數量每周都在增長，所以導致模塊數量和內部代碼的數量也在增長。
所有的這些增長都要求我們的技術棧是具有可擴展性的，來滿足快速增長所帶來的挑戰。
剛剛講了整個基礎架構，其中重要的一點就是車載系統，在講車載系統之前，先簡單介紹下自動駕駛系統：
傳感器及其他硬件：激光雷達、高分辨率攝像頭、毫米波雷達、GNSS/IMU、運算平台，我們可看到圖中標了不同的顏色，目前這些傳感器是通過 Supplier Partner 來得到的，我們自己不做傳感器，我們需要去購買他們的產品，但是購買之後需要做數據進一步的分析和整合，然後做後面的處理，然後對於運算平台除了 supplier 的一些應用外，我們自己也會做一些優化。傳感器主要要做的事情就是接收真實世界的數據，然後傳遞給 Pony.ai 自動駕駛系統中。
自動駕駛系統：首先，要做傳感器融合，進行時間同步，將多傳感器的數據融合在一起；然後是感知模塊，用來感知周圍的環境有什麼樣的障礙物和物體；接下來會進行行為預測，預測這樣的障礙物或物體之後的行為會是什麼樣的；然後才到我們的決策規劃模塊，按照之前的預測來決定之後車輛的動作，如急剎車、讓路、超車等動作；最後，就是我們的控制模塊，他會按照決策規劃模塊，告知我們的系統要怎麼做，然後決定怎麼踩剎車、油門，怎麼打方向盤。
車輛，我們本身是不造車的，所以車輛是由 OEM 提供的，但是整個控制的算法，是我們自研去做的。
除此之外，還有高精地圖與定位模塊，以及數據與系統架構（數據的處理，以及控制數據在不同模塊的流動）。
這裏介紹的是各個模塊，但最後把他們串聯起來，靠的是我們的自動駕駛軟件系統，這就是自動駕駛的車載系統。很多自動駕駛企業使用的是 ROS 的一套工業系統，而 Pony.ai 是從第一行代碼開始，寫了一套 PonyBrain，自研的多層次自動駕駛車載系統，最主要的做的事情有：
多模塊的調度運行，所有模塊的調度運行都是 Pony.ai 自己去做的。
模塊間的消息通信，如何把數據從激光雷達傳遞到傳感器融合的模塊，再把融合的結果放到感知模塊中，然後感知的數據怎麼告訴行為預測、決策規劃等等模塊，以及如何拿到高精地圖與定位的信息。
車載計算資源的分配與管理，對於自動駕駛來說反應速度是非常重要的，這就需要我們對內存、CPU、GPU 等有足夠的優化，做到定製化的車載計算資源分配與管理。
日誌記錄，同時我們需要完善的日誌記錄，我們所有的測試數據回來都需要一整套的 Pipeline 去做自動化的分析，然後幫我們評判出有意義的數據，給到測試工程師或者研發工程師，進行進一步的分析去使用，然後進一步提升我們的模型。
監控與報警，保證了我們自動駕駛的安全性。
車載系統的挑戰：
① 可靠性：車載系統必須足夠的可靠，不能有任何的內存泄露、代碼邏輯的錯位，這種都是零容忍的，一旦發生了這樣的事情，對整個自動駕駛系統來說是非常嚴重的事故，是有可能影響到安全性的，對於 Pony.ai 自動駕駛系統技術的發展來說，安全永遠是我們的第一位，所以所有影響安全性的事情，我們都是零容忍的，同時他也會影響車隊運營的效率；所以我們還需要系統監控與異常報警，一旦系統出現任何問題，我們需要及時提醒安全員，做出車輛接管的操作。
② 高性能：滿足模塊間通信的海量數據壓力，同時實現低延遲。
③ 靈活性：支持多種不同類型的計算資源的接入，以及不同類型模塊的接入，需要有靈活的系統來支持計算資源的高速迭代。
車載系統的實踐：
可靠性：
① 代碼質量要求高：對於可靠性來說我們有非常嚴格的 code review 和 unit test，相信這是在國內互聯網公司不太容易見到的一件事情，雖然會非常耗時，但是對可靠性的提升是有非常大的幫助的。
② 合理使用工具幫助發現問題：同時我們也會使用非常多的工具，如靜態分析、ASAN 等等，來做離線的分析，來保證系統的可靠性。
③ 多重系統可靠性檢查：包括系統啟動前校驗，系統運行時實時監控，系統運行后數據分析等。
④ 這是我們的持續集成與發布的平台：對於每一次代碼的修改，我們都會進行仿真測試；然後對於研發的迭代，我們每周會有 Release 版本的更新，保障版本的穩定性，同時，剛剛我們整個測試包括封閉，半封閉，高峰期的測試，整個測試流程怎麼持續集成與發布，也是保證系統可靠性的一種方法。
高性能：
① 合理的架構避免大數據拷貝等嚴重影響性能的邏輯。
② 依據模塊邏輯分配合適的計算資源，如內存、CPU、GPU 等。
③ 定期對整個系統 Profile 分析系統的性能瓶頸。
靈活性：
① 定義足夠通用的模塊公共接口。
② 定義足夠通用的消息通信接口。
為什麼需要仿真系統？因為仿真系統可以使得我們車還沒有上路的時候，就已經做了大規模的自動駕駛測試，無需路測和人力接入就可以評價系統的性能變化；由於沒有進行路測，不會引起路面事故；同時，仿真系統還提供了基於數據驅動快速迭代算法的可行性，新的算法可以先在仿真平台上做驗證，一些具體的指標和測試的信息都會在仿真平台上有所體現。
仿真系統數據的倆個不同來源：
① 支持真實路測收集的場景，我們的路測數據非常的多，數據回來之後，通過 Data Pipeline 自動更新這些有意義和有意思的場景，我們會根據當時的場景改動相應的模塊，然後會在仿真系統重跑當時的場景，來判斷新的方法是否 work；
② 支持人工和隨機生成的場景，這樣的一些仿真的場景，也是非常的重要的，因為雖然我們在做大規模的路測，但是不代表可以遇到所有的場景，很多場景無法在路測中收集到，這就需要我們通過人工去創造這樣的場景出來，給我們的系統一些樣本，來學習如何處理這樣的場景，保證我們新的 feature 在這樣的場景不會出現問題。
仿真平台的挑戰與實踐：
① 仿真結果的可靠性：首先仿真的結果必須是可靠的，如果不可靠，用它檢測出來的結果是沒有任何的意義的。整個仿真是在服務端模擬車載環境跑的，同時在服務端構建車輛動力學模型，保證測試的數據足夠可靠。
② 仿真數據的選擇與管理：當然我們會選擇合適的路測數據來幫助算法的迭代（這裏的選擇不是人工的選擇，是全自動化的選擇，幫我們在茫茫數據中挑選出有意義的數據）；另外，我們還會規範的依據類別管理大規模的仿真數據，比如感知模塊的一些改動，到底需要測試哪些數據，才會更加的體現這個改動帶來多少影響，這裏我們會有內部的一個分類，我們不會對所有的數據進行無差別的仿真（這樣做意義不大）。
③ 仿真系統的性能：我們將整個仿真系統并行部署在分佈式計算平台中，這才可能滿足我們單天 30W 公里以上的仿真測試，並且這個數據還在不斷增長。
數據基礎架構：
數據是自動駕駛技術進步的核心驅動力，沒有數據，我們就看不到現在如此多的測試車輛在進行路測，數據本身有幾個重要的點：
① 如何存儲海量的數據，如何支持快速的訪問。
② 如何進行數據處理。
③ 如何進行數據同步，如何把不同區域、路測數據、車載數據同步到數據集中，如何讓不同辦公區的工程師都可以使用這些數據，對數據同步來說是一個很大的挑戰。
核心挑戰：
① 數據量大：我們有 PB 級別的數據，這裏只是以攝像頭為例，還包括其他傳感器數據，以及系統運作的中間數據等等。
② 數據屬性不同於互聯網數據：我們的數據由客戶端產生，有大量的傳感器數據、大量的模塊運行日誌，這與互聯網數據有本質的區別，所以對整個數據架構的要求也是不一樣的。
數據存儲的挑戰：
① 依據特定的使用場景設計合理的存儲格式的設計：以便於車載系統記錄、大規模數據分析（數據回來之後，需要有方法進行分析，找出有意義的數據）、部分數據訪問、文件系統存儲（如何高效的利用文件系統）等。
② 選擇合適的存儲系統：
針對冷/熱數據選擇不同方案
選擇高可用的存儲系統
選擇易於水平擴展，因為車輛規模是不停的在變大的，運營時間越來越長，數據的增長速度是遠超想象的，所以需要易於水平擴展的存儲系統。
控製成本，不能用過於昂貴的設備。
數據處理可以幫助收集性能指標，有 MPI（平均每次接管所需里程）、模塊運行效率、乘客舒適度體驗等，還有就是路測有趣場景的挖掘，如接管、急剎、感知算法識別、不合理的變道策略等用於模型訓練和仿真。
數據處理的挑戰：
① 減小數據採集到處理的全流程時間：如何以最快的速度把數據從車傳到中間處理系統，Data Pipeline 運行完之後，上傳到數據中心，這裏面我們做了非常多的工作。
② 依據不同類型數據處理任務選擇合適的處理系統：計算量要求比較高的我們選擇 CPU 密集型系統來處理；更多的會是車載的數據，我們會選擇 IO 密集型系統進行處理。
③ 通用的任務定義以支持靈活的添加新任務：幫我們檢測出來更多有意義的數據。
車隊運營基礎平台：
我們有一個 Pony Pilot 項目，在我們廣州所有的內部員工都可以使用，同時在北京和美國加州，也有同樣的服務已經上線，那麼支持這樣的服務，我們需要做哪些事情：
Fleet Control Center，車隊控制中心
Pony Pilot APP
Onboard system
各種各樣的 webapp，幫助我們觀察整個車隊的運營情況，幫助管理測試的車輛和人員。
車隊運營基礎平台的挑戰：
需要支持複雜需求變化的 web 框架，同時我們有大量的 web service 的部署與管理，這都需要我們去完善 web 服務通用組件，例如部署工具、日誌記錄平台隨時排查問題、監控平台保證所有 service 平台的高可容性。
容器與服務調度平台：
通過 Kubernetes 來幫我們做各種各樣的服務調度和集群支持。
可視化平台：
① 目標：方便人類理解無人車系統看到的世界
② 挑戰：首先，需要足夠的靈活，易於適配不同需求的工具；其次，需要有高性能的現實，如 3D 實時渲染的高效實現；最後，支持跨平台的可視化框架，如桌面系統、移動系統、Web 等多平台。
人機接口：
方便乘客使用的用戶界面，同時可以看到自動駕駛是如何了解世界，如何做決策，如何規劃之後的行為等等，給乘客更多的信息和信任。
總結：
① Pony.ai 的基礎架構工作包括：
傳統互聯網公司所需要解決的基礎架構挑戰。
自動駕駛技術特定的基礎架構挑戰。
② 在這裏工作你可以：
接觸自動駕駛系統的各個方面。
設計並實現滿足通用需求的單機和分佈式系統。
系統的保障自動駕駛技術的持續進步。
這是一個非常有意思的 team，裏面有很多有意思的工作，非常歡迎大家與我們一起來工作，推動整個自動駕駛的發展，謝謝大家！
歡迎關注DataFunTalk同名公眾號，收看第一手原創技術文章。
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】
※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包”嚨底家”
※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線
※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整
※小三通海運與一般國際貿易有何不同?
※小三通快遞通關作業有哪些?
