在當(dāng)今的時代背景下，隨著技術(shù)的發(fā)展，汽車公司不斷的推出輔助駕駛和自動駕駛技術(shù)。與此同時美國已有29個州頒布了與自動駕駛車輛相關(guān)的立法，新興的智能車輛時代已經(jīng)來臨。而如何管理無人車輛和愈加復(fù)雜的道路交通，逐漸成為擺在人們面前的一個重大課題。

加州大學(xué)伯克利分校的交通研究人員正在使用機(jī)器學(xué)習(xí)的方法來管理自動、半自動和有人類駕駛車輛共享道路的交通。在這個月于瑞士蘇黎世舉辦的CoRL 2018機(jī)器人學(xué)習(xí)會議上，伯克利分校的研究者們首次提出了解決實際交通問題的標(biāo)準(zhǔn)，并將緩解舊金山 - 奧克蘭灣大橋的交通流量瓶頸問題作為實際應(yīng)用，并且將該項目命名為Flow。

曾經(jīng)用于解決智能車輛集成問題的傳統(tǒng)方法為：使用手動派生算法來設(shè)計控制模型。現(xiàn)在，通過引入基于機(jī)器學(xué)習(xí)的控制方法，可以提供具有低能耗高性能的新型流量管理解決方案，其在計算準(zhǔn)確率與計算速度方面的優(yōu)勢遠(yuǎn)高于手動派生算法。

“Flow”項目通過使用人工智能的方法，實現(xiàn)大規(guī)模、多車輛協(xié)同工作的情景模擬，它還是一個基于云的開源系統(tǒng)，因此開發(fā)者們可以繼續(xù)以此為基礎(chǔ)進(jìn)行二次開發(fā)。該系統(tǒng)使用來自附近智能車輛或基礎(chǔ)設(shè)施的數(shù)據(jù)來管理交通運(yùn)輸中的汽車，從而實現(xiàn)大規(guī)模道路交通管理。例如，為了防止道路中由于出現(xiàn)交通流量瓶頸而造成的擁堵問題，自動駕駛汽車可以利用其速度和位置信息來規(guī)劃附近車輛合理的車道合并算法，避免人為的車輛減速或者因為合流而造成的擁堵。

Flow利用深度強(qiáng)化學(xué)習(xí)，從經(jīng)驗中不斷總結(jié)和迭代，提升解決方案的性能。包括機(jī)器人控制、游戲策略在內(nèi)的多種應(yīng)用程序都在使用深度強(qiáng)化學(xué)習(xí)來提升模型性能，但這是第一次與流量模擬工具集成。下圖所示為Flow項目的組成圖和訓(xùn)練與評估過程流程圖。

交通管理方面的專業(yè)人士認(rèn)為：“我們需要一個更精密的交通管理系統(tǒng)，還需要考慮如何使用這些自動駕駛汽車作為交通控制的一部分，即使有4％或5％的車輛可以實現(xiàn)這種功能，其所帶來的便利性也是不可估量的?！?/p>

建立可比性的評價框架

要想建立一個公平的具有可比性的框架，首先要解決怎么比對的問題：“除非我們處理同樣的問題，否則很難比較結(jié)果。需要明確目標(biāo)對象是紐約高速公路還是加州高速公路？ 一組20輛車還是50輛？ 你需要進(jìn)行一對一的比較，以了解哪種解決方案更好?！?/p>

研究人員認(rèn)為，可以將這些解決方案成變?yōu)闃?biāo)準(zhǔn)案例庫，以便后期的參照和比較。同時Vanderbilt大學(xué)土木與環(huán)境工程副教授表示，提供代碼至關(guān)重要，在交通運(yùn)輸界，我們可以使用這些基準(zhǔn)來比較和競爭，并且可以達(dá)到重現(xiàn)結(jié)果的標(biāo)準(zhǔn)。

標(biāo)準(zhǔn)化基準(zhǔn)測試已經(jīng)存在于其他深度強(qiáng)化學(xué)習(xí)應(yīng)用中，包括自然語言處理和機(jī)器人技術(shù)。 但對于交通管理至今還未有廣為認(rèn)可的標(biāo)準(zhǔn)。來自Bayen實驗室的早期論文將Flow作為一個交通仿真平臺，然后使用簡單的場景建立了初步基準(zhǔn)，例如汽車駕駛成環(huán)狀或八字形。

對于Flow項目：研究者們指定了非常詳細(xì)的應(yīng)用場景 ：工程師可以用來解決常見類型的標(biāo)準(zhǔn)“任務(wù)”。 項目中提出了一個典型的交通流量瓶頸模型：舊金山 - 奧克蘭海灣大橋的車道變窄問題 ，項目的目標(biāo)是最大限度地從橋上流出汽車。具體來看，這一項目已經(jīng)有了很多的框架和細(xì)節(jié): 研究人員可以定義每個車道的交通量，車輛位置和速度 ，以此作為基準(zhǔn)案例，任何人都可以提出解決方案，并且有一個比較這些解決方案的標(biāo)準(zhǔn)。該研究的其他基準(zhǔn)包括入口匝道合并和曼哈頓交通信號燈模型。

下圖為舊金山 - 奧克蘭灣大橋上的交通流量瓶頸問題示意圖，其描述了車道從四個合并到二個，再到一個的過程。研究人眼證明了人工智能算法能夠?qū)W習(xí)出一種合理的策略，使得在維持穩(wěn)定的高流入的過程中，保證有效的流出量。下圖左方曲線顯示了強(qiáng)化學(xué)習(xí)后的結(jié)果是：在高流入時，流出量提高了25％；通過右方曲線可以發(fā)現(xiàn)：通過比較人工智能控制方法與與匝道測量的流入流出曲線，在高流入時，它們的表現(xiàn)相當(dāng)。

研究人員們希望日后能夠解決更加復(fù)雜的場景問題，同時，他們也希望社區(qū)和外部參與者可以積極參與項目不斷提高模型表現(xiàn)。該研究的最終目標(biāo)是系統(tǒng)在全市范圍內(nèi)管理交通，結(jié)合豐富的人類駕駛資源，同時充分利用為數(shù)不多但總量在不斷增長的智能車輛在路上的優(yōu)勢。

未來，研究人員還會研究這種技術(shù)方法的潛在缺點和意外后果。例如，如果交通平滑效果很好，旅行時間的改善可能會吸引更多的司機(jī)上路，但會破壞短期收益以及減少溫室氣體排放和能源消耗的更大目標(biāo)?；旌献灾谓煌ㄊ侵鸩綄崿F(xiàn)自動駕駛汽車整合的必由之路。通過這些先進(jìn)的技術(shù)我們可以提前模擬未來，并及時制定積極的應(yīng)對策略。