近日，谷歌人工智能學(xué)者Denny Britz發(fā)表了一篇文章《Building AI Trading Systems》，對(duì)其使用強(qiáng)化學(xué)習(xí)技術(shù)，學(xué)習(xí)如何構(gòu)建有利可圖的算法交易系統(tǒng)的經(jīng)驗(yàn)進(jìn)行了總結(jié)。

Denny表示，人工智能的優(yōu)勢(shì)顯而易見(jiàn)，但是也不能忽視良好的基礎(chǔ)設(shè)施：市場(chǎng)、數(shù)據(jù)、延遲、模型、執(zhí)行，必不可少；同時(shí)，強(qiáng)化學(xué)習(xí)比監(jiān)督學(xué)習(xí)難度要小些。

原文如下：

人工智能已經(jīng)相當(dāng)商品化了，它比優(yōu)秀的基礎(chǔ)設(shè)施工程、數(shù)據(jù)收集或領(lǐng)域知識(shí)的歸納偏差更商品化。現(xiàn)在，你可以輕松下載最先進(jìn)的模型，并在你的數(shù)據(jù)上運(yùn)行它們。除非你處于相關(guān)研究的前沿，否則不太可能僅僅通過(guò)訓(xùn)練一個(gè)好的模型就獲得顯著優(yōu)勢(shì)。

當(dāng)人們意識(shí)到他們的花哨的人工智能模型是建立在蹩腳的基礎(chǔ)設(shè)施上，用蹩腳的數(shù)據(jù)（同時(shí)也被其他人使用）訓(xùn)練不起作用時(shí)，他們就會(huì)放棄。

人工智能可以給你一些優(yōu)勢(shì)，但這些優(yōu)勢(shì)沒(méi)有好到讓你忽略其他因素。你仍然需要構(gòu)建良好的基礎(chǔ)設(shè)施、獲取良好的數(shù)據(jù)、適當(dāng)?shù)难舆t等等。

很少有人愿意花時(shí)間在這些事情上。每一個(gè)因素都是乘數(shù)，如果某一個(gè)因素為零，那你的AI模型多好都沒(méi)有用。

那么，其他的因素是什么呢？

市場(chǎng)——選擇正確的市場(chǎng)進(jìn)行交易。不要隨大流，選擇每個(gè)人都默認(rèn)選擇的。從法律上和技術(shù)上進(jìn)入市場(chǎng)越難，發(fā)現(xiàn)機(jī)會(huì)的可能性就越大。流動(dòng)性較弱的市場(chǎng)可能無(wú)法被成熟的基金所忽視，因?yàn)樗鼈儫o(wú)法適應(yīng)其資產(chǎn)管理規(guī)模。同樣，這對(duì)于追求“優(yōu)質(zhì)API”的工程師通常是違反直覺(jué)的——優(yōu)質(zhì)API通常意味著受歡迎，流行通常意味著商品化。

數(shù)據(jù)——考慮其他人無(wú)法訪問(wèn)或不愿使用的數(shù)據(jù)源。例如，由于復(fù)雜的速率限制和IP禁令，可能存在難以抓取的數(shù)據(jù)。大多數(shù)人會(huì)在這里放棄，但這是你的一個(gè)機(jī)會(huì)，要對(duì)流行的API和開(kāi)源軟件持懷疑態(tài)度，所有人使用的數(shù)據(jù)都是一樣的。

延遲——你可能不打算與HFT交易員競(jìng)爭(zhēng)，但這并不意味著你可以完全忽略延遲。好的延遲能使執(zhí)行更容易以及更少的滑點(diǎn)。要注意在何處托管系統(tǒng)、如何發(fā)送數(shù)據(jù)、如何序列化數(shù)據(jù)等等。

模型——一般來(lái)說(shuō)，好的數(shù)據(jù)比好的模型更重要，但是更好的模型也能給你帶來(lái)優(yōu)勢(shì)。注意，你經(jīng)常在模型復(fù)雜性和延遲之間進(jìn)行權(quán)衡。

執(zhí)行力——如果不能執(zhí)行，好的模型就沒(méi)有多大意義。你收集的歷史數(shù)據(jù)可能和交易所實(shí)際發(fā)生的情況看起來(lái)很不一樣，直到開(kāi)始交易，你才會(huì)知道實(shí)際發(fā)生的情況。

強(qiáng)化學(xué)習(xí)

在上一篇文章發(fā)表兩年之后，我還認(rèn)為強(qiáng)化學(xué)習(xí)是市場(chǎng)交易的正確方法。然而，我承認(rèn)，在工作時(shí)很多技巧工也是必要的。

強(qiáng)化學(xué)習(xí)的主要好處是您不需要設(shè)置可區(qū)分的損失函數(shù)。相反，你可以在某個(gè)時(shí)間范圍內(nèi)直接優(yōu)化盈虧。通過(guò)建立良好的仿真，模型可以學(xué)習(xí)到對(duì)延遲、抖動(dòng)、滑點(diǎn)以及實(shí)際市場(chǎng)中可能發(fā)生的其他情況的魯棒性。

在監(jiān)督學(xué)習(xí)中，這就困難多了。你需要獲得許多超參數(shù)才能得到“剛剛好”——什么時(shí)間范圍優(yōu)化？要優(yōu)化什么？如何處理由于延遲、被拒絕的訂單、API問(wèn)題等引起的隨機(jī)情況？如何處理非iid數(shù)據(jù)等等。

我相信如果你努力的話(huà)可以做到，但是依靠基于仿真的方法似乎是更有原則的解決方案。

我也相信市場(chǎng)模擬是一個(gè)很好的強(qiáng)化學(xué)習(xí)算法的測(cè)試平臺(tái)。它有著今天許多技術(shù)都難以克服的特性：

稀疏的積極反饋。在隨機(jī)探索和獎(jiǎng)勵(lì)的情況下，你很難發(fā)現(xiàn)發(fā)現(xiàn)好的政策。

需要?dú)w納到未來(lái)的日期。在RL中，研究者“對(duì)訓(xùn)練集進(jìn)行測(cè)試”時(shí)，往往忽略了泛化。

有了一個(gè)好的模擬器，環(huán)境就可以以延遲、抖動(dòng)、API問(wèn)題、滑點(diǎn)等形式提供許多隨機(jī)性。

非平穩(wěn)性。市場(chǎng)數(shù)據(jù)分布隨時(shí)間變化，agent必須學(xué)會(huì)處理它。

觀察到的低信噪比。

優(yōu)化迭代速度

由于其他agent會(huì)適應(yīng)你的策略，因此大多數(shù)效率低下的問(wèn)題都會(huì)轉(zhuǎn)瞬即逝，這些問(wèn)題會(huì)根據(jù)你交易的地點(diǎn)和方式，可能持續(xù)幾毫秒、幾秒、幾分鐘、幾小時(shí)、幾天、幾周或幾個(gè)月。

持續(xù)盈利的方法就是始終善于發(fā)現(xiàn)稍縱即逝的機(jī)會(huì)。這基本上就是元學(xué)習(xí)。

訓(xùn)練模型時(shí)優(yōu)化外循環(huán)速度，在發(fā)現(xiàn)新策略和調(diào)整模型和基礎(chǔ)設(shè)施方面，迭代的速度越快，效果就越好。圍繞這一點(diǎn)構(gòu)建基礎(chǔ)設(shè)施。

查詢(xún)和加載批量歷史數(shù)據(jù)來(lái)處理要盡可能快一點(diǎn)。要特別注意反序列化的成本。在使用匹配引擎構(gòu)建市場(chǎng)模擬器時(shí)，要對(duì)其進(jìn)行廣泛的基準(zhǔn)測(cè)試。

最小化RPC和網(wǎng)絡(luò)往返。我們這里討論的是數(shù)量級(jí)。我最近的一個(gè)模擬器比第一個(gè)模擬器快了約50倍。

由于模型是在仿真中訓(xùn)練的，這意味著在訓(xùn)練時(shí)迭代速度快了50倍。

自動(dòng)化數(shù)據(jù)可視化，這樣當(dāng)您得到意想不到的結(jié)果時(shí)，就可以很容易地查看它們。

當(dāng)市場(chǎng)下跌時(shí)你無(wú)法賺錢(qián)

我從不太了解交易的人那里聽(tīng)到一個(gè)常見(jiàn)的論點(diǎn)和誤解——我很幸運(yùn)，因?yàn)槭袌?chǎng)上漲而獲利。

實(shí)際上，好幾個(gè)月以來(lái)，我的PnL圖表看起來(lái)是這樣的：

那么，我是否只是做空資產(chǎn)？不，我沒(méi)有做空任何事情，因?yàn)樵谖宜灰椎氖袌?chǎng)中不可能做空。市場(chǎng)很少會(huì)一直下跌。當(dāng)人們說(shuō)市場(chǎng)下跌時(shí)，他們說(shuō)的是一個(gè)特定的時(shí)間范圍。市場(chǎng)可能在每日或每小時(shí)的范圍內(nèi)上呈下降趨勢(shì)。

這并不意味著在更短的時(shí)間尺度上只有向下的運(yùn)動(dòng)。它可能會(huì)有相當(dāng)大的波動(dòng)。一旦你開(kāi)始放大到秒和毫秒，總是會(huì)有上升和下降，仍然有可能從中獲利，而無(wú)需做空任何東西。

就個(gè)人而言，在下降趨勢(shì)（按小時(shí)或每天的比例）期間，我總是賺得更多。我仍然不知道為什么會(huì)這樣?？赡苁且?yàn)槭袌?chǎng)那邊有更多的流動(dòng)性，或者是因?yàn)楫?dāng)價(jià)格開(kāi)始下跌時(shí)，有很多不知情的交易員提交幼稚的指令進(jìn)入市場(chǎng)。

了解交易

如果向來(lái)自不同背景的十幾個(gè)交易員提出相同的問(wèn)題，那你會(huì)得到十幾個(gè)不同的意見(jiàn)。

請(qǐng)注意，我使用的是“意見(jiàn)”一詞，而不是答案或事實(shí)。由于交易是一個(gè)秘密領(lǐng)域，因此很少有被廣泛接受的真理。

人們沒(méi)有相同的背景知識(shí)，他們?cè)诓煌牡胤绞褂貌煌男g(shù)語(yǔ)。如果你想學(xué)習(xí)交易，這很難。我不知道有什么在線資源能很好地教授算法交易。

你在網(wǎng)上找到的大多數(shù)課程和教程都是大師們寫(xiě)的——他們通過(guò)教學(xué)賺錢(qián)，但自己從來(lái)沒(méi)有建立過(guò)一個(gè)盈利的系統(tǒng)。他們可能會(huì)向你推銷(xiāo)他們的SaaS產(chǎn)品。

研究論文也是如此。我訂閱了arXiv的q-fin，但與機(jī)器學(xué)習(xí)等領(lǐng)域相比，其質(zhì)量比較低。偶爾也會(huì)有一些有趣的點(diǎn)子，但絕大多數(shù)都是人們?yōu)榱苏夜ぷ骱桶岩恍〇|西寫(xiě)進(jìn)簡(jiǎn)歷而做的實(shí)驗(yàn)——這些想法在現(xiàn)實(shí)世界中都站不住腳。

顯然，運(yùn)行一個(gè)盈利系統(tǒng)的人是不會(huì)發(fā)表與它有關(guān)的論文?！督灰着c交易所：從業(yè)者的市場(chǎng)微觀結(jié)構(gòu)》（Trading and Exchanges： Market微觀結(jié)構(gòu)）和《金融機(jī)器學(xué)習(xí)的進(jìn)步》（Advances in Financial Machine Learning）等書(shū)是一個(gè)不錯(cuò)的起點(diǎn)，但我的經(jīng)驗(yàn)是，沒(méi)有什么比邊做邊學(xué)或找導(dǎo)師更好的了。