AutoML 是當(dāng)前深度學(xué)習(xí)領(lǐng)域的熱門話題。只需要很少的工作，AutoML 就能通過(guò)快速有效的方式，為你的 ML 任務(wù)構(gòu)建好網(wǎng)絡(luò)模型，并實(shí)現(xiàn)高準(zhǔn)確率。簡(jiǎn)單有效！數(shù)據(jù)預(yù)處理、特征工程、特征提取和特征選擇等任務(wù)皆可通過(guò) AutoML 自動(dòng)構(gòu)建。

自動(dòng)機(jī)器學(xué)習(xí)（Automated Machine Learning， AutoML）是一個(gè)新興的領(lǐng)域，在這個(gè)領(lǐng)域中，建立機(jī)器學(xué)習(xí)模型來(lái)建模數(shù)據(jù)的過(guò)程是自動(dòng)化的。AutoML 使得建模更容易，并且每個(gè)人都更容易掌握。

在本文中，作者詳細(xì)介紹了四種自動(dòng)化的 ML 工具包，分別是 auto-sklearn、TPOT、HyperOpt 以及 AutoKeras。如果你對(duì) AutoML 感興趣，這四個(gè) Python 庫(kù)是最好的選擇。作者還在文章結(jié)尾文章對(duì)這四個(gè)工具包進(jìn)行了比較。

auto-sklearn

auto-sklearn 是一個(gè)自動(dòng)機(jī)器學(xué)習(xí)工具包，它與標(biāo)準(zhǔn) sklearn 接口無(wú)縫集成，因此社區(qū)中很多人都很熟悉該工具。通過(guò)使用最近的一些方法，比如貝葉斯優(yōu)化，該庫(kù)被用來(lái)導(dǎo)航模型的可能空間，并學(xué)習(xí)推理特定配置是否能很好地完成給定任務(wù)。

該庫(kù)由 Matthias Feurer 等人提出，技術(shù)細(xì)節(jié)請(qǐng)查閱論文《Efficient and Robust Machine Learning》。Feurer 在這篇論文中寫(xiě)道：

我們提出了一個(gè)新的、基于 scikit-learn 的魯棒 AutoML 系統(tǒng)，其中使用 15 個(gè)分類器、14 種特征預(yù)處理方法和 4 種數(shù)據(jù)預(yù)處理方法，生成了一個(gè)具有 110 個(gè)超參數(shù)的結(jié)構(gòu)化假設(shè)空間。

auto-sklearn 可能最適合剛接觸 AutoML 的用戶。除了發(fā)現(xiàn)數(shù)據(jù)集的數(shù)據(jù)準(zhǔn)備和模型選擇之外，該庫(kù)還可以從在類似數(shù)據(jù)集上表現(xiàn)良好的模型中學(xué)習(xí)。表現(xiàn)最好的模型聚集在一個(gè)集合中。

圖源：《Efficient and Robust Automated Machine Learning》

在高效實(shí)現(xiàn)方面，auto-sklearn 需要的用戶交互最少。使用 pip install auto-sklearn 即可安裝庫(kù)。

該庫(kù)可以使用的兩個(gè)主要類是 AutoSklearnClassifier 和 AutoSklearnRegressor，它們分別用來(lái)做分類和回歸任務(wù)。兩者具有相同的用戶指定參數(shù)，其中最重要的是時(shí)間約束和集合大小。

更多 AutoSklearn 相關(guān)文檔請(qǐng)查閱：https://automl.github.io/auto-sklearn/master/。

TPOT

TPOT 是另一種基于 Python 的自動(dòng)機(jī)器學(xué)習(xí)開(kāi)發(fā)工具，該工具更關(guān)注數(shù)據(jù)準(zhǔn)備、建模算法和模型超參數(shù)。它通過(guò)一種基于進(jìn)化樹(shù)的結(jié)，即自動(dòng)設(shè)計(jì)和優(yōu)化機(jī)器學(xué)習(xí) pipelie 的樹(shù)表示工作流優(yōu)化（Tree-based Pipeline Optimization Tool， TPOT），從而實(shí)現(xiàn)特征選擇、預(yù)處理和構(gòu)建的自動(dòng)化。

圖源：《Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science》 。

程序或 pipeline 用樹(shù)表示。遺傳編程（Genetic Program， GP）選擇并演化某些程序，以最大化每個(gè)自動(dòng)化機(jī)器學(xué)習(xí)管道的最終結(jié)果。

正如 Pedro Domingos 所說(shuō)，「數(shù)據(jù)量大的愚蠢算法勝過(guò)數(shù)據(jù)有限的聰明算法」。事實(shí)就是這樣：TPOT 可以生成復(fù)雜的數(shù)據(jù)預(yù)處理 pipeline。

潛在的 pipelie（圖源：TPOT 文檔）。

TPOT pipeline 優(yōu)化器可能需要幾個(gè)小時(shí)才能產(chǎn)生很好的結(jié)果，就像很多 AutoML 算法一樣（除非數(shù)據(jù)集很小）。用戶可以在 Kaggle commits 或 Google Colab 中運(yùn)行這些耗時(shí)的程序。

也許 TPOT 最好的特性是它將模型導(dǎo)出為 Python 代碼文件，后續(xù)可以使用它。具體文檔和教程示例參見(jiàn)以下兩個(gè)鏈接：

TPOT 文檔地址：https://epistasislab.github.io/tpot/。

TPOT 的教程示例地址：https://epistasislab.github.io/tpot/examples/

HyperOpt

HyperOpt 是一個(gè)用于貝葉斯優(yōu)化的 Python 庫(kù)，由 James Bergstra 開(kāi)發(fā)。該庫(kù)專為大規(guī)模優(yōu)化具有數(shù)百個(gè)參數(shù)的模型而設(shè)計(jì)，顯式地用于優(yōu)化機(jī)器學(xué)習(xí) pipeline，并可選擇在多個(gè)核心和機(jī)器上擴(kuò)展優(yōu)化過(guò)程。

但是，HyperOpt 很難直接使用，因?yàn)樗浅＞哂屑夹g(shù)性，需要仔細(xì)指定優(yōu)化程序和參數(shù)。相反，作者建議使用 HyperOpt-sklearn，這是一個(gè)融合了 sklearn 庫(kù)的 HyperOpt 包裝器。

具體來(lái)說(shuō)，HyperOpt 雖然支持預(yù)處理，但非常關(guān)注進(jìn)入特定模型的幾十個(gè)超參數(shù)。就一次 HyperOpt sklearn 搜索的結(jié)果來(lái)說(shuō)，它生成了一個(gè)沒(méi)有預(yù)處理的梯度提升分類器：

如何構(gòu)建 HyperOpt-sklearn 模型可以查看源文檔。它比 auto-sklearn 復(fù)雜得多，也比 TPOT 復(fù)雜一點(diǎn)。但是如果超參數(shù)很重要的話，它可能是值得的。

文檔地址：http://hyperopt.github.io/hyperopt-sklearn/

AutoKeras

與標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)庫(kù)相比，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)功能更強(qiáng)大，因此更難實(shí)現(xiàn)自動(dòng)化。AutoKeras 庫(kù)有哪些功效呢？具體如下：

通過(guò) AutoKeras，神經(jīng)框架搜索算法可以找到最佳架構(gòu)，如單個(gè)網(wǎng)絡(luò)層中的神經(jīng)元數(shù)量、層數(shù)量、要合并的層、以及濾波器大小或 Dropout 中丟失神經(jīng)元百分比等特定于層的參數(shù)。一旦搜索完成，用戶可以將其作為普通的 TF/Keras 模型使用；

通過(guò) AutoKeras，用戶可以構(gòu)建一個(gè)包含嵌入和空間縮減等復(fù)雜元素的模型，這些元素對(duì)于學(xué)習(xí)深度學(xué)習(xí)過(guò)程中的人來(lái)說(shuō)是不太容易訪問(wèn)的；

當(dāng)使用 AutoKeras 創(chuàng)建模型時(shí)，向量化或清除文本數(shù)據(jù)等許多預(yù)處理操作都能完成并進(jìn)行優(yōu)化；

初始化和訓(xùn)練一次搜索需要兩行代碼。AutoKeras 擁有一個(gè)類似于 keras 的界面，所以它并不難記憶和使用。

AutoKeras 支持文本、圖像和結(jié)構(gòu)化數(shù)據(jù)，為初學(xué)者和尋求更多參與技術(shù)知識(shí)的人提供界面。AutoKeras 使用進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法來(lái)減輕研究人員的繁重和模棱兩可的工作。

盡管 AutoKeras 的運(yùn)行需要很長(zhǎng)時(shí)間，但用戶可以指定參數(shù)來(lái)控制運(yùn)行時(shí)間、探索模型的數(shù)量以及搜索空間大小等。

AutoKeras 的相關(guān)內(nèi)容參閱以下兩個(gè)鏈接：

文檔地址：https://autokeras.com/

教程地址：https://towardsdatascience.com/automl-creating-top-performing-neural-networks-without-defining-architecture-c7d3b08cddc

四個(gè)庫(kù)各有特色，應(yīng)該選哪個(gè)？

用戶可以根據(jù)自己的需求選擇合適的 Python 庫(kù)，作者給出了以下幾個(gè)建議：

如果你的首要任務(wù)是獲取一個(gè)干凈、簡(jiǎn)單的界面和相對(duì)快速的結(jié)果，選擇 auto-sklearn。另外：該庫(kù)與 sklearn 自然集成，可以使用常用的模型和方法，能很好地控制時(shí)間；

如果你的首要任務(wù)是實(shí)現(xiàn)高準(zhǔn)確率，并且不需要考慮長(zhǎng)時(shí)間的訓(xùn)練，則使用 TPOT。額外收獲：為最佳模型輸出 Python 代碼；

如果你的首要任務(wù)是實(shí)現(xiàn)高準(zhǔn)確率，依然不需要考慮長(zhǎng)時(shí)間的訓(xùn)練，也可選擇使用 HyperOpt-sklearn。該庫(kù)強(qiáng)調(diào)模型的超參數(shù)優(yōu)化，是否富有成效取決于數(shù)據(jù)集和算法；

如果你需要神經(jīng)網(wǎng)絡(luò)（警告：不要高估它們的能力），就使用 AutoKeras，尤其是以文本或圖像形式出現(xiàn)時(shí)。訓(xùn)練確實(shí)需要很長(zhǎng)時(shí)間，但有很多措施可以控制時(shí)間和搜索空間大小。
責(zé)編AJX