無論你是剛?cè)腴T還是已經(jīng)從事人工智能模型相關(guān)工作一段時(shí)間，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中都存在一些我們需要時(shí)刻關(guān)注并銘記的常見錯(cuò)誤。如果對(duì)這些錯(cuò)誤置之不理，日后可能會(huì)引發(fā)諸多麻煩！只要我們密切關(guān)注數(shù)據(jù)、模型架構(gòu)，并驗(yàn)證輸出結(jié)果，就能不斷提升專業(yè)技能，養(yǎng)成優(yōu)秀數(shù)據(jù)科學(xué)家的工作習(xí)慣。

需避免的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)數(shù)據(jù)錯(cuò)誤

在訓(xùn)練數(shù)據(jù)驅(qū)動(dòng)的人工智能模型時(shí)，我們會(huì)遇到一些常見錯(cuò)誤和局限性。而在運(yùn)行模型之前，準(zhǔn)備數(shù)據(jù)集的重要性不言而喻，這是構(gòu)建高效模型的關(guān)鍵。訓(xùn)練人工智能模型時(shí)，80% 的工作都集中在數(shù)據(jù)準(zhǔn)備上，包括數(shù)據(jù)收集、清理和預(yù)處理，剩下的 20% 則用于模型選擇、訓(xùn)練、調(diào)優(yōu)和評(píng)估。

1. 使用低質(zhì)量數(shù)據(jù)

低質(zhì)量數(shù)據(jù)可能成為訓(xùn)練人工智能模型（尤其是深度學(xué)習(xí)模型）的重大障礙。數(shù)據(jù)質(zhì)量會(huì)對(duì)模型性能產(chǎn)生關(guān)鍵影響，低質(zhì)量數(shù)據(jù)會(huì)導(dǎo)致模型表現(xiàn)不佳，得出不可靠的結(jié)果。

低質(zhì)量數(shù)據(jù)的常見問題包括：

• 數(shù)據(jù)缺失或不完整：如果數(shù)據(jù)的很大一部分缺失或不完整，將難以訓(xùn)練出準(zhǔn)確且可靠的模型。
• 數(shù)據(jù)存在噪聲：包含大量噪聲的數(shù)據(jù)（如異常值、錯(cuò)誤信息或無關(guān)信息）會(huì)引入偏差，降低整體準(zhǔn)確性，從而對(duì)模型性能產(chǎn)生負(fù)面影響。
• 數(shù)據(jù)缺乏代表性：如果用于訓(xùn)練模型的數(shù)據(jù)無法代表其要解決的問題或執(zhí)行的任務(wù)，模型的表現(xiàn)和泛化能力都會(huì)受到影響。

通過數(shù)據(jù)治理、數(shù)據(jù)整合和數(shù)據(jù)探索等方式仔細(xì)評(píng)估和界定數(shù)據(jù)，確保數(shù)據(jù)高質(zhì)量至關(guān)重要。采取這些步驟后，我們才能獲得清晰可用的數(shù)據(jù)。

2. 忽視極端值（過高或過低）

數(shù)據(jù)相關(guān)的第二個(gè)常見深度學(xué)習(xí)錯(cuò)誤是未能識(shí)別和處理數(shù)據(jù)集中的極端值。切勿忽視這些極端值，它們會(huì)對(duì)深度學(xué)習(xí)模型（尤其是神經(jīng)網(wǎng)絡(luò)）產(chǎn)生重大影響。我們可能會(huì)認(rèn)為應(yīng)保留極端值，因?yàn)樗鼈兡芊从硵?shù)據(jù)的真實(shí)情況，但實(shí)際上極端值往往屬于邊緣案例。若要訓(xùn)練模型實(shí)現(xiàn)任務(wù)泛化，這些極端值會(huì)降低準(zhǔn)確性、引入偏差并增加方差。

有時(shí)極端值只是數(shù)據(jù)噪聲導(dǎo)致的（可采用上一部分提到的方法清理），而有時(shí)它們可能預(yù)示著更嚴(yán)重的問題。如果不密切關(guān)注數(shù)據(jù)中的極端值，它們可能會(huì)極大地影響結(jié)果，導(dǎo)致模型做出錯(cuò)誤預(yù)測。

以下是處理數(shù)據(jù)中極端值的幾種有效方法：

• 采用成熟的統(tǒng)計(jì)方法（如 Z 分?jǐn)?shù)法、假設(shè)檢驗(yàn)等）移除極端值。
• 運(yùn)用 Box-Cox 變換或中值濾波等技術(shù)，通過限制極端值范圍或設(shè)置上限的方式對(duì)其進(jìn)行修正和清理。
• 改用更穩(wěn)健的估計(jì)量（如中值數(shù)據(jù)點(diǎn)或截尾均值）替代常規(guī)均值，以更好地處理極端值。

處理數(shù)據(jù)集中極端值的具體方式，很大程度上取決于所使用的數(shù)據(jù)以及深度學(xué)習(xí)模型的研究類型。但無論如何，都要時(shí)刻關(guān)注極端值并加以考慮，避免犯下這個(gè)常見的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)錯(cuò)誤！

3. 使用過大或過小的數(shù)據(jù)集

數(shù)據(jù)集大小會(huì)對(duì)深度學(xué)習(xí)模型的訓(xùn)練產(chǎn)生重要影響。一般來說，數(shù)據(jù)集越大，模型性能越好。這是因?yàn)楦蟮臄?shù)據(jù)集能讓模型更多地了解數(shù)據(jù)中潛在的模式和關(guān)系，從而更好地泛化到新的、未見過的數(shù)據(jù)上。

但需要注意的是，僅僅擁有大數(shù)據(jù)集是不夠的，數(shù)據(jù)還需具備高質(zhì)量和多樣性才能發(fā)揮作用。如果數(shù)據(jù)量雖大但質(zhì)量低下或缺乏多樣性，模型性能也無法得到提升。此外，數(shù)據(jù)過多也可能引發(fā)問題。

• 過擬合：如果數(shù)據(jù)集過小，模型可能沒有足夠的樣本進(jìn)行學(xué)習(xí)，容易出現(xiàn)過擬合現(xiàn)象。這意味著模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新的、未見過的數(shù)據(jù)上表現(xiàn)糟糕。
• 欠擬合：如果數(shù)據(jù)集過大，模型可能會(huì)過于復(fù)雜，無法學(xué)習(xí)到數(shù)據(jù)中潛在的模式，從而導(dǎo)致欠擬合。此時(shí)模型在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)上的表現(xiàn)都較差。

通常而言，數(shù)據(jù)集需要足夠大，能為模型提供充足的學(xué)習(xí)樣本，但又不能過大，以免造成計(jì)算困難或訓(xùn)練時(shí)間過長，存在一個(gè)最佳平衡點(diǎn)。此外，確保數(shù)據(jù)的多樣性和高質(zhì)量也同樣重要，這樣才能讓數(shù)據(jù)發(fā)揮實(shí)際效用。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中常見的架構(gòu)錯(cuò)誤

在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)工作中，犯錯(cuò)是難免的。但有些容易糾正的錯(cuò)誤，往往會(huì)造成最嚴(yán)重的損失。每個(gè)人工智能項(xiàng)目都應(yīng)根據(jù)具體情況進(jìn)行評(píng)估，以確定合適的架構(gòu)，從而獲得最佳結(jié)果。

有時(shí)只需升級(jí)某些組件即可，但在其他情況下，可能需要重新規(guī)劃，確保所有部分都能合理整合。

4. 使用劣質(zhì)硬件

簡單來說，深度學(xué)習(xí)模型的主要功能是處理海量數(shù)據(jù)。正因?yàn)槿绱?，許多老舊的系統(tǒng)和部件往往無法承受這種壓力，在處理深度學(xué)習(xí)模型所需的龐大數(shù)據(jù)時(shí)會(huì)不堪重負(fù)而出現(xiàn)故障。

使用劣質(zhì)硬件會(huì)因計(jì)算資源、內(nèi)存、并行處理能力和存儲(chǔ)容量有限，影響模型的訓(xùn)練性能。如今已不再是使用數(shù)百個(gè) CPU 的時(shí)代，GPU 計(jì)算在深度學(xué)習(xí)和機(jī)器學(xué)習(xí)中的高效性，讓現(xiàn)代技術(shù)能夠并行處理訓(xùn)練穩(wěn)健模型所需的數(shù)百萬次計(jì)算。

大型人工智能模型（尤其是在處理大型數(shù)據(jù)集時(shí)）的訓(xùn)練也需要大量內(nèi)存。切勿在內(nèi)存上吝嗇，因?yàn)楫?dāng)訓(xùn)練開始后，若出現(xiàn)內(nèi)存不足的錯(cuò)誤，就不得不從頭再來。除了數(shù)據(jù)存儲(chǔ)，還需要充足的空間來存放大型數(shù)據(jù)集。

緩解計(jì)算硬件的這些限制并不復(fù)雜。可以對(duì)數(shù)據(jù)中心進(jìn)行現(xiàn)代化升級(jí)，以應(yīng)對(duì)高強(qiáng)度計(jì)算任務(wù)。也可以利用 HuggingFace 等平臺(tái)提供的預(yù)訓(xùn)練模型，為開發(fā)復(fù)雜模型打下基礎(chǔ)，并對(duì)其進(jìn)行微調(diào)。

5. 集成錯(cuò)誤

當(dāng)一個(gè)組織決定升級(jí)到深度學(xué)習(xí)技術(shù)時(shí)，通常已經(jīng)擁有了想要繼續(xù)使用或重新利用的設(shè)備。然而，將最新的深度學(xué)習(xí)技術(shù)整合到現(xiàn)有的老舊技術(shù)和系統(tǒng)（包括物理系統(tǒng)和數(shù)據(jù)系統(tǒng)）中，是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

要制定最佳的集成策略，需保持準(zhǔn)確的解讀和文檔記錄，因?yàn)榭赡苄枰獙?duì)硬件以及所使用的數(shù)據(jù)集進(jìn)行重新調(diào)整。

與專業(yè)的實(shí)施和集成合作伙伴合作，可以大大簡化異常檢測、預(yù)測分析和集成建模等服務(wù)的部署。在項(xiàng)目開始時(shí)就應(yīng)考慮到這一點(diǎn)，以避免這個(gè)常見的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)錯(cuò)誤。

需避免的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)輸出錯(cuò)誤

當(dāng)數(shù)據(jù)集準(zhǔn)備就緒且架構(gòu)穩(wěn)定后，我們就可以開始從深度學(xué)習(xí)模型中獲取輸出結(jié)果了。但在這一環(huán)節(jié)，人們很容易陷入一個(gè)常見的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)錯(cuò)誤：沒有足夠關(guān)注輸出結(jié)果。

6. 反復(fù)使用同一個(gè)模型

訓(xùn)練一個(gè)深度學(xué)習(xí)模型后就反復(fù)使用，看似是個(gè)不錯(cuò)的主意，但實(shí)際上這是不符合常理的！

只有通過訓(xùn)練多個(gè)迭代版本和不同類型的深度學(xué)習(xí)模型，我們才能收集到具有統(tǒng)計(jì)意義、可用于研究的數(shù)據(jù)。例如，如果用戶只訓(xùn)練一個(gè)模型并反復(fù)使用，就會(huì)得到一系列可預(yù)測的標(biāo)準(zhǔn)化結(jié)果。但這可能會(huì)導(dǎo)致忽視引入多種數(shù)據(jù)集的機(jī)會(huì)，而這些數(shù)據(jù)集或許能帶來更有價(jià)值的見解。

相反，如果使用多個(gè)深度學(xué)習(xí)模型，并在多種數(shù)據(jù)集上進(jìn)行訓(xùn)練，我們就能發(fā)現(xiàn)其他模型可能忽略或有不同解讀的各種因素。對(duì)于神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型而言，這正是算法能夠?qū)W習(xí)產(chǎn)生更多樣化輸出，而非相同或相似結(jié)果的方式。

7. 試圖讓第一個(gè)模型成為最佳模型

剛開始接觸深度學(xué)習(xí)時(shí)，人們很容易想要?jiǎng)?chuàng)建一個(gè)能夠完成所有必要任務(wù)的單一模型。但不同的模型擅長預(yù)測不同的事物，因此這種做法通常注定會(huì)失敗。

例如，決策樹在預(yù)測類別數(shù)據(jù)（且各組件之間沒有明確關(guān)聯(lián)）時(shí)往往表現(xiàn)出色，但在處理回歸問題或進(jìn)行數(shù)值預(yù)測時(shí)卻效果不佳。另一方面，邏輯回歸在處理純數(shù)值數(shù)據(jù)時(shí)非常高效，但在進(jìn)行類別預(yù)測或分類時(shí)卻存在不足。

迭代和多樣化是獲得穩(wěn)健結(jié)果的最佳手段。雖然構(gòu)建一個(gè)模型后反復(fù)使用看似很有吸引力，但這會(huì)導(dǎo)致結(jié)果停滯不前，還可能讓用戶忽略許多其他潛在的輸出可能性！

本文轉(zhuǎn)自：聯(lián)泰集群 LTHPC