提到AI領(lǐng)域的多任務(wù)學(xué)習(xí)，許多人可能會立即想到通用人工智能。按照常識，像超級海軍陸戰(zhàn)隊(duì)的大白這樣的護(hù)理機(jī)器人不僅可以執(zhí)行醫(yī)學(xué)診斷，還可以理解人類的情緒，并且可以完成諸如陪伴機(jī)器人之類的各種復(fù)雜任務(wù)。

但是大白畢竟只是科幻電影的產(chǎn)物，大多數(shù)現(xiàn)有的AI技術(shù)仍處于單一智能階段，也就是說，機(jī)器智能只能完成一個簡單的任務(wù)。在工業(yè)機(jī)器人中，噴涂只能用于噴涂，運(yùn)輸只能用于運(yùn)輸。識別人臉的智能相機(jī)只能用于人臉。一旦人類戴上口罩，他們必須重新調(diào)整算法。

當(dāng)然，讓單個代理完成多個任務(wù)也是當(dāng)前AI研究的熱點(diǎn)。最近，強(qiáng)化學(xué)習(xí)和多任務(wù)學(xué)習(xí)算法中表現(xiàn)最好的是DeepMind的Deep57代理，該代理已在街機(jī)學(xué)習(xí)環(huán)境（ALE）數(shù)據(jù)集中的所有57種Atari游戲中實(shí)現(xiàn)。超越人類的表現(xiàn)。

當(dāng)然，多任務(wù)學(xué)習(xí)不僅用于游戲策略。與現(xiàn)階段的AI相比，我們?nèi)祟愂嵌嗳蝿?wù)學(xué)習(xí)的大師。我們不需要學(xué)習(xí)成千上萬的數(shù)據(jù)樣本就可以了解某種事物，也不必從一開始就學(xué)習(xí)每種事物，而是可以通過觸摸來掌握相似的事物。

什么是多任務(wù)學(xué)習(xí)？

MTL是讓人工智能實(shí)現(xiàn)這種人類能力。通過在學(xué)習(xí)多個任務(wù)時共享有用的信息，改進(jìn)了有助于學(xué)習(xí)每個任務(wù)的更精確的學(xué)習(xí)模型。

這里需要注意的是多任務(wù)學(xué)習(xí)和轉(zhuǎn)移學(xué)習(xí)之間的區(qū)別。轉(zhuǎn)移學(xué)習(xí)的目的是將知識從一項(xiàng)任務(wù)轉(zhuǎn)移到另一項(xiàng)任務(wù)。目的是使用一個或多個任務(wù)來幫助改善另一個目標(biāo)任務(wù)，并且MTL希望多個任務(wù)可以互相幫助以彼此改善。

首先，任務(wù)具有相關(guān)性。任務(wù)的相關(guān)性意味著在多個任務(wù)的完成模式中存在某些相關(guān)性。例如，在人臉識別中，除了可以識別人臉特征外，還可以估計(jì)和識別性別和年齡，或者在不同類型的游戲中已經(jīng)確定了一些通用規(guī)則，并將這種相關(guān)性編碼為MTL模型的設(shè)計(jì)。

為什么在神經(jīng)網(wǎng)絡(luò)上同時訓(xùn)練多個任務(wù)的學(xué)習(xí)效果會更好？

我們知道深度學(xué)習(xí)網(wǎng)絡(luò)是具有多個隱藏層的神經(jīng)網(wǎng)絡(luò)，它將輸入數(shù)據(jù)逐層轉(zhuǎn)換為非線性，更抽象的特征表示。每層的模型參數(shù)不是人為設(shè)置的，而是在給學(xué)習(xí)者提供參數(shù)后在訓(xùn)練過程中學(xué)習(xí)的，這給了多任務(wù)學(xué)習(xí)空間以展示其能力，并具有在訓(xùn)練過程中學(xué)習(xí)多種能力的能力。任務(wù)的共同特征。

那么MTL如何產(chǎn)生效果？

MTL方法引入了感應(yīng)偏置。感應(yīng)偏置有兩個作用。一是相互促進(jìn)。多任務(wù)模型之間的關(guān)系可以被視為相互的先驗(yàn)知識，也稱為歸納傳遞。有了模型的先驗(yàn)假設(shè)，可以更好地改善模型；另一個效果是約束效果，借助多個任務(wù)之間的噪聲平衡和表征偏差來實(shí)現(xiàn)更好的泛化性能。

首先，MTL的引入可以使深度學(xué)習(xí)減少對大量數(shù)據(jù)的依賴。樣本數(shù)量較少的任務(wù)可以從樣本量較大的任務(wù)中學(xué)習(xí)一些共享表示，以減輕任務(wù)數(shù)據(jù)的稀疏問題。

其次，多任務(wù)的直接相互促進(jìn)體現(xiàn)在：①多種模型的特征相互補(bǔ)充。例如，在網(wǎng)頁分析模型中，改進(jìn)點(diǎn)擊率預(yù)測模型還可以促進(jìn)轉(zhuǎn)化模型學(xué)習(xí)更深的功能； ②注意機(jī)制，MTL可以幫助訓(xùn)練模型將重點(diǎn)放在重要特征上，并且不同的任務(wù)將為該重要特征提供更多的證據(jù)； ③“竊聽”任務(wù)功能，即MTL可以允許不同的任務(wù)直接“竊聽”彼此的功能。通過“提示”訓(xùn)練模型來預(yù)測最重要的功能。

第三，多任務(wù)的相互約束可以提高模型的通用性。一方面，多任務(wù)的噪音平衡。多任務(wù)模型的不同噪聲模式允許多個任務(wù)模型學(xué)習(xí)通用表示，從而避免了單個任務(wù)的過度擬合。聯(lián)合學(xué)習(xí)可以通過平均噪聲模式獲得更好的表示；另一方面，代表偏見。 MTL對特征的偏愛會導(dǎo)致模型偏差。但這將有助于模型將來推廣到新任務(wù)。在任務(wù)是同源的前提下，我們可以學(xué)習(xí)足夠大的假設(shè)空間，以便將來在某些新任務(wù)中獲得更好的泛化性能。

工業(yè)現(xiàn)場正在降落，MTL如何解決實(shí)際問題

其次，由于使用共享表示，因此當(dāng)多個任務(wù)同時進(jìn)行預(yù)測時，數(shù)據(jù)源的數(shù)量和整個模型參數(shù)的大小將減少，從而使預(yù)測更加有效。
我們以MTL在計(jì)算機(jī)視覺中的應(yīng)用為例，例如目標(biāo)識別，檢測，分割等。
例如，面部特征點(diǎn)檢測。因?yàn)槊娌刻卣骺赡軙苷趽鹾妥藙葑兓挠绊憽?MTL可以提高檢測的魯棒性，而不是將檢測任務(wù)視為一個獨(dú)立的問題。

多任務(wù)學(xué)習(xí)希望將優(yōu)化的面部特征點(diǎn)檢測與一些不同但細(xì)微相關(guān)的任務(wù)相結(jié)合，例如頭部姿勢估計(jì)和面部屬性推斷。人臉特征點(diǎn)檢測不是一個獨(dú)立的問題，其預(yù)測將受到一些不同但細(xì)微相關(guān)的因素的影響。例如，正在笑的孩子會張開嘴，有效地發(fā)現(xiàn)和使用此相關(guān)的面部屬性將有助于更準(zhǔn)確地檢測嘴角。

如上圖所示，人臉特征點(diǎn)檢測（TCDCN）模型除了檢測特征點(diǎn)的任務(wù)外，還有識別眼鏡，笑臉，性別和姿勢的四個輔助任務(wù)。通過與其他網(wǎng)絡(luò)的比較，可以看出輔助任務(wù)使主要任務(wù)的檢測更加準(zhǔn)確。

MTL在不同領(lǐng)域中具有不同的應(yīng)用程序，其模型也不同，并且解決的應(yīng)用程序問題也不同，但是它們各自的領(lǐng)域中都有一些特征。除了上面介紹的計(jì)算機(jī)視覺領(lǐng)域外，還有生物信息學(xué)，健康領(lǐng)域，包括信息學(xué)，語音，自然語言處理，Web垃圾郵件過濾，Web頁面檢索和普適計(jì)算在內(nèi)的許多領(lǐng)域都可以使用MTL來提高各自應(yīng)用程序的有效性和性能。

例如，在生物信息學(xué)和健康信息學(xué)中，MTL用于識別對治療目標(biāo)的反應(yīng)的特征機(jī)制，通過多組相關(guān)分析來檢測因果遺傳標(biāo)記，并通過稀疏貝葉斯模型的性特征進(jìn)行自動相關(guān)，以預(yù)測認(rèn)知結(jié)果阿爾茨海默氏病的神經(jīng)影像學(xué)檢查。

在語音處理中的應(yīng)用。 2015年，研究人員在國際聲學(xué)，語音和信號處理（ICASSP）會議上共享了一篇論文《基于多任務(wù)學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)語音合成》，并提出了一種多任務(wù)堆疊式深度神經(jīng)網(wǎng)絡(luò)。它由多個神經(jīng)網(wǎng)絡(luò)組成。先前的神經(jīng)網(wǎng)絡(luò)將其頂層的輸出用作語音合成的下一個神經(jīng)網(wǎng)絡(luò)的輸入。每個神經(jīng)網(wǎng)絡(luò)都有兩個輸出單元。通過在兩個任務(wù)層之間共享隱藏的內(nèi)容，一個用于主任務(wù)，另一個用于輔助任務(wù)，從而更好地提高語音合成的準(zhǔn)確性。

在聯(lián)網(wǎng)的Web應(yīng)用程序中，可以使用MTL共享不同任務(wù)的功能表示，并學(xué)習(xí)提高Web搜索的排名。 MTL可用于查找層次結(jié)構(gòu)，并通過可伸縮的分層多任務(wù)學(xué)習(xí)算法，結(jié)構(gòu)稀疏性和其他問題來最大化廣告中的轉(zhuǎn)換。

通常，在這些MTL應(yīng)用領(lǐng)域中，研究人員廣泛使用特征選擇方法和深度特征轉(zhuǎn)換方法。因?yàn)榍罢呖梢詼p少數(shù)據(jù)維數(shù)并提供更好的解釋性，而后者可以通過學(xué)習(xí)功能強(qiáng)大的特征表示獲得良好的性能。

作為提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的一種手段，MTL在越來越多的領(lǐng)域中得到了廣泛的應(yīng)用。這實(shí)際上是許多行業(yè)在實(shí)際應(yīng)用中AI的規(guī)范化場景。
我們最終可以追溯到源頭并反思一個事實(shí)，即人類之所以能夠靈活地應(yīng)用多任務(wù)學(xué)習(xí)，恰恰是因?yàn)榄h(huán)境處于多種功能和噪音的條件下，這不可避免地要求我們能夠繞過類別。執(zhí)行先驗(yàn)學(xué)習(xí)能力轉(zhuǎn)移。如果人工智能僅停留在整體智能的基礎(chǔ)上，并且為每種類型的知識或任務(wù)建立單獨(dú)的模型，那么它可能仍然只是一組“人為延遲”的機(jī)械系統(tǒng)，從而導(dǎo)致“白馬和非馬”開個玩笑。

全網(wǎng)數(shù)據(jù)為大家提供專業(yè)化深圳服務(wù)器托管，深圳服務(wù)器租用，深圳服務(wù)器托管，云服務(wù)器租用等服務(wù)器資源，詳情歡迎咨詢客服了解。