0
| 本文作者： 我在思考中 | 2022-08-04 10:37 |
編譯｜黃楠
的得到形式是
，其中
是對(duì)應(yīng)的噪聲，為簡(jiǎn)單起見(jiàn)使用了加性噪聲，而
是正確的真實(shí)標(biāo)簽。）
擬合到數(shù)據(jù)中，使的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小。也就是說(shuō)，我們使用優(yōu)化算法來(lái)找到的最小化數(shù)量
，其中
是一個(gè)損失項(xiàng)（捕捉
距離 y 有多近)，
是一個(gè)可選的規(guī)范化項(xiàng) （試圖使得偏向更簡(jiǎn)單的模型）。
很?。ㄟ@種預(yù)測(cè)是基于實(shí)驗(yàn)數(shù)據(jù)所在的總體數(shù)據(jù)來(lái)獲得的）。
圖注：Bradley Efron經(jīng)過(guò)對(duì)噪音的觀察所復(fù)現(xiàn)的牛頓第一定律漫畫
來(lái)實(shí)現(xiàn)。F 的類越大，偏差越小，當(dāng)
，偏差甚至可以是零。然而，當(dāng) F 類越大， 則需要越多樣本來(lái)縮小其成員范圍，從而算法輸出模型中的方差就越大?？傮w泛化誤差是偏差項(xiàng)和方差貢獻(xiàn)的總和。
和
），比獨(dú)立學(xué)習(xí)單個(gè)更難。
，其所需的數(shù)據(jù)點(diǎn)數(shù)量在某些參數(shù) k 下以
的形式拓展。在這種情況下，需要大約 k 個(gè)樣本來(lái)“起飛”，而一旦這樣做，則會(huì)面臨收益遞減的制度，即假設(shè)花耗 n 個(gè)點(diǎn)來(lái)達(dá)到（比如）90%的準(zhǔn)確度，那么想要將準(zhǔn)確度提高到95%，則大約需要另外 3n 個(gè)點(diǎn)。一般來(lái)說(shuō)，隨著資源增加（無(wú)論是數(shù)據(jù)、模型的復(fù)雜性，還是計(jì)算），我們希望捕捉到更多更細(xì)的區(qū)別，而不是解鎖新的質(zhì)量上的能力。
圖注：從IXL 網(wǎng)站學(xué)習(xí)特定數(shù)學(xué)技能的練習(xí)
，其中
是某個(gè)數(shù)據(jù)點(diǎn)（例如具體的圖像）、
是一個(gè)標(biāo)簽。
，這個(gè)函數(shù)的訓(xùn)練只使用數(shù)據(jù)點(diǎn)
而不使用標(biāo)簽，通過(guò)最小化某種類型的自監(jiān)督損失函數(shù)。這種損失函數(shù)的例子是重建或畫中畫（從另一個(gè)輸入 x 的某些部分恢復(fù)）或?qū)Ρ葘W(xué)習(xí)（找到
使
顯著更小，當(dāng)
是同一個(gè)數(shù)據(jù)點(diǎn)的增量時(shí)，并列關(guān)系比兩個(gè)隨機(jī)點(diǎn)的并列關(guān)系要小得多）。
來(lái)擬合線性分類器
（其中 C 是類的數(shù)量），使交叉熵?fù)p失最小。最終的分類器得出了
的映射。
圖注：谷歌 PaLM 模型的數(shù)據(jù)集
，都可以將通過(guò)自監(jiān)督訓(xùn)練的深度 d 模型的首 k 層數(shù)與監(jiān)督模型的最后 d-k 層數(shù)“縫合”起來(lái)，并且使性能幾乎保持原有水平。
https://windowsontheory.org/2022/06/20/the-uneasy-relationship-between-deep-learning-and-classical-statistics/
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
