2018/4/25 16:07:00
神經(jīng)機(jī)器翻譯的技術(shù)——?dú)埐罹W(wǎng)絡(luò)
今天樂文翻譯公司帶你了解下神經(jīng)機(jī)器翻譯的技術(shù)之一殘差網(wǎng)絡(luò)（Residual Network）。
所謂的殘差網(wǎng)絡(luò)就是一種跨層次的鏈接機(jī)制。如上圖所示，被灰粉色遮蔽的部分就是使用了殘差網(wǎng)絡(luò)機(jī)制的網(wǎng)絡(luò)鏈接。注意，原始網(wǎng)絡(luò)中，每一個(gè)跨層次的鏈接都僅僅鏈接上下兩個(gè)層次，但是在這里由x10到+號(hào)的鏈接就是這種跨層次的殘差網(wǎng)絡(luò)機(jī)制鏈接。
有了這樣一種跨層次鏈接的機(jī)制就使得網(wǎng)絡(luò)可以做得很深很深，從而實(shí)現(xiàn)了深度上的革命，而且可以讓準(zhǔn)確率得到非常顯著的降低。那么，殘差網(wǎng)絡(luò)是如何實(shí)現(xiàn)這種跨層次鏈接，同時(shí)又加速網(wǎng)絡(luò)學(xué)習(xí)的呢？讓我們看下圖：
我們知道，其實(shí)神經(jīng)網(wǎng)絡(luò)就是一個(gè)從輸入到輸出的函數(shù)。那么對(duì)于一個(gè)局部的兩層的網(wǎng)絡(luò)來說，它也可以被看作是一個(gè)小型的函數(shù)。我們不妨記這個(gè)小型的網(wǎng)絡(luò)是H(x)，它恰恰就是我們的兩層網(wǎng)絡(luò)要學(xué)習(xí)的函數(shù)。
我們不妨可以把這個(gè)函數(shù)分解為兩部分，一部分是直接從輸入端輸入進(jìn)來的信號(hào)x，以及一部分剩余的量（殘差）F(x)，而這部分殘差F(x)就可以交給這兩層網(wǎng)絡(luò)來學(xué)習(xí)。這樣，當(dāng)我們的網(wǎng)絡(luò)逼近F(x)函數(shù)的時(shí)候，我只需要加上輸入信號(hào)x就可以自然得到我們想要的函數(shù)H(x)。
那么，我們?yōu)槭裁匆袶(x)拆成F(x)和x兩部分呢？答案就在于，當(dāng)我們直接把輸入信號(hào)x導(dǎo)入給輸出節(jié)點(diǎn)+的時(shí)候，我們實(shí)際上創(chuàng)造了一個(gè)信息傳輸?shù)慕輳?，這就可以大大節(jié)省訓(xùn)練這個(gè)局部小網(wǎng)絡(luò)的世界。當(dāng)然，這里面的前提是說，在大多數(shù)情況下，正確的H(x)函數(shù)是和x這個(gè)信號(hào)具有類似的數(shù)量級(jí)的。所以，我們創(chuàng)造了捷徑后，網(wǎng)絡(luò)只需要做微調(diào)，以學(xué)習(xí)實(shí)現(xiàn)一個(gè)殘差函數(shù)F(x)的神經(jīng)網(wǎng)絡(luò)就可以了。
有了這種殘差的機(jī)制，我們就可以讓信息更快地通過網(wǎng)絡(luò)，從而大大地節(jié)省了網(wǎng)絡(luò)訓(xùn)練的時(shí)間，這也就自然可以讓我們將網(wǎng)絡(luò)的層次加深，這就是殘差網(wǎng)絡(luò)的基本原理。
有了殘差機(jī)制，現(xiàn)在的網(wǎng)絡(luò)可以深到1000層之多。
樂文翻譯公司的平頂山翻譯分部也在不斷完善自己的技術(shù)，從語法、專業(yè)性上有了突飛猛進(jìn)的提高，有翻譯服務(wù)相關(guān)的需求，可以隨時(shí)與我公司聯(lián)系，客服熱線：400-895-6679