男女激情视频网站在线-狠狠躁夜夜躁人人爽天天3-99国产午夜在线精品-一区二区三区日本精品视频-久久99热这里只精品-国产精品熟女视频区蛋播-人久热欧美在线观看量量-加勒比熟妇中文高清-碰碰视频一区二区三区

  1. 首頁 > 生活 > >

讓深度學(xué)習(xí)告別密集計算，新技術(shù)可減少95%計算量

知識百科

【讓深度學(xué)習(xí)告別密集計算，新技術(shù)可減少95%計算量】萊斯大學(xué)的助理教授 Anshumali Shrivastava 說 ， 「它應(yīng)用于任何深度學(xué)習(xí)架構(gòu) ， 該技術(shù)都能亞線性地擴展 ， 也就是應(yīng)用到的深度神經(jīng)網(wǎng)絡(luò)越大節(jié)省的計算越多 。 」
該研究將會發(fā)布在今年的 KDD 會議上被介紹 ， 它解決了谷歌、Facebook、微軟等大公司面臨的最大難題之一 。 這些大公司都在爭相建立、訓(xùn)練、部署大量的深度學(xué)習(xí)網(wǎng)絡(luò)來發(fā)展不同的產(chǎn)品 ， 例如自動駕駛汽車、翻譯、郵件智能回復(fù) 。

讓深度學(xué)習(xí)告別密集計算，新技術(shù)可減少95%計算量

文章插圖

Shrivastave 和萊斯大學(xué)的研究生 Ryan Spring 表示該技術(shù)來自于哈希法(hashing) ， 一種行之有效的數(shù)據(jù)檢索方法 ， 經(jīng)過改編可極大地減少深度學(xué)習(xí)的計算成本 。 哈希法使用哈希函數(shù)將數(shù)據(jù)轉(zhuǎn)換為易管理的小數(shù)值哈希(被稱作 hash) 。 哈希被存儲在表格中 ， 類似于印刷書中的索引 。
Spring 說：「我們的方法融合了兩項技術(shù)——巧妙的本地敏感性哈希法變體(variant of locality-sensitive hashing)和稀疏反向傳播變體——以減少計算需求 ， 且不附帶大量的精確度損失 。 例如 ， 在小規(guī)模的測試中發(fā)現(xiàn)我們可以降低 95% 的計算 ， 但是和通過標準方法獲取的精確度依然差 1% 以內(nèi) 。 」
深度學(xué)習(xí)網(wǎng)絡(luò)的基本構(gòu)建塊是人工神經(jīng)元 。 盡管在 1950 年代就被作為生物大腦神經(jīng)元的模型 ， 人工神經(jīng)元還僅僅是把輸入數(shù)據(jù)轉(zhuǎn)化為輸出結(jié)果的數(shù)學(xué)函數(shù)和方程式 。
在機器學(xué)習(xí)中 ， 所有神經(jīng)元都有相同的初始狀態(tài) ， 就像白紙一樣 ， 它們會隨著訓(xùn)練擁有各自的特定功能 。 在訓(xùn)練中 ， 神經(jīng)網(wǎng)絡(luò)「看到」了大量數(shù)據(jù) ， 每個神經(jīng)元都會成為識別數(shù)據(jù)中特定模式的專用結(jié)構(gòu) 。 在最底層 ， 神經(jīng)元執(zhí)行簡單的任務(wù) 。 例如在圖像識別應(yīng)用中 ， 底層神經(jīng)元或許用于識別亮/暗 ， 或是物體的邊緣 。 來自這些神經(jīng)元的輸出會被傳遞到網(wǎng)絡(luò)中下一層的神經(jīng)元那里 ， 經(jīng)受其他模式的識別和處理 。 僅有幾層的神經(jīng)網(wǎng)絡(luò)即可識別面部、貓狗、交通指示牌和校車等概念 。
Shrivastava 說：「向神經(jīng)網(wǎng)絡(luò)層級添加更多的神經(jīng)元能擴展其表現(xiàn)性能 ， 而我們希望神經(jīng)網(wǎng)絡(luò)沒有大小上限 ， 據(jù)報道谷歌正在嘗試訓(xùn)練一個包含 1370 億神經(jīng)元的模型 。 」相比之下 ， 對于訓(xùn)練和部署這樣的神經(jīng)網(wǎng)絡(luò)可能會有計算力的限制 。
他說：「如今使用的大部分機器學(xué)習(xí)算法都開發(fā)于 30 至 50 年前 ， 設(shè)計時并未考慮計算復(fù)雜性 。 但有了大數(shù)據(jù)之后 ， 在資源上有了基本的限制 ， 比如計算周期、能耗和存儲 。 我們實驗室旨在解決這些限制 。 」
Spring 表示 ， 大規(guī)模的深度網(wǎng)絡(luò)中 ， 哈希法將會極大地節(jié)省計算量和能耗 。
他說：「節(jié)能隨著規(guī)模而增加是由于我們利用了大數(shù)據(jù)之中的稀疏性 。 例如 ， 我們知道一個深度網(wǎng)絡(luò)有 10 億個神經(jīng)元 。 對于任何給定的輸入 ， 比如一只狗的圖片 ， 只有其中的幾個會變興奮 。 按照數(shù)據(jù)用語 ， 我們將其稱為稀疏性 ， 而正是由于稀疏性 ， 我們的方法將在網(wǎng)絡(luò)變大之時節(jié)能更多 。 因此 ， 當(dāng)我們展示了 1000 個神經(jīng)元的 95% 的節(jié)能時 ， 數(shù)學(xué)表明我們可以為 10 億個神經(jīng)元實現(xiàn)超過 99% 的節(jié)能 。 」