女人荫蒂被添全过程13种图片,亚洲+欧美+在线,欧洲精品无码一区二区三区 ,在厨房拨开内裤进入毛片

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MIT韓松等人團隊開發了一種高效的神經結構搜索算法

DPVg_AI_era ? 來源:lp ? 2019-03-29 08:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

MIT韓松等人團隊開發了一種高效的神經結構搜索算法,可以為在特定硬件上自動設計快速運行的神經網絡提供一個“按鈕型”解決方案,算法設計和優化的機器學習模型比傳統方法快200倍。

使用算法自動設計神經網絡是人工智能的一個新領域,而且算法設計的系統比人類工程師開發的系統更準確、更高效。

但是這種所謂的神經結構搜索(NAS)技術在計算上非常昂貴。

谷歌最近開發的最先進的NAS算法,它可以在一組GPU上運行,需要48000小時來生成一個用于圖像分類和檢測任務的卷積神經網絡。當然了,谷歌擁有并行運行數百個GPU和其他專用硬件的資金實力,但這對其他大部分人來說是遙不可及的。

在5月份即將舉行的ICLR會議發表的一篇論文中,MIT的研究人員描述了一種NAS算法,僅需200小時,可以專為目標硬件平臺(當在大規模圖像數據集上運行時)直接學習卷積神經網絡。這可以使這類算法得到更廣泛的使用。

論文:ProxylessNAS: 在目標任務和硬件上直接搜索神經架構

地址:https://arxiv.org/pdf/1812.00332.pdf

研究人員表示,資源匱乏的研究人員和企業可以從節省時間和成本的算法中受益。論文作者之一、MIT電子工程與計算機科學助理教授、微系統技術實驗室研究員韓松(Song Han)表示,他們的總體目標是“AI民主化”。

MIT電子工程與計算機科學助理教授韓松

他說:“我們希望通過在特定硬件上快速運行的一個’按鈕型’(push-button)的解決方案,讓AI專家和非專家都能夠高效地設計神經網絡架構。”

韓松補充說,這樣的NAS算法永遠不會取代人類工程師。“目的是減輕設計和改進神經網絡架構所帶來的重復和繁瑣的工作,”他說。他的團隊中的兩位研究人員Han Cai和Ligeng Zhu參與了論文。

ImageNet最高精度,計算成本降低200倍

在他們的工作中,研究人員開發了一些方法來刪除不必要的神經網絡設計組件,以縮短計算時間,并僅使用一小部分硬件內存來運行NAS算法。另一項創新確保每個輸出的CNN在特定的硬件平臺(CPU、GPU和移動設備)上運行得比傳統方法更高效。在測試中,研究人員用手機測得CNN運行速度是傳統方法的1.8倍,準確度與之相當。

CNN的架構由可調參的計算層(稱為“過濾器”)和過濾器之間可能的連接組成。過濾器處理正方形網格形式的圖像像素,如3x3、5x5或7x7,每個過濾器覆蓋一個正方形。過濾器基本上是在圖像上移動的,并將其覆蓋的像素網格的所有顏色合并成單個像素。不同的層可能具有不同大小的過濾器,并以不同的方式連接以共享數據。輸出是一個壓縮圖像——來自所有過濾器的組合信息——因此可以更容易地由計算機進行分析。

由于可供選擇的架構的數量——稱為“搜索空間”——是如此之大,因此應用NAS在大型圖像數據集上創建神經網絡在計算上是令人望而卻步的。工程師們通常在較小的proxy數據集上運行NAS,并將它們學到的CNN架構轉移到目標任務。然而,這種泛化方法降低了模型的精度。此外,相同的輸出架構也適用于所有硬件平臺,這造成了效率問題。

研究人員直接在ImageNet數據集中的一個圖像分類任務上訓練并測試了他們的新NAS算法。他們首先創建了一個搜索空間,其中包含所有可能的CNN候選“路徑”(paths)——即層和過濾器連接以處理數據的方式。這使得NAS算法可以自由地找到最優的架構。

ProxylessNAS在ImageNet上達到最高精度,且搜索成本的GPU hours減少了200倍

通常,這意味著所有可能的路徑都必須存儲在內存中,這將超過GPU的內存限制。為了解決這個問題,研究人員利用了一種稱為“路徑級二值化”(path-level binarization)的技術,這種技術一次只存儲一個采樣路徑,并節省了一個數量級的內存消耗。他們將這種二值化與“path-level pruning”相結合,后者是一種傳統的技術,可以在不影響輸出的情況下學習刪除神經網絡中的哪些“神經元”。然而,他們提出的新NAS算法并不是丟棄神經元,而是修剪了整個路徑,這完全改變了神經網絡的結構。

ImageNet上精度和延遲的結果

在訓練中,所有路徑最初都被賦予相同的選擇概率。然后,該算法跟蹤路徑——一次只存儲一個路徑——以記錄輸出的準確性和損失(對錯誤預測的數字懲罰)。然后,它調整路徑的概率,以優化精度和效率。最后,該算法修剪掉所有低概率路徑,只保留了概率最高的路徑——這就是最終的CNN架構。

硬件感知:測試延遲只需一部手機

韓松表示,該研究另一個關鍵的創新是使NAS算法具備“硬件感知”(hardware-aware),這意味著它將每個硬件平臺上的延遲作為反饋信號來優化架構。

例如,為了測量移動設備上的延遲,Google這樣的大公司會使用大量的移動設備,這是非常昂貴的。相反,研究人員構建了一個模型,只使用一部手機就能預測延遲。

不同硬件的延遲結果

對于網絡的每個所選層,算法都對該延遲預測模型的架構進行采樣。然后,使用這些信息來設計一個盡可能快地運行的架構,同時實現高精度。在實驗中,研究人員的CNN在移動設備上的運行速度幾乎是標準模型的兩倍。

針對不同硬件優化的高效模型

韓松說,一個有趣的結果是,他們的NAS算法設計的CNN架構長期以來被認為效率太低,但在研究人員的測試中,它們實際上針對特定的硬件進行了優化。

例如,工程師基本上已經停止使用7x7過濾器,因為它們的計算成本比多個更小的過濾器更昂貴。然而,研究人員的NAS算法發現,具有部分7x7過濾器層的架構在GPU上運行得最快。這是因為GPU具有高并行性——意味著它們可以同時進行許多計算——所以一次處理一個大過濾器比一次處理多個小過濾器效率更高。

“這與人類以前的思維方式背道而馳,”韓松說。“搜索空間越大,你能找到的未知事物就越多。你不知道是否會有比過去的人類經驗更好的選擇。那就讓AI來解決吧。”

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4812

    瀏覽量

    103281
  • 自動化
    +關注

    關注

    29

    文章

    5769

    瀏覽量

    83936
  • 數據集
    +關注

    關注

    4

    文章

    1223

    瀏覽量

    25377

原文標題:MIT華人助理教授新作:加快神經網絡設計自動化的步伐

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    百度搜索與文心智能體平臺接入DeepSeek及文心大模型深度搜索

    近日,百度搜索與文心智能體平臺聯合宣布了項重要更新:將全面接入DeepSeek及文心大模型最新的深度搜索功能。這更新將為用戶和開發者帶來
    的頭像 發表于 02-17 09:14 ?599次閱讀

    什么是BP神經網絡的反向傳播算法

    BP神經網絡的反向傳播算法(Backpropagation Algorithm)是一種用于訓練神經網絡的有效方法。以下是關于BP神經網絡的反
    的頭像 發表于 02-12 15:18 ?721次閱讀

    BitEnergy AI公司開發一種新AI處理方法

    BitEnergy AI公司,家專注于人工智能(AI)推理技術的企業,其工程師團隊創新性地開發了一種名為線性復雜度乘法(L-Mul)的AI處理方法。該方法的核心在于,它用整數加法替代
    的頭像 發表于 10-22 15:15 ?798次閱讀

    一種新型全光學智能光譜儀

    近日,北京理工大學光電學院許廷發教授科研團隊與清華大學林星助理教授團隊聯合開發了一種新型全光學智能光譜儀(Opto-Intelligence Spectrometer, OIS)。
    的頭像 發表于 07-31 06:18 ?644次閱讀
    <b class='flag-5'>一種</b>新型全光學智能光譜儀

    人工神經網絡模型是一種什么模型

    人工神經網絡(Artificial Neural Networks,簡稱ANNs)是一種受生物神經網絡啟發而產生的數學模型,用于模擬人腦處理信息的方式。它由大量的節點(或稱為神經元)相
    的頭像 發表于 07-04 16:57 ?1569次閱讀

    bp神經網絡算法的基本流程包括哪些

    BP神經網絡算法,即反向傳播神經網絡算法,是一種常用的多層前饋神經網絡訓練
    的頭像 發表于 07-04 09:47 ?1277次閱讀

    bp神經網絡算法過程包括

    BP神經網絡(Backpropagation Neural Network)是一種多層前饋神經網絡,具有強大的非線性映射能力,廣泛應用于模式識別、信號處理、預測等領域。本文將詳細介紹BP神經
    的頭像 發表于 07-04 09:45 ?926次閱讀

    日本九州大學開發了名為QDyeFinder的人工智能(AI)工具

    在探索大腦這宇宙中最復雜結構的征途中,科學家們不斷突破技術的邊界,以更精細、更高效的方式揭示其奧秘。近期,日本九州大學的研究團隊在《自然·通訊》雜志上發表了
    的頭像 發表于 07-03 14:43 ?876次閱讀

    神經元的結構及功能是什么

    神經元是神經系統的基本結構和功能單位,它們通過電信號和化學信號進行信息傳遞和處理。神經元的結構和功能非常復雜,涉及到許多不同的方面。
    的頭像 發表于 07-03 11:33 ?2672次閱讀

    神經網絡反向傳播算法的優缺點有哪些

    神經網絡反向傳播算法(Backpropagation Algorithm)是一種廣泛應用于深度學習和機器學習領域的優化算法,用于訓練多層前饋神經
    的頭像 發表于 07-03 11:24 ?2000次閱讀

    神經網絡反向傳播算法的作用是什么

    神經網絡反向傳播算法(Backpropagation)是一種用于訓練人工神經網絡的算法,它通過計算損失函數關于網絡參數的梯度來更新網絡的權重
    的頭像 發表于 07-03 11:17 ?2477次閱讀

    BP神經網絡算法的基本流程包括

    BP神經網絡算法,即反向傳播(Backpropagation)神經網絡算法,是一種多層前饋神經
    的頭像 發表于 07-03 09:52 ?953次閱讀

    神經網絡算法結構有哪些類型

    神經網絡算法是深度學習的基礎,它們在許多領域都有廣泛的應用,如圖像識別、自然語言處理、語音識別等。神經網絡的結構有很多種類型,每種類型都有其獨特的特點和應用場景。以下是對
    的頭像 發表于 07-03 09:50 ?905次閱讀

    神經網絡算法的優缺點有哪些

    神經網絡算法一種模擬人腦神經結構的計算模型,廣泛應用于機器學習、深度學習、圖像識別、語音識別等領域。然而,
    的頭像 發表于 07-03 09:47 ?2917次閱讀

    神經網絡算法的基本原理

    神經網絡算法是人工智能領域的一種重要算法,它模仿了人腦神經元網絡的結構和功能,通過對大量數據進行
    的頭像 發表于 07-03 09:44 ?1656次閱讀
    主站蜘蛛池模板: 邵东县| 上饶市| 肥乡县| 克东县| 高碑店市| 赫章县| 翁源县| 汾阳市| 酒泉市| 昌乐县| 南投县| 黔江区| 唐海县| 瑞昌市| 巫山县| 江华| 闽清县| 雷州市| 望城县| 肃南| 乌苏市| 喀喇沁旗| 津市市| 巴楚县| 肃宁县| 孙吴县| 高密市| 宁波市| 广丰县| 桐庐县| 金坛市| 响水县| 辉南县| 南通市| 都江堰市| 靖安县| 临朐县| 奉新县| 同江市| 甘谷县| 天水市|