女人荫蒂被添全过程13种图片,亚洲+欧美+在线,欧洲精品无码一区二区三区 ,在厨房拨开内裤进入毛片

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

布朗大學(xué)90后研究生:我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型,你也行!

DPVg_AI_era ? 來源:lq ? 2019-09-01 07:11 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

布朗大學(xué)的計算機科學(xué)研究畢業(yè)生 Vanya Cohen 近日在 Medium 分享了他復(fù)現(xiàn) GPT-2 大模型的全過程。作者復(fù)刻了Open-AI 15億參數(shù)模型,允許其他人在其預(yù)訓(xùn)練模型上進行構(gòu)建并進一步改進。

BERT,XLNet,GPT-2和Grover等大型語言模型在生成文本和多個NLP任務(wù)方面取得了令人矚目的成果。

本文試圖去復(fù)刻GPT-2的15億模型以供研究人員使用。

Google Colab地址:

https://colab.research.google.com/drive/1esbpDOorf7DQJV8GXWON24c-EQrSKOit

單獨提供的模型權(quán)重:

https://drive.google.com/drive/u/1/folders/1KfK5MXtvgH8C615UUZoKPIUVJYIdJxX1

復(fù)刻

之所以采取遲遲不放出模型的安全戰(zhàn)略,是因為這些模型難以復(fù)刻并需要高度專業(yè)的領(lǐng)域知識。

但是布朗大學(xué)的兩名碩士研究生卻證明了本文的許多結(jié)果復(fù)刻起來并不是那么的難。而且不僅他們倆可以,絕大多數(shù)感興趣的人都可以復(fù)刻GPT-2。

研究生之一:Vanya Cohen

此外,Zellers等人表明像GPT-2這樣的大型語言模型是一種非常有用的工具,可以抵制使用與文本生成器相同的模型。

兩位研究生經(jīng)過深思熟慮后認為,復(fù)刻工作并不是獨一無二的,并且大型語言模型是目前抵制生成文本的最有效手段,因此在對抗未來模型被濫用的可能性方面,發(fā)布本模型是有益的。

本模型的實現(xiàn)基于Grover模型,并修改其代碼庫以匹配GPT-2的語言建模訓(xùn)練目標。由于他們的模型是在類似的大型語料庫上進行訓(xùn)練的,因此大部分代碼和超參數(shù)都可以重復(fù)使用。本模型沒有從Grover中大幅改變超參數(shù)。

使用本模型代碼從頭開始訓(xùn)練模型的成本約為5萬美元。要注意這個數(shù)字是云計算的估計值,并不包含所涉及的各種其他細微的內(nèi)部成本。

存在顯著的時間-成本平衡,并且較慢的訓(xùn)練方法具有相當小的成本,因此降低了使用門檻。

數(shù)據(jù)集

原始文件提供了有關(guān)如何清理數(shù)據(jù)集的最低限度的詳細信息。

與在WebText中一樣,首先從Reddit中解析出超過3個向上投票的所有鏈接。接著,從PushshiftRedditscrape開始。這是一個包含不斷更新的Reddit帖子、評論以及相關(guān)元數(shù)據(jù)集合的數(shù)據(jù)集。

然后過濾一些鏈接以刪除不太可能包含可用文本或HTML(即視頻文件,PDF和CSS樣式文件)的文件類型的直接鏈接。

同時還過濾網(wǎng)頁以刪除維基百科,因為它被各種評估基準和數(shù)據(jù)集使用。目前還無法確定過濾標準是否與OpenAI相匹配,因為此信息從未發(fā)布過。

使用Newspaper Python庫從HTML頁面中提取文本,然后使用fastText Python庫來提取英文文本、過濾掉其他語言。具體來說,使用WhatTheLangpython Wrapper。

使用局部敏感散列(LSH)來去重。然后將文檔散列為5-grams的集合,并且刪除了相似度閾值大于0.5的所有文檔。

使用Heuristic Cleaning算法,從數(shù)據(jù)集中刪除少于128個令牌的文檔。這些較短的文件往往質(zhì)量較低,這是由文本連貫性決定的。最后將此數(shù)據(jù)集作為OpenWebTextCorpus發(fā)布。

使用Radford等人發(fā)布的小型模型和Binary Pattern Encoder對數(shù)據(jù)集進行編碼,并使用OpenWebText web-scrapingcodebase的修改版本作為數(shù)據(jù)集集合的起點。

勘誤表

從公開發(fā)布的來自WebText的260k文檔集合中來看,研究人員發(fā)現(xiàn)所有文件都具有最小字節(jié)對(BPE)編碼,長度為40,最大值為1024.

OpenWebText的不同之處在于為128個令牌設(shè)置文檔長度的下限(而不是BPE代碼),并且不限制最大文檔長度。

原始的WebTextCorpus在這些樣本可用之前發(fā)布,因此沒有使用該信息來生成cleaning heuristics。

研究人員曾多次嘗試聯(lián)系Radford等人,以澄清評估和模型細節(jié),但最終都沒有成功。

結(jié)果

盡管訓(xùn)練分布存在差異,但確實報告了與大多數(shù)數(shù)據(jù)集相似的困惑。

示例:輸入“Recycling is good for the world. NO! YOU COULD NOT BE MORE WRONG!!”輸出結(jié)果如下:

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 語言模型
    +關(guān)注

    關(guān)注

    0

    文章

    561

    瀏覽量

    10749
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1223

    瀏覽量

    25378

原文標題:布朗大學(xué)90后研究生:我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型,你也行!

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    感應(yīng)電機智能調(diào)速

    內(nèi)容先進,可作為電力傳動專業(yè)特別是感應(yīng)電機控制專業(yè)方向的大學(xué)教師和學(xué)生(高年級本科、碩士研究生、博士研究生)學(xué)習(xí)研究感應(yīng)電機智能控制的參考
    發(fā)表于 05-28 15:53

    浙江大學(xué)與大華股份共建研究生聯(lián)合培育基地

    近日,浙江大學(xué)研究生產(chǎn)教融合人才培養(yǎng)工作會議在杭州召開,會上舉行了校級聯(lián)合培養(yǎng)基地授牌儀式暨行業(yè)導(dǎo)師聘書頒發(fā)儀式,大華股份作為校級聯(lián)合培養(yǎng)基地代表參會,標志著“浙江大學(xué)-大華股份研究生
    的頭像 發(fā)表于 03-27 15:34 ?376次閱讀

    用PaddleNLP為GPT-2模型制作FineWeb二進制預(yù)訓(xùn)練數(shù)據(jù)集

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 《用PaddleNLP在4060單卡上實踐大模型預(yù)訓(xùn)練技術(shù)》發(fā)布收到讀者熱烈反響,很多讀者要求進一步講解更多的技術(shù)細節(jié)。本文主要針對大語言模型的預(yù)訓(xùn)練流程
    的頭像 發(fā)表于 03-21 18:24 ?1470次閱讀
    用PaddleNLP為<b class='flag-5'>GPT-2</b><b class='flag-5'>模型</b>制作FineWeb二進制預(yù)訓(xùn)練數(shù)據(jù)集

    FA90-220S15G2N5 FA90-220S15G2N5

    電子發(fā)燒友網(wǎng)為提供AIPULNION(AIPULNION)FA90-220S15G2N5相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有FA90-220S15G2N5的引腳圖、接線圖、封裝手冊、中文資料
    發(fā)表于 03-19 18:31
    FA<b class='flag-5'>90-220S15G2</b>N5 FA<b class='flag-5'>90-220S15G2</b>N5

    用PaddleNLP在4060單卡上實踐大模型預(yù)訓(xùn)練技術(shù)

    手把手教您如何在單張消費級顯卡上,利用PaddleNLP實踐OpenAI的GPT-2模型的預(yù)訓(xùn)練。GPT-2的預(yù)訓(xùn)練關(guān)鍵技術(shù)與流程與GPT-4等大
    的頭像 發(fā)表于 02-19 16:10 ?950次閱讀
    用PaddleNLP在4060單卡上實踐大<b class='flag-5'>模型</b>預(yù)訓(xùn)練技術(shù)

    OpenAI即將推出GPT-5模型

    OpenAI首席執(zhí)行官奧爾特曼近日宣布一項重要消息:OpenAI將在今年未來幾個月內(nèi)推出全新的GPT-5模型。這一消息引起了業(yè)界的廣泛關(guān)注和期待。 據(jù)了解,GPT-5
    的頭像 發(fā)表于 02-13 11:21 ?573次閱讀

    【「具身智能機器人系統(tǒng)」閱讀體驗】2.具身智能機器人大模型

    需要專業(yè)程序員進行繁瑣的編程工作,這種方式不僅效率低下,還限制機器人的應(yīng)用場景。例如,在我們大學(xué)工程實訓(xùn)課程中使用的數(shù)控機床,需要人為設(shè)定起點、終點、移動方向和移動距離等參數(shù),自動化
    發(fā)表于 12-29 23:04

    中軟國際助力廣東外語外貿(mào)大學(xué)發(fā)布涉外法治人才實訓(xùn)大模型

    近期,2024年全國法律專業(yè)學(xué)位研究生培養(yǎng)單位工作會議在廣東外語外貿(mào)大學(xué)隆重召開。在此次會議期間,由廣東外語外貿(mào)大學(xué)(以下簡稱:廣外)聯(lián)合華為、中軟國際共同研發(fā)的“涉外法治人才實訓(xùn)大模型
    的頭像 發(fā)表于 12-26 10:09 ?542次閱讀

    廣立微助力2024中國研究生創(chuàng)“芯”大賽·EDA精英挑戰(zhàn)賽

    近日,“2024中國研究生創(chuàng)“芯”大賽·EDA精英挑戰(zhàn)賽” 總決賽在南京完美收官,最終評審結(jié)果榮耀揭曉。廣立微榮幸受邀成為本次大賽的命題合作企業(yè),通過精心設(shè)計的命題、專業(yè)的指導(dǎo)以及參與高端論壇的演講,為大賽的順利進行增添了濃墨重彩的一筆。
    的頭像 發(fā)表于 12-13 14:08 ?792次閱讀

    AMD發(fā)布10參數(shù)開源AI模型OLMo

    AMD公司近日宣布一項重大進展,推出了首個完全開放的10參數(shù)語言模型系列——AMD OLMo。這一舉措為開發(fā)者和研究人員提供
    的頭像 發(fā)表于 11-12 18:08 ?767次閱讀

    深信服發(fā)布安全GPT4.0數(shù)據(jù)安全大模型

    近日,深信服在數(shù)據(jù)安全領(lǐng)域邁出了重要一步,正式發(fā)布安全GPT4.0數(shù)據(jù)安全大模型。這一創(chuàng)新的大模型技術(shù),旨在為用戶提供更高效、精準的數(shù)據(jù)安全解決方案。
    的頭像 發(fā)表于 10-29 11:12 ?593次閱讀

    RISC-V AI技術(shù)正式納入北京大學(xué)研究生課程

    希姆計算與北京大學(xué)達成SOC課程合作2024年10月14日,希姆計算的范福杰博士走進北京大學(xué)集成電路學(xué)院的研究生課堂,為同學(xué)們講授一節(jié)生動的《現(xiàn)代SoC芯片架構(gòu)設(shè)計實驗課程》。RIS
    的頭像 發(fā)表于 10-18 08:09 ?1091次閱讀
    RISC-V AI技術(shù)正式納入北京<b class='flag-5'>大學(xué)</b><b class='flag-5'>研究生</b>課程

    GAP!對AI大模型到底了解多少?

    談到 AI 大模型最先想到的是什么?很多人首先關(guān)心的還是它的商業(yè)變現(xiàn),而非這些技術(shù)術(shù)語。AI 大模型訓(xùn)練是一個端到端的復(fù)雜系統(tǒng)工程,技術(shù)門檻很高,需要強大的算力支撐,尤其是參數(shù)量大
    的頭像 發(fā)表于 09-07 09:40 ?967次閱讀

    名單公布!【書籍評測活動NO.41】大模型時代的基礎(chǔ)架構(gòu):大模型算力中心建設(shè)指南

    工程技術(shù)人員,都可以參考和閱讀本書。 作者介紹 方天戟騰訊專有云與智算平臺shou席架構(gòu)師,本科畢業(yè)于北京航空航天大學(xué)自動控制專業(yè),碩士研究生畢業(yè)于中國科學(xué)院研究生院計算機科學(xué)與技術(shù)專業(yè)。從業(yè)近20年,從事過硬
    發(fā)表于 08-16 18:33

    OpenAI 推出 GPT-4o mini 取代GPT 3.5 性能超越GPT 4 而且更快 API KEY更便宜

    GPT-4. GPT-4o mini的定價為每百萬輸入標記15美分和每百萬輸出標記60美分,比之前的前沿模型便宜一個數(shù)量級,比
    的頭像 發(fā)表于 07-21 10:20 ?1649次閱讀
    OpenAI 推出 <b class='flag-5'>GPT</b>-4o mini 取代<b class='flag-5'>GPT</b> 3.5 性能超越<b class='flag-5'>GPT</b> 4 而且更快 API KEY更便宜
    主站蜘蛛池模板: 黄平县| 峨山| 赣州市| 潼关县| 舟山市| 扬中市| 滦平县| 深水埗区| 揭东县| 沂源县| 黄龙县| 绥棱县| 会泽县| 九江市| 麟游县| 敦化市| 临沧市| 五大连池市| 辰溪县| 苗栗市| 常州市| 宜良县| 玉屏| 湘西| 吉林市| 光山县| 颍上县| 红原县| 陕西省| 巴青县| 城口县| 高台县| 东乌| 高尔夫| 永和县| 铜山县| 锡林浩特市| 鄢陵县| 阿拉善左旗| 大竹县| 盐边县|