女人荫蒂被添全过程13种图片,亚洲+欧美+在线,欧洲精品无码一区二区三区 ,在厨房拨开内裤进入毛片

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌Gemini 1.5深夜爆炸上線,史詩級多模態硬剛GPT-5!最強MoE首破100萬極限上下文紀錄

向欣電子 ? 2024-02-19 12:28 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

【新智元導讀】剛剛,我們經歷了LLM劃時代的一夜。Gemini Ultra發布還沒幾天,Gemini 1.5就來了。卯足勁和OpenAI微軟一較高下的谷歌,開始進入了高產模式。


自家最強的Gemini 1.0 Ultra才發布沒幾天,谷歌又放大招了。

就在剛剛,谷歌DeepMind首席科學家Jeff Dean,以及聯創兼CEO的Demis Hassabis激動地宣布了最新一代多模態大模型——Gemini 1.5系列的誕生。

其中,最高可支持10,000K token超長上下文的Gemini 1.5 Pro,也是谷歌最強的MoE大模型。

不難想象,在百萬級token上下文的加持下,我們可以更加輕易地與數十萬字的超長文檔、擁有數百個文件的數十萬行代碼庫、一部完整的電影等等進行交互。

同時,為了介紹這款劃時代的模型,谷歌還發布了達58頁的技術報告。

毫不夸張地說,大語言模型領域從此將進入一個全新的時代!

1,000,000 token超超超長上下文,全面碾壓GPT-4 Turbo

在上下文窗口方面,此前的SOTA模型已經「卷」到了200K token(20萬)。

如今,谷歌成功將這個數字大幅提升——能夠穩定處理高達100萬token(極限為1000萬token),創下了最長上下文窗口的紀錄。

5964be8a-cedf-11ee-9118-92fbcf53809c.png

1000萬token極限海底撈針幾乎全綠

首先,我們看看Gemini 1.5 Pro在多模態海底撈針測試中的成績。

597680de-cedf-11ee-9118-92fbcf53809c.png

對于文本處理,Gemini 1.5 Pro在處理高達530,000 token的文本時,能夠實現100%的檢索完整性,在處理1,000,000 token的文本時達到99.7%的檢索完整性。

甚至在處理高達10,000,000 token的文本時,檢索準確性仍然高達99.2%。

5980e952-cedf-11ee-9118-92fbcf53809c.png

音頻處理方面,Gemini 1.5 Pro能夠在大約11小時的音頻資料中,100%成功檢索到各種隱藏的音頻片段。

5985f1e0-cedf-11ee-9118-92fbcf53809c.png

視頻處理方面,Gemini 1.5 Pro能夠在大約3小時的視頻內容中,100%成功檢索到各種隱藏的視覺元素。

598a7332-cedf-11ee-9118-92fbcf53809c.png

此外,谷歌研究人員還開發了一個更通用的版本的「大海撈針」測試。

在這個測試中,模型需要在一定的文本范圍內檢索到100個不同的特定信息片段。

在這個測試中,Gemini 1.5 Pro在較短的文本長度上的性能超過了GPT-4-Turbo,并且在整個100萬token的范圍內保持了相對穩定的表現。

與之對比鮮明的是,GPT-4 Turbo的性能則飛速下降,且無法處理超過128,000 token的文本,表現慘烈。

599f5bb2-cedf-11ee-9118-92fbcf53809c.png

大模型視野,被「史詩級」拓寬

LLM發展到這個階段,模型的上下文窗口已經成為了關鍵的掣肘。

模型的上下文窗口由許多token組成,它們是處理單詞、圖像、視頻、音頻、代碼這些信息的基礎構建。

模型的上下文窗口越大,它處理給定提示時能夠接納的信息就越多——這就使得它的輸出更加連貫、相關和實用。

而這次,谷歌通過一系列機器學習的創新,大幅提升了1.5 Pro的上下文窗口容量,從Gemini 1.0的原始32,000 token,直接提升到了驚人的1,000,000 token。

這就意味著,1.5 Pro能夠一次性處理海量信息——比如1小時的視頻、11小時的音頻、超過30,000行的代碼庫,或是超過700,000個單詞。

甚至,谷歌曾經一度成功測試了高達10,000,000的token。

深入理解海量信息

脫胎換骨的Gemini 1.5 Pro,已經可以輕松地分析給定提示中的海量內容!

它能夠洞察文檔中的對話、事件和細節,展現出對復雜信息的深刻理解。

59a4527a-cedf-11ee-9118-92fbcf53809c.png

我們甩給它一份阿波羅11號任務到月球的402頁飛行記錄,它對于多復雜的信息,都能表現出深刻的理解。

59b7a578-cedf-11ee-9118-92fbcf53809c.gif

讓它從文件中列舉出3個喜劇性的時刻,接下來,就是見證奇跡的時刻——

才過了30秒出頭,答案就已經生成了!

59bc3822-cedf-11ee-9118-92fbcf53809c.gif

接下來,看看它的多模態功能。

把這張圖輸入進去,問它:這是什么時刻?

它會回答,這是阿姆斯特朗邁上月球的一小步,也是人類的一大步。

59c8e46e-cedf-11ee-9118-92fbcf53809c.gif

這次,谷歌還新增了一個功能,允許開發者上傳多個文件(比如PDF),并提出問題。

更大的上下文窗口,就讓模型能夠處理更多信息,從而讓輸出結果更加一致、相關且實用。

橫跨各種不同媒介

與此同時,Gemini 1.5 Pro還能夠在視頻中展現出深度的理解和推理能力!

得益于Gemini的多模態能力,上傳的視頻會被拆分成數千個畫面(不包括音頻),以便執行復雜的推理和問題解決任務。

比如,輸入這部44分鐘的無聲電影——Buster Keaton主演的經典之作《小神探夏洛克》。

模型不僅能夠精準地捕捉到電影的各個情節和發展,還能洞察到極易被忽略的細微之處。

59ce83e2-cedf-11ee-9118-92fbcf53809c.png

我們可以問它:找到一張紙從主角口袋中被拿出的瞬間,然后告訴我關于這個細節的信息。

令人驚喜的是,模型大約用了60秒左右就準確地找出,這個鏡頭是在電影的12:01,還描述出了相關細節。

59db9dc0-cedf-11ee-9118-92fbcf53809c.gif

果然,模型精準找出了這個鏡頭的時間點,所述細節也完全準確!

輸入一張粗略的涂鴉,要求模型找到電影中的對應場景,模型也在一分鐘內找到了答案。

高效處理更長代碼

不僅如此,Gemini 1.5 Pro在處理長達超過100,000行的代碼時,還具備極強的問題解決能力。

5a15691a-cedf-11ee-9118-92fbcf53809c.png

面對如此龐大的代碼量,它不僅能夠深入分析各個示例,提出實用的修改建議,還能詳細解釋代碼的各個部分是如何協同工作的。

?

開發者可以直接上傳新的代碼庫,利用這個模型快速熟悉、理解代碼結構。

?

高效架構的秘密:MoE

Gemini 1.5的設計,基于的是谷歌在Transformer和混合專家(MoE)架構方面的前沿研究。

不同于傳統的作為一個龐大的神經網絡運行的Transformer,MoE模型由眾多小型的「專家」神經網絡組成。

這些模型可以根據不同的輸入類型,學會僅激活最相關的專家網絡路徑。

這樣的專門化,就使得模型效率大幅提升。

而谷歌通過Sparsely-Gated MoE、GShard-Transformer、Switch-Transformer、M4研究,早已成為深度學習領域中MoE技術的領航者。

Gemini 1.5的架構創新帶來的,不僅僅是更迅速地掌握復雜任務、保持高質量輸出,在訓練和部署上也變得更加高效。

因此,團隊才能以驚人的速度,不斷迭代和推出更先進的Gemini版本。

性能比肩Ultra,大幅超越1.0 Pro

在涵蓋文本、代碼、圖像、音頻和視頻的綜合性測試中,1.5 Pro在87%的基準測試上超越了1.0 Pro。

與1.0 Ultra在相同基準測試的比較中,1.5 Pro的表現也相差無幾。

5a709056-cedf-11ee-9118-92fbcf53809c.png

Gemini 1.5 Pro在擴大上下文窗口后,依然保持了高水平的性能。在「大海撈針(NIAH)」測試中,它能夠在長達100萬token的文本塊中,在99%的情況下,準確找出隱藏有特定信息的文本片段。

此外,Gemini 1.5 Pro展現了卓越的「上下文學習」能力,能夠僅憑長提示中提供的信息掌握新技能,無需進一步細化調整。

這一能力在「從一本書學習機器翻譯 (MTOB)」基準測試中得到了驗證,該測試檢驗了模型學習從未接觸過的信息的能力。

對于一本關于全球不足200人使用的Kalamang語的語法手冊,模型能夠學會將英語翻譯成Kalamang,學習效果與人類學習相似。

谷歌的研究者成功地增強了模型處理長文本的能力,而且這種增強并沒有影響到模型的其他功能。

雖然這項改進只用了Gemini 1.0 Ultra模型訓練時間的一小部分,但1.5 Pro模型在31項性能測試中的17項上超過了1.0 Ultra模型。

與1.0 Pro模型相比,1.5 Pro在31項測試中的27項上,表現更佳。

5a7fc364-cedf-11ee-9118-92fbcf53809c.png

具體結果如下:

5a8471ac-cedf-11ee-9118-92fbcf53809c.png

5a89cd1e-cedf-11ee-9118-92fbcf53809c.png

5a936306-cedf-11ee-9118-92fbcf53809c.png

細節表現如何?

分析和掌握復雜代碼庫

這款模型能夠迅速吸收大型代碼庫,并解答復雜的問題,這一點非常引人注目。

例如,three.js是一個包含約10萬行代碼、示例和文檔等的3D Javascript庫。

借助這個代碼庫作為背景,系統能夠幫助用戶深入理解代碼,并能夠根據人們提出的高層次要求來修改復雜的示例。

比如:「展示一些代碼,用于添加一個滑塊控制動畫速度。采用和其他演示相同的GUI風格。」

或者精確地指出需要修改的代碼部分,以改變另一個示例中生成的地形的高度。

瀏覽龐大而陌生的代碼庫

并且,模型能夠幫我們理解代碼,或定位某個特定功能的實現位置。

在這個例子中,模型能夠處理整個包含116個文件的JAX代碼庫(746k token),并協助用戶找到實現自動微分反向傳播的確切代碼位置。

顯然,在深入了解一個陌生的代碼庫或日常工作中使用的代碼庫時,長上下文處理能力的價值不言而喻。

許多Gemini團隊成員已經發現,Gemini 1.5 Pro的長上下文處理功能,對于Gemini 代碼庫大有裨益。

5aa94838-cedf-11ee-9118-92fbcf53809c.png

長篇復雜文檔的推理

同時,模型在分析長篇、復雜的文本文檔方面也非常出色,例如雨果的五卷本小說《悲慘世界》(共1382頁,含732,000個token)。

下面這個簡單的實驗,就展示了模型的多模態能力:粗略地畫出一個場景,并詢問「請看這幅圖畫中的事件發生在書的哪一頁?」

模型就能給出準確的答案——1099頁!

Kalamang語翻譯

報告中一個特別引人注目的例子是關于Kalamang語的翻譯。

卡拉曼語是新幾內亞西部、印度尼西亞巴布亞東部不足200人使用的語言,幾乎未在互聯網上留下足跡。

Gemini Pro 1.5通過上下文學習掌握了Kalamang語的知識,其翻譯質量可與使用相同材料學習的人相媲美。

在英語到卡拉曼語的翻譯中,Gemini Pro 1.5的ChrF達到了58.3,大幅超過了以往最好的模型得分45.8 ChrF,并略高于MTOB論文報告的57.0 ChrF人類基準。

這一成就無疑帶來了令人激動的可能性,提升稀有語言的翻譯質量。

5abd4cd4-cedf-11ee-9118-92fbcf53809c.png

5ac20ea4-cedf-11ee-9118-92fbcf53809c.png

Gemini 1.5的誕生,意味著性能的階段飛躍,標志著谷歌在研究和工程創新上,又邁出了登月般的一步。

接下來能跟Gemini 1.5硬剛的,大概就是GPT-5了。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6231

    瀏覽量

    107881
  • AI
    AI
    +關注

    關注

    88

    文章

    34839

    瀏覽量

    277420
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Android Studio中的Gemini支持模態輸入功能

    Gemini 現已支持模態輸入,您可在提示中直接添加圖像!這為團隊協作和界面開發工作流程解鎖了更多新的可能性。
    的頭像 發表于 05-14 16:44 ?431次閱讀

    DeepSeek推出NSA機制,加速長上下文訓練與推理

    的特性,專為超快速的長上下文訓練和推理而設計。 NSA通過針對現代硬件的優化設計,顯著加快了推理速度,并大幅度降低了預訓練成本,同時保持了卓越的性能表現。這一機制在確保效率的同時,并未犧牲模型的準確性或功能。 在廣泛的基準測試、涉及長上下文的任務以及基于指令的推理場景中,
    的頭像 發表于 02-19 14:01 ?615次閱讀

    OpenAI即將發布GPT-4.5與GPT-5

    近日,OpenAI的首席執行官Sam Altman在社交平臺上透露了公司即將推出的重大計劃。據他透露,OpenAI計劃在不久的將來連續發布兩款重要的AI算法——GPT-4.5和GPT-5。 據悉
    的頭像 發表于 02-13 13:43 ?621次閱讀

    OpenAI即將推出GPT-5模型

    OpenAI首席執行官奧爾特曼近日宣布了一項重要消息:OpenAI將在今年未來幾個月內推出全新的GPT-5模型。這一消息引起了業界的廣泛關注和期待。 據了解,GPT-5模型將整合OpenAI的大量
    的頭像 發表于 02-13 11:21 ?569次閱讀

    OpenAI CEO預告GPT-4.5及GPT-5未來規劃

    近日,OpenAI的首席執行官薩姆·奧爾特曼(Sam Altman)放出了一則令人矚目的更新預告,透露了GPT-4.5和GPT-5的未來規劃。 據奧爾特曼透露,OpenAI將在接下來的幾個月內推出
    的頭像 發表于 02-13 10:02 ?412次閱讀

    谷歌 Gemini 2.0 Flash 系列 AI 模型上新

    任務上表現卓越,擁有 200 tokens 的超長上下文窗口,能精準編寫完整代碼,涵蓋正確的數據結構和搜索算法。在 13 項測試中,它在 Gemini 大家庭里斬獲 11 個第一名,目前
    的頭像 發表于 02-07 15:07 ?693次閱讀

    GPT-5研發進度滯后,成果與成本不匹配

    近日,OpenAI正在緊鑼密鼓地研發的下一代大型語言模型GPT-5,其研發進度已落后于原計劃。這一消息引起了業界的廣泛關注。 報道指出,盡管OpenAI在GPT-5的研發上投入了大量的人力、物力
    的頭像 發表于 12-23 14:16 ?498次閱讀

    OpenAI GPT-5開發滯后:訓練成本高昂

    近日,據最新消息,OpenAI在推進其備受期待的下一代旗艦模型GPT-5的開發進程上遇到了困難。由于計算成本高昂且高質量訓練數據稀缺,GPT-5的開發已經落后于原定計劃半年之久。 據悉,OpenAI
    的頭像 發表于 12-23 11:04 ?697次閱讀

    谷歌正式發布Gemini 2.0 性能提升近兩倍

    在智能體時代,谷歌再次引領技術潮流,正式發布了其最新力作——Gemini 2.0。這款AI模型不僅在性能上實現了顯著提升,更是在模態表現和原生工具應用方面展現了前所未有的強大功能。
    的頭像 發表于 12-12 14:22 ?797次閱讀

    谷歌發布Gemini 2.0 AI模型

    谷歌近日正式推出了新一代AI模型——Gemini 2.0。此次更新引入了名為“深度研究”的新特性,旨在為用戶提供更加全面和深入的復雜主題探索與報告撰寫輔助。 Gemini 2.0通過高級推理和長
    的頭像 發表于 12-12 10:13 ?626次閱讀

    Waymo利用谷歌Gemini大模型,研發端到端自動駕駛系統

    邁新步,為其機器人出租車業務引入了一種基于谷歌模態大語言模型(MLLM)“Gemini”的全新訓練模型——“端到端
    的頭像 發表于 10-31 16:55 ?1661次閱讀

    谷歌Gemini 1.5 Flash模型升級,AI聊天速度飆升50%

    谷歌近期對其Gemini AI系列進行了重大更新,推出了Gemini 1.5 Flash模型。此次升級的核心亮點在于顯著提升了AI聊天的響應速度,官方宣稱最高可達50%的增速,為用戶帶
    的頭像 發表于 09-06 18:06 ?1230次閱讀

    SystemView上下文統計窗口識別阻塞原因

    SystemView工具可以記錄嵌入式系統的運行時行為,實現可視化的深入分析。在新發布的v3.54版本中,增加了一項新功能:上下文統計窗口,提供了對任務運行時統計信息的深入分析,使用戶能夠徹底檢查每個任務,幫助開發人員識別阻塞原因。
    的頭像 發表于 08-20 11:31 ?679次閱讀

    谷歌借助Gemini AI系統深化對機器人的訓練

    了如何利用Gemini 1.5 Pro的強化長上下文窗口功能,極大地優化了用戶通過自然語言指令與RT-2機器人交互的體驗。
    的頭像 發表于 07-12 16:29 ?921次閱讀

    OpenAI GPT-5:未來已來,但何時降臨

    在人工智能領域的浩瀚星空中,OpenAI無疑是那顆最為耀眼的星辰。自其誕生以來,每一次的技術革新都牽動著全球科技愛好者的心弦。特別是當GPT-4在今年5月14日凌晨悄然降臨,以其強大的語言理解和生成能力,再次刷新了人們對于人工智能的認知邊界后,關于下一代大語言模型
    的頭像 發表于 07-03 15:51 ?607次閱讀
    主站蜘蛛池模板: 平果县| 彰化市| 七台河市| 搜索| 松滋市| 临洮县| 清水河县| 汝州市| 盖州市| 武宣县| 蒲江县| 镇原县| 马公市| 托克托县| 寻乌县| 勐海县| 黄冈市| 龙州县| 乡城县| 页游| 阜新市| 泰和县| 芦山县| 裕民县| 宁武县| 清丰县| 金沙县| 图木舒克市| 玉环县| 梅州市| 靖西县| 金寨县| 葫芦岛市| 鄂伦春自治旗| 泾川县| 乡城县| 凭祥市| 鄂托克旗| 舒城县| 沭阳县| 文安县|