當前位置:
首頁 > 新聞 > ICML 上有19場 DeepMind的論文演講,多到看不過來了 | ICML 2017

ICML 上有19場 DeepMind的論文演講,多到看不過來了 | ICML 2017

雷鋒網 AI 科技評論按:ICML 2017馬上就要在悉尼舉行了。ICML (International Conference on Machine Learning)與每年年底舉行的NIPS(Conference on Neural Information Processing Systems)是機器學習與人工智慧研究領域影響力極高的兩個主要會議,另外上半年舉行的 ICLR(International Conference on Learning Representations)也有後來居上的趨勢。

ICML 2017的會議時間是8月6日到8月11日,悉尼的跟北京的時差也僅僅有兩個小時而已,所以很快就要到了。其實 ICML 2017 接收論文名單早在5月就公布了,不過 DeepMind 還是想提醒參會者們關注一下自己的論文,所以今天在自己研究 blog 上發出了一份論文演講清單。

這份清單中一共有 19篇論文,也就是19個論文演講,其實 DeepMind 在此屆 ICML 上收錄的論文本來也有25篇之多。一個 19 篇論文的清單太長了,以至於 DeepMind 都把這份清單分成了3篇來發。

論文這麼多,雷鋒網 AI 科技評論這裡為大家簡單介紹其中3篇。

Sharp Minima Can Generalize For Deep Nets
  • 深度神經網路中尖銳的最小值也可以讓模型具有泛化能力

  • 論文作者:Laurent Dinh (Univ. Montreal), Razvan Pascanu, Samy Bengio (Google Brain), Yoshua Bengio (Univ. Montreal)

  • 論文簡介:雖然深度學習架構的過擬合能力強得過頭了一點,不過它們對於全新數據的泛化能力還是相對不錯的,這樣就可以用它們來解決一些實際問題。然而,解釋這種狀況背後的機理仍然是研究中的一個富有開放性的問題。有一種假設最近得到了越來越多的關注,就是基於隨機梯度的方式找到的損失函數的最小值,它的平滑度越高,模型的泛化性能就越高。這篇論文提出了這樣的觀點:多數關於平滑度的想法對於深度神經網路都不貼切,而且沒辦法直接用來解釋泛化性。具體討論帶有激活函數的深度神經網路的話,可以得出由繼承對稱性引出的這些網路架構的參數空間的特定幾何結構,利用這些幾何結構可以構建出跟任意更尖銳的最小值等效的模型。更進一步地,如果允許對一個函數重新參數化,它的參數幾何結構可以大幅度變化,但並不影響它的泛化屬性。

  • 論文地址:https://arxiv.org/abs/1703.04933

  • 論文演講:Monday 07 August, 11:06-11:24 @ C4.8

  • 海報地址:Tuesday 08 August, 18:30-22:00 @ Gallery #3

Learning to learn without gradient descent by gradient descent

  • 無需梯度下降的梯度下降,學會一個會學習的模型

  • 論文作者:Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas(全部都是 DeepMind 英國團隊成員)

  • 論文簡介:藉助梯度下降的方法,可以用簡單的生成函數訓練,學到循環神經網路(RNN)優化器。可以表明,這些學到的優化器展現出了相當高的遷移能力,它們可以用來高效地優化很多種不可導的「黑盒」函數,包括 bandit 環境下的高斯過程、簡單控制對象、全局優化benchmark和超參數調節任務。在訓練層面上,學到的優化器可以學會在應用和探索中找到平衡,並且根據自己的偏好在高度工程化的貝葉斯優化方法集中選擇適合做超參數調節的方法。

  • 論文地址:https://arxiv.org/abs/1611.03824

  • 論文演講:Monday 07 August, 17:15-17:33 @ Darling Harbour Theatre

  • 海報地址:Tuesday 08 August, 18:30-22:00 @ Gallery #6

  • 雷鋒網 AI 科技評論註:這篇論文的名字很有特點,而且論文一作也是華人,我們已經叮囑了前方記者特別關注一下,請期待我們的好消息

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

  • 用 WaveNet 自動編碼器神經網路生成樂音

  • 論文作者:Sander Dieleman, Karen Simonyan, Jesse Engel (Google Brain), Cinjon Resnick (Google Brain), Adam Roberts (Google Brain), Douglas Eck (Google Brain), Mohammad Norouzi (Google Brain)

  • 論文簡介:在演算法進步和高質量圖像數據集這兩個因素的幫助下,視覺方面的生成式模型已經得到了快速的發展。這篇論文為音頻領域的這兩個因素都做出了貢獻,以便音頻模型也可以有更大的發展空間。首先,作者們詳細介紹了一個優越的新型 WaveNet 樣式的自動編碼器模型,它對應著一個能從原始音頻波形學到臨時編碼的自回歸解碼器。其次,作者們介紹了 NSynth,這是一個大規模、高質量的音樂數據集,它比現有的公開數據集規模要大一個數量級。藉助 NSynth,論文中展現出,相比一個完善優化過的頻譜自動編碼器基準模型, WaveNet 自動編碼器在定量和定性表現上都有提高。最後,論文表明這個模型可以學到多種embedding,從而可以在樂器之間轉化、在音色中做有意義的插值,創造出真實動人的新的類型的聲音。

  • 論文地址:https://arxiv.org/abs/1704.01279

  • 論文演講:Tuesday 08 August, 14:42-15:00 @ Parkside 1

  • 海報地址:Tuesday 08 August, 18:30-22:00 @ Gallery #98

其它 16 篇演講論文

  • Decoupled Neural Interfaces using Synthetic Gradients

    • https://arxiv.org/abs/1608.05343

  • Parallel Multiscale Autoregressive Density Estimation

    • https://arxiv.org/abs/1703.03664

  • Understanding Synthetic Gradients and Decoupled Neural Interfaces

    • https://arxiv.org/abs/1703.00522

  • Minimax Regret Bounds for Reinforcement Learning

    • https://arxiv.org/abs/1703.05449

  • Video Pixel Networks

    • https://arxiv.org/abs/1610.00527

  • Why is Posterior Sampling Better than Optimism for Reinforcement Learning?

    • https://arxiv.org/abs/1607.00215

  • DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

    • http://arxiv.org/abs/1707.08475

  • Automated Curriculum Learning for Neural Networks

    • https://arxiv.org/abs/1704.03003

  • A Distributional Perspective on Reinforcement Learning

    • https://arxiv.org/abs/1707.06887

  • A Laplacian Framework for Option Discovery in Reinforcement Learning

    • http://proceedings.mlr.press/v70/machado17a/machado17a.pdf

  • Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

    • https://arxiv.org/pdf/1706.08606.pdf

  • Count-Based Exploration with Neural Density Models

    • https://arxiv.org/abs/1703.01310

  • The Predictron: End-to-End Learning and Planning

    • https://arxiv.org/abs/1612.08810

  • FeUdal Networks for Hierarchical Reinforcement Learning

    • https://arxiv.org/abs/1703.01161

  • Neural Episodic Control

    • https://arxiv.org/pdf/1703.01988.pdf

  • Neural Message Passing Learns Quantum Chemistry

    • https://arxiv.org/abs/1704.01212

對後16篇論文演講時間和海報地點感興趣的讀者,可以訪問 DeepMind 原博具體查看。這裡是論文清單3篇里第一篇的地址,在文末有指向另外兩篇的鏈接。

不能親臨 ICML 2017 的讀者,可以先看看以上的論文,並期待我們的會議相關報道;能夠到現場的呢,雷鋒網 AI 科技評論就跟你們現場見!

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雷鋒網 的精彩文章:

原谷歌無人車負責人 Chris Urmson 創辦的 Aurora 拿到加州路測牌照了
小心,你的Echo可能是個竊聽器!
英富豪贊助藥品公司用人工智慧尋找抗衰老捷徑;天津全運會現場將採用人臉識別監控系統 | AI掘金晚報
智融集團 CEO 焦可:傳統金融是少數人的不平等金融
蔚來CEO李斌:大數據、AI、用戶服務理念將成為推動汽車迭代的核心力量

TAG:雷鋒網 |

您可能感興趣

ICLR 2018 DeepMind論文精華一覽
ICLR 2018最佳論文:AMSGrad能夠取代Adam嗎
ICLR 2018最佳論文AMSGrad能夠取代Adam嗎
EMNLP 2018 | 最佳論文出爐:谷歌、Facebook、CMU上榜
EMNLP 2018|最佳論文出爐:谷歌、Facebook、CMU上榜
Siamese:CVPR 2019 接收論文作者為你解讀視頻跟蹤領域 | CVPR 2019
NeurIPS 2018,最佳論文也許就藏在這30篇oral論文中
Facebook 17篇ECCV 2018 錄用論文打包
KDD2019最佳論文;AutoML SOTA 綜述
論文h-index過低,ACL2020主席遭匿名攻擊
ICML 2019錄取結果出爐,Ian Goodfellow等入選論文推薦
300篇 CVPR 2019 Oral 論文精選匯總,值得一看的 CV 論文都在這裡
ICLR 2019評審Top 200論文+熱詞,不在Top 200也可以計算名次
商湯 37 篇論文入選 ECCV 2018,開源 mm-detection 檢測庫
一文盡覽 ICLR 2019 Facebook & Google 入選論文
37 篇!Facebook 今年被 CVPR 收錄的論文都說了啥?
ICLR 2018 最佳論文公布:Adam 的收斂性,球面 CNN, 連續適應獲獎
谷歌CVPR最全總結:45篇論文,Ian Goodfellow GAN演講PPT下載
BMVC 2018 | 最佳學生論文:EPFL&FAIR提出QuaterNet,更好地解決人類動作建模問題
CVPR 2018論文解讀 | 學習在黑暗中看世界(Learning to See in the Dark)