当前位置:首页 >> 中药常识 >> 谷歌大牛Jeff Dean撰文:深度学习深入研究的黄金十年|洞见

谷歌大牛Jeff Dean撰文:深度学习深入研究的黄金十年|洞见

发布时间:2024-10-17

读各种学术界理想主义而受到学术界部门的注目。JAX于2018年刊载,这是一个广为流传的一个之中心Python的Linux库,转立体化了复杂的基本功能泛函和最上层XLA编译器,TensorFlow也用作它来有工作效率将驱动器研读数值映射到各种并不相同并不一定的驱动程序上。

TensorFlow和PyTorch等Linux驱动器研读库和物件的越来越进一步怎么特别强调都所谓,它们允荣学术界部门可以并能尝试初衷。随着世界性的学术界部门和扩建工程师越来越轻松地在彼此的临时工一新同步进行构筑,整个课题的重大突破速度快将加快!

深达研读的宝石十年2:学术界成果持续上升 学术界不断赢取退步、一个之中心ML驱动程序(GPU、TPU等)的数值都能不断强立体化、Linux驱动器研读物件(Tensor­Flow、PyTorch等)被较广有别于,这一系列重大突破使得驱动器研读及其系统设计课题的学术界成果急剧缩减。其之中一个强有气的量立体化是刊载到arXiv上关于驱动器研读课题的期刊数量,arXiv是一个广受注目的期刊先为活字共管服务于,2018年刊载的期刊先为活字数量是2009年的32倍以上(每两年激增一倍以上)。通过与多雨观念科学和保健等关键课题的领域专家共同开发,驱动器研读学术界部门将要协助克服对观念有益、促使人类所退步的最重要弊端。可以说我们生活在一个激动人心的时代。

深达研读的宝石十年3:观念科学和扩建工程系统设计持续上升 数值都能的变革官能激增、驱动器研读软驱动程序的退步以及驱动器研读学术界成果的持续上升,都使得驱动器研读系统设计在观念科学和扩建工程课题的持续上升。通过与多雨观念科学和医护健康等关键课题的共同开发,驱动器研读学术界部门将要协助克服对观念有益并促使人类所其发展的最重要弊端。这些观念科学和扩建工程课题包含如下:

生物医学 分子生物学 医护健康 下雨、生态系统和多雨下一场 驱动器人 可次访问官能 个官能立体化研读 数值机辅助的带入官能 最重要的构筑块 Transformers 数值机的系统的 ML

每个细分的详细内容请求详见原文。

深达研读的宝石十年4:驱动器研读的未来会

ML学术界的社区将要消失一些有趣的学术界正向,如果将它们转立体化上去意味著会越来越加有趣。

首先,学术界零散作用于数学模型,比如零散除此以外领域专家结合数学模型(Sparsely-Gated MoE),展示了如何构筑越来越极高容量的数学模型,其之中对于任何也就是说的程序之中(如 2048 个领域专家之中的两至三个),只有一部分数学模型被「作用于」。

其次,学术界基本功能立体化驱动器研读(AutoML),其之中神经框架查询(NAS)或进立体化框架查询(EAS)等上新技术可以基本功能研读ML数学模型或方的极高效结构上或其他之外以对也就是说使命的比率同步进行优立体化。AutoML通常牵涉到运转很多基本功能立体化实验,每个实验都意味著包含为数众多数值。

终于,以几个到几十个涉及使命的合理规模同步进行多使命培训,或者从针对涉及使命的大量样本培训的数学模型之中迁至研读然后针对上新使命在极少量样本上同步进行简立体化,这些方式将已被验证在克服各类弊端时都越来越有工作效率。

一个越来越有趣的学术界正向是把以上三个近来转立体化上去,其之中在大规模ML对撞机驱动程序上运转一个的系统。从前提是培训一个可以执行数千乃至数百个使命的也就是说数学模型。这种数学模型意味著由很多并不相同结构上的方组成,程序之中(example)彼此之间的样本流在逐程序之中的一新是比起动态的。数学模型意味著会用作零散除此以外领域专家结合和研读路由表等上新技术以转立体化成一个越来越极高容量的数学模型,但其之中一个使命或程序之中仅零散作用于的系统之中总方的一小部分。

表1所述了一个多使命、零散作用于的驱动器研读数学模型。

每个方本身意味著将要运转一些类AutoML的框架查询,以使方的结构上适应当路由表到它的样本并不一定。上新的使命可以为了让在其他使命上培训的方,只要它有用就行。Jeff Dean期盼通过越来越大规模的多使命研读、共享方和研读路由表,数学模型可以不断地以极高比率来顺利完成上新使命,即使每个上新使命的上新程序之中比起较极少。主因在于数学模型都能为了让它在顺利完成其他涉及使命时已经赢得的知识和内部表示。

构筑一个都能处理数百万使命并研读基本功能顺利完成上新使命的也就是说驱动器研读是人工智慧和数值机的系统扩建工程课题真正陷入的巨大下一场。这所需驱动器研读演算法、不能接受的 AI(如公正官能和可解释官能)、分布式的系统和数值机框架等很多课题的知识,从而通过构筑一个都能泛立体化以在驱动器研读所有系统设计课题之中统一克服上新使命的的系统,来推动人工智慧课题的其发展。

深达研读的宝石十年5:不能接受的AI整合

虽然AI有都能在人们社会生活的方之外面获取协助,但所有学术界部门和从业员应当维护以不能接受的方式将整合涉及方法,认真送审愚昧、公正官能、个人信息弊端以及其他关于 AI 物件如何运作并直接影响他人的观念因素,并期望以合理的方式将克服所有这些弊端。

制定一套明确的准则来聘请不能接受的AI其发展也很最重要。2018年,网易刊载了一套AI规约,用于聘请行业与AI涉及的临时工和用作。这套AI规约列出了所需考虑的最重要课题,包含驱动器研读的系统之中的愚昧、安全、公正、诚信、透明官能和个人信息。近期,其他统一机构和政府也纷纷效法这一方式,刊载了自己的AI用作规约。Jeff Dean期盼这种近来都能延续下去,直到它不再是一种近来,而成为所有驱动器研读学术界和整合之中遵循的标准。

Jeff Dean对未来会的远景

2010八十年代的确是深达研读学术界和赢取重大突破的宝石十年。1956年埃塞克斯人工智慧讲座上提出的一些最吃气的弊端在这十年赢取了长足退步。驱动器都能以较晚期学术界部门期盼的方式将看到、想起和解释语法。核心课题的尝试促使很多观念科学课题随之而来重大重大突破,不仅手机越来越加智能,而且随着人们再次创建者越来越复杂、越来越有气且对社会生活有协助的深达研读数学模型,未来会有了越来越多的意味著官能。正因如此有气驱动器研读的系统获取的协助,人们将在未来会愈发越来越有带入气和拥有越来越强的都能。

原文链接:

本文转载自驱动器有心,制作部门Jeff Dean,由驱动器有心编译。

关于Delta革命委员会

Delta革命委员会(Alpha Startup Fund)是华北地区领先的较晚期海外投资信托基金,由曾带领Corporation在纳斯达克上市的荣整风运动和从前创上新工场联合管理多家Corporation蒋亚萌在2015年共同始创。

Delta革命委员会信托基金的三大特点是的系统官能海外投资、社交立体化创业的社区货运和重度传统产业资源加快成长。专注在晶圆、行业服务于应用软件、人工智慧系统设计、极高生物科技上新技术、金融生物科技等生物科技创上新课题同步进行较晚期海外投资。目从前已经在守护者轮海外投资了包含黑水尘生物科技、领创集团(Advance Intelligence Group)、Zenlayer、帷幄生物科技、所思生物科技等众所周知的优秀工程项目。

Delta革命委员会赢得36氪“2017亚太区最受创业注目守护者海外投资统一机构Top20”、“2019年华北地区行业服务于课题最受LP注目较晚期海外投资统一机构”、“2019年华北地区行业服务于课题最具发现气海外投资统一机构TOP10”以及“2020华北地区最受创业注目较晚期海外投资统一机构TOP50”、“2021亚太区华北地区最受LP认可较晚期海外投资统一机构TOP30”、“2021年华北地区最受创业注目较晚期统一机构TOP50”、“2021年华北地区跨境搭船课题海外投资统一机构TOP10”银奖;赢得钛媒体“2020 EDGE TOP50海外投资统一机构”;还赢得外祖母信托基金学术界之中心“2018年华北地区较晚期信托基金最佳去向TOP30”、“2019华北地区较晚期信托基金最佳去向TOP30”,以及外祖母信托基金月刊“2020华北地区海外投资统一机构软实气GP100生物科技气Top10”银奖。

创会多家Corporation荣整风运动赢得2020年“福布斯华北地区多家Corporation人100”、投之中“2019年华北地区最佳较晚期Corporation股票TOP50”,以及36氪“2018年华北地区行业服务于课题Corporation股票TOP10”、“2019行业服务于课题Corporation股票TOP20”银奖。创会多家Corporation蒋亚萌赢得2019及2021年“福布斯华北地区多家Corporation人100”、36氪“2019年华北地区之中生代Corporation股票TOP50”大奖。

柳州看男科去哪家医院比较好
秦皇岛男科检查多少钱
私密修复价格
漳州看白癜风去什么医院好
广州看男科医院哪家好
扁桃体炎吃阿莫西林可以吗
全民care
痛风怎样止痛
回南天湿气重吃什么
红草止鼾胶囊在哪里能买到
标签:
友情链接: