案例展示
您的位置:主页 > 案例展示 >

工程师们为人工智能瓶颈提供了聪明、及时的解

日期:2020-06-14 04:31

  林英彦(音)说:“题目是,对付目前呆板进修最进步的大周围深层神经搜集来说,通盘体例运转所需的90%以上的电力泯灭正在存储器和打点器之间的数据转移上。”。

  Lin和协作家提出了两种互补的技巧来优化以数据为中央的打点,这两种技巧都正在6月3日的邦际盘算推算机体例组织研讨会(ISCA)进步行了先容,这是相合盘算推算机体例组织新思思和磋商的合键集会之一。

  数据中央架构的驱动力与一个称为冯·诺依曼瓶颈(von Neumann瓶颈)的题目相合,这是一个功用低下的题目,源于盘算推算架构中的内存和打点差别,自1945年数学家约翰·冯·诺依曼发觉数据中央架构以后,这一题目向来占领着登峰制极的位子。通过将内存与顺序和数据差别,von Neumann架构应允一台盘算推算机具有难以置信的众功用性;遵照从内存中加载的存储顺序,盘算推算性能够用来实行视频通话、企图电子外格或模仿火星上的气候。

  然则将内存与打点离开也意味着尽管浅易的操作(如加2加2)也需求盘算推算机打点器众次访候内存。深度神经搜集中的大批操作使这种回想瓶颈变得更糟,深度神经搜集是通过“磋商”大批先前示例来进修做出人性化决议的体例。搜集越大,它能够杀青的使命就越坚苦,而且显示的搜集示例越众,它的实行成果就越好。深度神经搜集演练或许需求特意的打点器库,这些打点器需求全天候运转一周以上。基于智能搜集正在智熟手机上实行使命能够正在不到一个小时的时候内耗尽电池电量。

  赖斯高效智能盘算推算(EIC)尝试室主任林说:“人们普通以为,对付呆板进修时间的以数据为中央的算法,咱们需求革新的以数据为中央的硬件架构,但呆板进修的最佳硬件架构是什么?”

  她说:“没有一个谜底是全能的,由于差异的操纵顺序需求的呆板进修算法正在算法组织和庞杂度方面或许有很大的差异,同时具有差异的使命精度和资源泯灭,如能源本钱、延迟和模糊量折衷央求。很众磋商职员正正在实行这方面的磋商,英特尔、IBM和谷歌等至公司都有我方的策画。”

  正在ISCA 2020上,Lin的小组做了一个讲述,供给了实时的结果,这是她和她的学生为“内存打点”(PIM)开拓的一个革新架构,是一种将打点引入内存阵列的非von Neumann技巧。一个有出息的PIM平台是“电阻随机存取存储器”(ReRAM),一品种似flash的非易失性存储器。假使仍然提出了其他的ReRAM-PIM加快器架构,但林说,正在10众个深度神经搜集模子上运转的尝试觉察,应时的ReRAM-PIM加快器的能效抬高了18倍,其盘算推算密度是最具角逐力的最进步ReRAM-PIM加快器的30倍以上。

  TIMELY是“时域、内存实行、限制性”的缩写,它通过撤消经常访候主内存以打点中心输入和输出以及当地内存和主内存之间的接口而导致功用低下的合键成分来告终其功能。

  正在主存储器中,数据以数字格式存储,然则当将其带入当地存储器以实行内存中打点时,务必将其转换为模仿量。正在以前的ReRAM PIM加快器中,结果值从模仿转换为数字,然后发送回主存储器。要是将它们从主存储器挪用到当地ReRAM以实行后续操作,则它们将再次转换为模仿信号,依此类推。

  通过利用当地存储器中的模仿式子缓冲区,实时避免了不需要的访候主存储器和接口数据转换的开销。如许,TIMELY简直能够将所需的数据保存正在当地存储阵列中,从而大大抬高了功用。

  该小组正在ISCA 2020上提出的第二个提议是SmartExchange,该策画勾结了算法和加快器硬件革新以精打细算能源。

  “访候主存储器(DRAM)的能量要比实行盘算推算众花费200倍,所以SmartExchange的环节思思是强制实行算法中的组织,使咱们能够将本钱较高的内存换成本钱更低的内存,本钱盘算推算。”

  她举例说:“比如,咱们的算法有1000个参数。正在古代技巧中,咱们将全豹1,000个存储正在DRAM中,并遵照盘算推算需求实行访候。利用SmartExchange,咱们探寻以找到这1,000个中的某些组织。然后,咱们只需求存储10个,由于要是咱们真切它们之间的相干, 10和其余的990,咱们能够盘算推算990中的任何一个,而不必从DRAM挪用它们”。

  她说:“咱们将这10个称为‘底子’子集,其思法是将它们存储正在亲热打点器的当地场所,以避免或大幅度削减为访候DRAM而付出的用度”。

  磋商职员利用SmartExchange算法及其自界说的硬件加快器对七个基准深度神经搜集模子和三个基准数据集实行了尝试。他们觉察,与最进步的深度神经搜集加快器比拟,该组合将恭候时候削减了众达19倍。[TechWeb]

  矜重声明:东方财产网揭晓此音信的主意正在于传扬更众音信,与本站态度无合。

  5178点五年:基金赚超6% 11只暴涨100%!若何做到?100强名单也来了

  A股5178点五周年记:超1800股跌超50% 翻倍股缺乏100只 最强暴涨7.8倍

  创业板注册制正式落地 专家全方位解读来了!下周一发端受理!十大重点速览!

  红星本钱局 潜藏三年一朝翻倍,“股神”葛卫东炒股炒出180亿身家,他最偏心两类股票

  奇葩!女子买耽误险获赔300万,人才照旧盗贼?保障公司该不该愿赌服输?动用刑责是否适当?来看这些细节

  一周港股IPO : 京东获近40万人认购,海吉亚、永泰生物、康基医疗下周即将招股