本文转自 半导体芯闻
导读:在一片红海的AI芯片市场里,FPGA已悄然杀出一条生路。
随着大数据发展和算力的提升,AI芯片正迎来新一轮的爆发期。
近两年来,越来越多以FPGA切入AI芯片的玩家涌现出来,包括国内AI芯片创企深鉴科技、百度XPU、微软Project Brainwave、深思考医疗影像专用AI芯片等等。
尽管ASIC在性能功耗上往往有更好的表现,不过我们发现,在一片红海的AI芯片市场中,FPGA凭借自己独特的优势占有了一席之地。甚至有媒体报道称,FPGA是AI芯片的终极未来。
这一观点是否准确我们暂且不论,但它的确在AI芯片领域引起了不少波澜,也不禁让我们想要问一句,“AI芯片新救星?FPGA真的这么神吗?”
FPGA届的肯德基跟麦当劳:赛灵思vs英特尔Altera
FPGA(Field-Programmable Gate Array)即现场可编程门阵列,其灵活性介于CPU、GPU等通用处理器和专用集成电路ASIC之间,在硬件固定的前提下,允许使用者灵活使用软件进行编程。它的开发周期比ASIC短,不过相对于批量出货ASIC,单个FPGA的成本会更高。
由于FPGA容错空间相对更大,以前FPGA常被用作ASIC芯片流片前的硬件验证方法。
目前,FPGA芯片的主要四家生产厂家都在美国:Xilinx(赛灵思)、Altera(阿尔特拉)、Lattice(莱迪思)和Microsemi(美高森美)。它们一共占了98%以上的市场份额,其中,绝大多数市场被赛灵思和Altera瓜分,赛灵思约占49%,Altera约占39%。
近三年,FPGA行业完成了多项并购。2015年6月,英特尔宣布以167亿美元收购Altera(阿尔特拉)。2016年上半年,紫光在公开市场收购莱迪思6.07%的股权,同年11月莱迪思被Canyon Bridge以13亿美元收购,但此案一直没有获得美国监管单位同意。
这些并购案并未影响到FPGA在AI芯片市场的整体格局。几乎二分天下的赛灵思和英特尔确立了相似的FPGA战略布局,均将重心放在了数据中心市场,并都致力于让FPGA编程更简单。
1、FPGA的创造者——赛灵思
说到FPGA,绝对避不开的公司就是赛灵思,因为这项芯片技术就是赛灵思开创的。从2011年起,赛灵思提出全可编程(All Programmale)理念,将FPGA技术从传统的通讯、航空、国防等领域拓展到了AI和云计算领域的应用。
作为FPGA行业长期的霸主,赛灵思拥有超过2万家下游客户,其中亚马逊AWS、以及中国的BAT云服务巨头都是它的客户。
今年3月,赛灵思新CEO Victor Peng上任之后不久,就宣布了赛灵思在AI时代的三大战略布局:数据中心优先、加速八大主流市场发展、以及重磅推出全新一代AI芯片架构ACAP。
首款代号为“珠穆朗玛峰(Everest)”的ACAP AI芯片新品将采用台积电7nm工艺打造,今年内实现流片,2019年向客户交付发货。(首发!赛灵思推颠覆性AI芯片 正面宣战英伟达英特尔)
而在终端AI方面,赛灵思则在今年收购了国内三大AI芯片独角兽之一的深鉴科技,主攻终端人工智能。深鉴科技是国内少数以FPGA切入AI芯片、并取得不错成果的代表性玩家之一。
2、英特尔收购Altera
另一个FPGA行业不得不提的大事就是英特尔收购Altera。为了增强其在AI芯片领域的竞争力,2015年,英特尔以167亿美元天价收购Altera,这也是迄今为止英特尔史上最大手笔的收购。英特尔随即设立研发FPGA芯片的可编码部门(PSG)。
FPGA是英特尔的AI芯片布局之一,但英特尔最重要的AI芯片项目还是难产多年的Nervana神经网络处理器项目。
英特尔采用双管齐下的FPGA战略:一方面打造CPU-FPGA混合器件,让FPGA与处理器协同工作;另一方面基于Arria FPGA或Stratix FPGA打造可编程加速卡(PAC/programmable acceleration card)。
基于FPGA技术,英特尔已经构建了一个完善的NFV生态,覆盖软硬件厂商、系统集成商、电信运营商、OTT厂商等相关企业。
此外,英特尔还为OME厂商提供一个面向包含FPGA的英特尔至强可扩展处理器的英特尔加速堆栈,进而为客户提供完整的软硬件一体的FPGA解决方案。
英特尔在7月收购芯片公司eASIC后将其并入PSG部门,并随后透露这一收购案主要是为了满足解决客户痛点,满足FPGA客户端的降低成本和能耗需求,并提供可降低16nm、10nm、7nm制程的FPGA产品成本的规模化技术。
目前加速卡还是FPGA进入硬件领域的主要形态之一,不过英特尔已经在进行其他方向、其他形态的探索,并在积极推进和其他数据中心OEM厂商在FPGA方面的合作。
FPGA AI芯片市场的主要玩家
近两年来,FPGA在数据中心的应用日益广泛。目前,FPGA服务器已在全球七大超级云计算数据中心IBM、Facebook、微软Azure、AWS、百度云、阿里云、腾讯云得到部署。由于ASIC路线风险高,目前仅有谷歌批量部署TPU。
1、最会玩FPGA的微软AI:BrainWave项目
微软Azure与FPGA的渊源可以追溯到八年前,当时的Bing(必应)搜索引擎无论是搜索结果还是相应速度都比不过谷歌搜索。为了满足Bing的需求,2010年底,一位微软研究员提出了能在FPGA上运行Bing机器学习算法的硬件设计得到了微软的认可。
如今,FPGA在加速数据处理方面的出色表现使它在微软Bing、Azure云计算服务和Office 365中均得到部署。
今年3月26日,微软Bing官方微博宣布通过英特尔Arria FPGA和Stratix FPGA芯片打造出Project Brainwave深度学习加速平台。该平台将DNN处理单元整合入FPGA,支持微软Cognitive Toolkit、谷歌Tensorflow等流行深度学习框架的软件栈,能够执行Bing智能搜寻功能所需的大规模机器阅读理解任务。
在5月微软Build 2018大会上,微软AI芯片Brainwave开放了云端试用版,开发者现在可以接入微软Azure云,试用由Project Brainwave芯片计算平台提供的AI服务。微软称其延迟比谷歌TPU低5倍,正面对标谷歌。Project Brainwave可以看作微软基于英特尔FPGA芯片打造的低延迟AI芯片。
总的来说,微软基于FPGA打造的AI芯片是目前业内最认可的FPGA方案之一。
2、百度XPU
相比微软对英特尔FPGA的专一,百度对FPGA生产厂商的态度更为开放。从2011年起,百度已就开始将FPGA应用到搜索、图像、语音等多个核心业务,它的数据中心、云计算平台和自动驾驶项目都部署了大量的FPGA。
在去年加州Hot Chips大会上,百度发布和赛灵思合作完成的基于FPGA的256核云计算加速芯片XPU。基于FPGA加速器擅长处理计算任务的特点,XPU兼具GPU的通用性和FPGA高效率、低能耗的特点,旨在处理多样化的计算任务,对百度深度学习平台PaddlePaddle优化和加速,并实现性能和效率的平衡。
不过,在今年的百度AI开发者大会上,百度推出了首款云端ASIC AI芯片昆仑,据说就是源自百度的XPU技术。
此外,百度和英特尔已有超过十年的合作历史,近两年双方在AI领域的合作加强。
同样是在今年的百度AI开发者大会上,英特尔人工智能事业部副总裁兼人工智能架构总经理Gadi Singer透露,百度正在开发基于英特尔最新FPGA技术的异构计算平台,这项技术将灵活加速百度云上的工作负载。
3、深鉴科技
深鉴科技是国内一家年轻却履历亮眼的AI芯片公司,前年成立,去年年初估值超过10亿,今年7月18日被全球第一大FPGA厂商赛灵思收购,其科研成果也在国际AI顶级会议屡获大奖。
FPGA开发难度大、周期长(一般需要3-6个月)的高门槛曾将许多公司拒之门外,深鉴从这一痛点嗅到商机。从2016年成立以来,深鉴科技一直基于赛灵思FPGA技术平台开发机器学习解决方案。经深鉴科技优化的神经网络剪枝技术运行在赛灵思FPGA器件上,可实现更优的性能和能效。
该公司提出深度学习处理单元DPU(Deep Learning Processing Unit)系列,为不愿直接使用FPGA的厂商提供了一个带接口的黑盒子。厂商只需把自己的模型训练好,将模型和数据从接口导入,就能直接获得需要的输出。深鉴负责其中的压缩和编译,生成指令可在FPGA上运行。
▲DPU 系列:用于嵌入端的亚里士多德板(上)和用于大数据端的笛卡尔板(下)
不过在后期,深鉴科技也开始涉足ASIC AI芯片的设计与流片,曾经发布“听涛”、“观海”两款AI芯片并宣布2018年流片,不过暂时没有看到相关产品信息。
4、腾讯云、华为云、阿里云
近年来,赛灵思和英特尔在中国云服务市场可谓是动作频频,和华为云、阿里云、腾讯云等国内顶尖的云计算服务提供商分别展开合作。
去年年初,腾讯云发布国内首款高性能异构计算基础设施——FPGA云服务器,随后推出基于赛灵思VU9P FPGA卡的FX3实例和基于Intel Stratix10 FPGA卡的FI3实例。
华为云也在今年年初联合赛灵思FPGA宣布在欧洲首次推出华为云FPGA加速云服务器(FACS)平台,该平台搭载了赛灵思高性能 Virtex UltraScale+ VU9P FPGA,为用户提供高性能的FPGA加速云服务。华为云还推出FPGA加速云服务器FP1 DPDK实例和推出了FP1 OpenCL实例。
今年5月,阿里云发布新一代FPGA计算实例F3,采用其自研高性能FPGA加速卡,搭载赛灵思16nm Virtex UltraScale+器件VU9P,提供16个VU9P实力规格,首创统一FPGA SHELL架构和FPGA虚拟化支持方案,使阿里云客户能加速机器学习、数据分析、基因组学和视频处理等多种工作负载。
5、其他玩家
目前,国内能够生产FPGA的公司包括紫光国芯、智多晶和AgateLogic等。而国内深思考人工智能、瑞为智能、深维科技、高云半导体、安路科技、京微雅格等公司,都曾宣布具有基于FPGA的AI芯片开发能力。
除了创企外,国内研究机构如北京大学、清华大学、中国科学院等在基于FPGA的AI芯片领域都有深入研究。比如,北京大学曾联合商汤科技提出一种基于 FPGA 的快速 Winograd 算法,可大幅降低算法复杂度,改善 FPGA 上的 CNN 性能。
FPGA在AI芯片行业的发展趋势
目前FPGA在AI芯片行业呈现出几种不同的发展趋势,一个是在FPGA的基础上推出优化架构,一个是最大化程度挖掘FPGA的使用疆域,还有一个是将FPGA作为跳板,逐步转向专用定制芯片ASIC。
1、基于FPGA优化架构
基于FPGA进行优化架构的发展路线以赛灵思为代表。面对价格贵、开发难度大的问题,今年3月,赛灵思发布历时4年、投入超过10亿美元打造的新一代AI芯片架构ACAP,直接宣战英伟达、英特尔处理器。
2、长期最大化使用FPGA
微软则是长期最大化程度挖掘FPGA使用边界的典型玩家。从八年前起,微软就执着于将FPGA作为其核心AI计算平台。从使用装满FPGA的专用服务器集群,到用专用网络连接的FPGA加速卡集群,再到将共享数据中心网络的大规模FPGA云服务,微软一直在尝试FPGA部署的各种可能,寻找将FPGA优势发挥的最优路径。
3、FPGA的终点是ASIC?
目前,业内的主流观点是:随着AI算法的进一步成熟固化,AI芯片最终会走向ASIC——也就是较为固定的芯片架构。
不过,赛灵思CEO Victor Peng持有不同观点,他告诉智东西,AI算法迭代、应用创新的速度还将持续很长一段时间,甚至会维持10-20年之久,因此一款灵活、可应变的计算平台将成为创新的重中之重。
而且,未来最终并不会是一款AI芯片架构统一天下的局面,我们越来越需要能够适应众多AI应用、适应不断变化的AI算法的新型芯片架构出现。
结语:深度学习加持,FPGA前景可期
最近一年,AI芯片踏入红海,除了赛灵思、英特尔等传统芯片巨头外,国内外众多AI芯片创企也纷纷加入战场。FPGA的可编程性使软件和终端应用公司能够根据算法灵活修改解决方案,这让它在AI芯片市场愈发有存在感。
当下AI仍处于早期阶段,AI算法正从训练环节走向推理环节,这个过程需要对训练后的模型进行压缩,在基本不损失模型精度的情况下将模型压缩到原来的几十分之一。在这一阶段,AI是向着有利于FPGA发展的方向进行优化和升级的。
FPGA或许只是小众的芯片,但在AI市场上,它的普适性和灵活性都使其有适合发挥其优势的应用场景。在各类AI芯片之间没有拉开绝对差距之前,每一种技术路线都有其发挥更多价值的空间。