转自公众号脑极体
今天是个被AI圈刷屏的日子。
原因不是谷歌新手机和波士顿动力的机器人,而是华为发布了一款新的AI开发平台:ModelArts。
我粗略统计了一下,AI从业者与开发者们之所以瞬间被撩到嗨点,是因为国内看似热闹无比的AI行业,其实已经很久没有AI开发相关的重要项目出来了。ModelArts一出来,有一种终于被重视了的“久旱逢甘霖”体验。
这事其实非常吊诡:AI再怎么宏大叙事,不也要靠开发者一砖一瓦盖起来吗?可偏偏AI行业是PPT逻辑图发了不少,用来干活的家伙却屈指可数。
而AI开发,在今天并不是一个多么成熟的工作,其中问题与矛盾非常显著。
谢天谢地,AI开发者的“吐槽大会”终于结束了
在HC大会第三天,华为云分析了今天AI开发的困境。今天限制AI开发的两个主要因素,一个是快,一个是慢,两者形成了相互依赖的矛盾体,解决一个要依赖另一个的大幅改善。
可以说,这是对AI开发现状的精准判断。
而ModelArts的价值也不仅是刷屏朋友圈,而是与其他AI开发工具一起,从全流程、普惠的角度针对性解决了今天AI开发中几个最明显的“槽点”。
想要明白ModelArts与AI开发生态的背后秘密,咱们要先从这些“槽点”说起。
写到这,其实笔者心中的洪荒之力已经按耐不住了。因为长时间采访AI开发者,笔者电脑和大脑里都存储了无数开发者的吐槽——要不是因为担心收视率不高,我都能做好几期AI吐槽大会了......
谢天谢地,好在这一切终于快结束了。
每一个都是战士:够开几季“吐槽大会”的AI开发者们
好,大家严肃点,下面开始吐槽了。
经过长时间追踪AI开发者,我们的记者团队一致认为今天这个行业都是战士。尤其是那些希望用AI开发来创业的,更是战士中的斯巴达克斯。这里咱们可以看几种最有槽点,不对,是最典型的AI开发案例:
谢天谢地,AI开发者的“吐槽大会”终于结束了
案例1:亲朋好友一起上型AI开发者。我们知道,AI里有个词叫做AI民工,或者数据民工。就是说AI训练之前,其实有大量时间没干别的,就是做数据标记。这个活其实非常简单,但问题是极其枯燥大量重复,并且一旦某些数据标记错,很可能带给开发者后面训练时以“无限惊喜”。
而我们了解到的情况是,虽然大家都在说所谓AI民工,但这个岗位由于非常新颖且上下不靠,即使在大公司也是稀缺资源。而对小团队开发者来说,哪里找AI民工来标记数据啊?所以很多人的解决方案,就是亲戚群里发红包帮标点数据、老同学里叫一声帮我弄点数据,更有甚者我见过朋友圈众筹标数据的——做AI,愣做出了拼多多购物的既视感。
案例2:“Boss求求你了”型AI开发者。这种开发者一般存在于科研机构和高校中,以在读博士为主要人群。他们写完模型,等着变成paper,于是想用学校买的架构验证一下。那么好,先登记排队。轮到号了训练一下一星期过去了,结果发现不太对?挑个参数又一星期,优化一下数据集又一星期。由于师兄师弟不少,还就经常轮不上你。
模型错误几次,这类开发者和他们的导师都很容易抓狂。于是经常出现这样一幕:某某AI博士哭诉“Boss大人求求你了再让我算一次吧”。
谢天谢地,AI开发者的“吐槽大会”终于结束了
案例3:创业焦虑型AI开发者。创业AI开发者,注重更多的是在部署和应用,而巧的是坑也在这里。我们采访过一个案例,开发者做了一个教育类的深度学习算法,但在部署时却发现,TensorFlow上训练的模型不支持大规模GPU并用,给后续带来了无尽麻烦。
部署难,一部署就出错,是很多AI开发者面临的瓶颈。创业团队辛辛苦苦训练了个聪明的模型,一投入应用就变傻子,这感觉岂是一个酸爽了得。
案例4:理想丰满型AI开发者。AI大潮袭来,也催生了很多非科班出身,尤其是IT工程师转型AI。结果一入门发现,各种算法算力算子不计其数,调参配比极其复杂。而且AI的黑箱性还带来一种“养蛊”的快感,入门级选手连错都不知道哪错了。最终只能是AI前景远大,AI理想丰满,AI让我暂时撤退……
案例5:早知如此型AI开发者。AI开发,经常要经过N个版本的优化和再训练,当然这就跟做设计一样,经常结果是第一版最好。于是经常出现老板或者导师沉思了一下,说:我觉得三版之前那个蛮好的,找出来数据再优化一下吧。呵呵哒,三版之前是啥天知地知反正我不知——遇到这种情况,开发者经常只能捶地大喊:早知如此何必……
谢天谢地,AI开发者的“吐槽大会”终于结束了
案例6:对不起有点狂,因为可吐槽的案例实在太多了,就说最后一个吧。还有一种“社区大神”人设的AI开发者,专注混社区五百年。貌似啥都会,就是不会赚钱。我们见过盗用大神分享的工具和数据拿到融资,但大神愣不知道的。AI开发人才如何实现IP保护和变现,其实也是个大问题。
AI开发,是个有多重要就有多少无奈的行当。
好在,以上这密密麻麻的槽点,已经被华为刚发布的ModelArts以及相关工具“一剑斩群寇了”。
让“贝爷”们都进星级厨房:华为做了个什么事?
假如说,开发者是一位位大厨,打算为我们端上美味的AI大餐。
那么今天AI开发的问题,就是大厨们不是穿戴整齐走进厨房煎炒烹炸。而是上山找芯片调算力,下海找人标数据,进林子里采工具,到乱世从中跑训练。好端端的一位大厨,愣被割裂的开发场景和高企的费用给逼成了《荒野求生》的贝爷。
而假如一位厨师要从上山打猎开始做起,又怎么能期望他炖肉效率高呢?
为什么会这样?
原因在于今天的深度学习训练流程,是在一个个偶然、垂直条件下产生的。开发框架有的是最开始仅供少部分科研,有的是仅供企业内部调用;数据集和算子,是经过各种偶然因素,被不同人或组织开源的;AI算力,最早都是附加在IT算力上的“增值服务”。而一些自动机器学习项目,则噱头价值远大于实际部署价值——于是四面奔波,不断解决兼容问题就成了开发者的常规操作。
谢天谢地,AI开发者的“吐槽大会”终于结束了
而华为云刚刚在HC大会上拿出来的ModelArts,特质就在于它把以上场景全都整合到了一套云服务体系下。开发者可以不离开系统,完成从数据标记与训练准备,到训练、调试、推理、部署等所有工作。
这就好比打造了一整套星级厨房,里面有水电燃气,各种厨具食材,那么开发者将省去前面无比漫长的准备工作,直接一展厨艺可矣。
具体来说,名为ModelArts的厨房,跟以前常规用的“野炊”模式相比,有四大直观改变:
一、食材随意购
AI开发者能够快速完成数据标记,就像厨师能够快速买到食材一样重要。毕竟做厨师,没有先从养殖场干起的——知道的我是AI开发者,不知道还以为我是数据农家乐呢!
针对最耗时的数据标记环节,ModelArts内置了AI数据框架,以AI机制来治理数据,用迭代训练来解决标注的数据量问题。也就是让AI来完成数据标注本身,不断优化数据集,从而让数据标注与准备效率百倍提升。
当然,数据还是开发者来准备,只是准备体验将获得巨大跃升。
二、开灶有火
AI模型的训练速度,关乎于AI算力的提供,也关乎于训练平台的路径优化。AI训练过程就像点火做饭,火够大当然炒菜更快。针对训练效率问题,ModelArts通过各类优化技术,达成了在同样的模型、数据集和同等硬件资源情况下,模型训练耗时降低一半——换句话说,这意味着同样算力可以供给多一倍的开发者使用。
谢天谢地,AI开发者的“吐槽大会”终于结束了
三、厨具齐全
上面说过,AI最怕部署,有些AI模型甚至有“见光死”的特点。尤其面对部署在不同的软硬件架构上,给人一种东家借口锅,西家偷个铲的感觉。而基于全栈AI解决能力,ModelArts实现了一键推送模型到所有边缘、端的设备上的能力,并支持在线部署和批量推理,满足大并发和分布式这些最困难的部署方式。可谓一应出具俱全,做出什么菜式都不在话下。
四、还有厨房家电都能帮忙
AI开发者的最后问题,可能是机器学习训练中的技术门槛。针对于此,ModelArts不仅给出了明确的教学演练,还创造性地引入了AI自动学习功能,包括模型的自动设计与自动调参等,可以给开发者智能化帮助。
此外,ModelArts还实现了全流程可视化管理,不管丢在哪里的数据和模型都能准确找到,这也间接有利于AI黑想象的攻克。
这些蕴藏的“AI黑科技”,就像冰箱微波炉这些现代厨房神器,以AI开发AI,降低开发者技术门槛,或许是接下来新的潮流。
值得注意的是,华为云这次不光发布了“厨房”,还带来了“餐厅”。于是我们看到了机器视觉开发平台HiLens,以及离线开发套件Atlas 200 、量子计算模拟器与编程框架HiQ,让开发者可以模拟重要环境的实际应用场景。
据华为云介绍,ModelArts将在年底前上线,我们会第一时间带来上线评测。
全栈AI的第一个红利:为什么ModelArts敢说“全生命周期”?
在采访中,华为云认为,目前业界的AI开发平台,问题是都相对场景单一,不够全面。而ModelArts则率先做到了全生命周期开发,可以支撑和管理AI开发当中的每一个环节。上面我们也说过,将割裂场景整合到一起,构成全生命周期AI开发,是ModelArts倒逼解决慢与贵的核心优势。
这里有个问题值得注意,相信也是大家所关心的:显然每个人都知道厨房更好用,不想去野地里做饭,那么为什么只有华为的ModelArts,在今天敢说自己是“全生命周期”?
谢天谢地,AI开发者的“吐槽大会”终于结束了
我们或许可以这样理解:在华为全栈AI体系刚刚发布48小时,ModelArts与视觉AI应用开发平台HiLens、离线开发套件Atlas 200 、量子计算模拟器与编程框架HiQ四件套代表的AI开发平台已经变成了第一个红利级产品。事实上,ModelArts本身就是华为全栈AI体系的组成部分。与芯片、架构、AI使能平台紧密相连,从而能够一个场景跑通所有数据、训练、推理的需要。可以说是刚刚发布的华为全栈AI,探出的第一根触手。
其次,全生命周期的AI开发,算力是一切的基础。在昇腾芯片到来后,华为获得了能够组织大规模AI并联算池的机会,从而可以保证全场景AI开发运行无阻。这里有一个环环相扣的AI推导逻辑。
再者,我们确实可以看到,今天无论是世界巨头还是独角兽公司。所推的AI开发平台都是基于自身的业务考量。不会有公司推出一个与自己业务不想关,甚至自身能力之外的AI开发平台。所以我们看到AI开发场景,依然是东一榔头西一棒子的状态。
而华为云,则是围绕用户为中心打造了AI开发平台,以不让开发者奔波为第一思路。并且确实认真看了哪些复杂可以留给自己,找到了很多关键矛盾的背后逻辑,并将之消解化。这归因于华为的IT储备优势,但更归因华为云“复杂的归自己”以及“解决实际问题”两大核心理念。
对比之下,以往的AI开发平台,更多是以自身产业利益为视角构建产品,而不是以开发者为出发视角,或者说不具备以开发者为中心,清扫问题的产业条件。
谢天谢地,AI开发者的“吐槽大会”终于结束了
当全生命周期的AI开发平台开始出现,本质上意味着某些AI产业的“黑历史”将开始瓦解。无论是华为云还是其他品牌,很快会让AI开发变成一个拼创意与想象力的游戏——而不是劳动力、资金成本与技术门槛相互竞底的搞笑节目。
未来的某个时刻,我们会回想起那段AI开发能开“吐槽大会”的日子,后辈会觉得简直不可思议,往事杯酒,几成笑谈。
但那时已经遍布AI的世界,却并不会笑我们。因为从钻木取火,到探索人工智能,历史会记住每一位开发者都是伟大的。