北京时间11月7日,MLPerf基准联盟发布首轮AI推理基准测验成果,阿里巴巴平头哥的AI芯片含光800在Resnet50基准测验中取得单芯片功能榜首。
MLPerf 推理基准测验设有五个基准,每个对应四种场景,要点面向图画分类、目标检测和机器翻译等常见机器学习使命。测验者能够再一次进行挑选提交任何基准及相应场景的成果。
含光800参与了适用于图画分类使命的Resnet50v1.5基准测验,在离线形式(Offline mode)、服务形式(Servermode)、多路形式(Multi stream mode)和单路形式(Single stream mode)四个场景都取得了单芯片榜首的成果。
离线形式测验的是芯片推理的最大吞吐量,最能检测芯片的核算、存储、通讯等基本功。含光800的成果为69306.60IPS,单芯片功能是谷歌TPUv3的8.5倍、Nvidia T4的12倍。
MLPerf是业界首套衡量机器学习软硬件功能的通用基准,由图灵奖得主David Patterson联合谷歌和几所闻名高校于2018年建议。
MLPerf基准联盟现有50多家成员,包含谷歌、微软、Facebook、阿里巴巴等企业和斯坦福、哈佛、多伦多大学等高校。
继AI练习基准v0.5、v0.6之后,MLPerf在本年6月推出AI推理基准v0.5。参与本轮推理基准测验并提交成果的公司共14家,谷歌(TPUv3)、英伟达(T4、RTX、Xavier)、英特尔(CLX 9282、NNPI-1000)、Habana(Goya)等出现了当时AI推理体系最高水平的竞逐。
本年9月面世的含光800是阿里巴巴榜首款正式流片的AI芯片,根据台积电12nm工艺出产,其功能打破得益于软硬件的协同规划:选用平头哥自研架构,有用下降内存拜访延时;集成达摩院的立异算法,深度优化CNN及视觉类算法,大幅提高视觉核算功率。
含光800大多数都用在云端视觉场景,现已大规模应用于阿里巴巴集团内多个场景,如视频图画识别/分类/查找、城市大脑等,未来还可应用于医疗印象、无人驾驶等范畴。
往后,含光800的算力将经过阿里云对外输出。

