- 手机版
- |
-
作者:爱芯元智
近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。
2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。
(资料图片仅供参考)
image001.png
Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。
作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。
image002.png
具体来看,361帧的高性能,可媲美汽车自动驾驶领域基于GPU的高端域控SoC;而80.45%的高精度成绩同样高于市面平均水平;199 FPS/W的速度则充分体现出低功耗的特点,对比于目前基于GPU的高端域控SoC,有着数倍的优势;更为重要的,AX650N部署方便,GitHub上的原版模型可以在爱芯元智的平台上高效运行,不需要对模型做修改,亦无需QAT重新训练。与此同时,AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台,最终落地效果更好用、更易用,且大幅提升了用户效率。
目前,AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型,在DINOv2也已达到30帧以上的运行结果,这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
image003.png
接下来,爱芯元智AX650N将会针对Transformer结构进行持续优化,并且探索更多的Transformer大模型,例如多模态大模型,不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是,爱芯元智还将推出相应开发板,满足开发者对Transformer深度研究的需求,探寻更丰富的产品应用。
“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台,让智能落实到生活的真实场景,最终实现普惠AI造就美好生活的企业愿景”,爱芯元智创始人、CEO仇肖莘女士表示。未来,爱芯元智将在成为人工智能算力平台型公司的道路上继续探索,加速基于Transformer的大模型在端侧、边缘侧落地的节奏,让普惠智能真正落地生根,开花结果。
今年第一个民选顶流,诞生了
奇葩人物,奇葩剧情
孙悦突然嫁富豪退圈,消失8年回归。
1986年,8岁的秦昊和26岁的庾澄庆同时爱上了伊能静。
《闪电侠》发中国独家海报:两闪两蝙两超全员集结
网曝大鹏与一女子挽手逛街看电影笑容满面气氛甜蜜
任贤齐听到女孩的话之后,没有说客套话,而是表现出真实的惊讶:“你都长这么大了!”
葛斯齐曝汪小菲朋友圈,称其失联。
昆汀曾否认自己是恋足癖。
《无人知晓的故事》《她问》入围上海国际电影节
大S具俊晔同好友合影 穿蓝色系情侣
近日,贾永婕在社交平台晒出一张同大S夫妇的合影,透露在餐厅为家人庆生时,偶遇大S与具俊晔。画面中,大S身穿一身低调蓝色条纹长款衬衫,
疑似刘恺威尤靖茹牵手散步 女方发文
12日,有网友晒出偶遇疑似刘恺威、尤靖茹牵手散步的照片,还配文称:跑个步都能遇到明星谈恋爱,真的绝了。刘恺威很高调,口罩都没戴,女朋
因拍照时嘟嘴被吐槽 林志玲回应:心
据台湾媒体报道,近来林志玲在出席活动时,遇到拍照环节,被主持人黄子佼cue做嘟嘴动作,同时还摆了许多俏皮表情。没想到不少网友吐槽其嘟
王岳伦晒视频为女儿庆生 分享出王诗
13日,王岳伦在社交平台晒出一则视频为女儿王诗龄庆祝13岁生日,他配文:祝王小妞儿13岁生日快乐!爸爸虽然不在你身边…但是心永远和你在一
刘亦菲宋佳张天爱为张靓颖庆生 张靓
11月11日是张靓颖的生日,她在个人社交平台晒出了生日当天和一众好友欢聚的庆生照,其中,刘亦菲、宋佳、张天爱等圈内好友都现身为其庆祝。