华泰证券:关注 AI 大模型在终端侧的轻量化应用

2023-04-17 09:33 栏目:24H快讯 来源:网络整理 查看()

据财联社 4 月 17 日报道,华泰证券(601688)研报表示,模型压缩技术是实现 AI 大模型在边/端部署的核心技术。当前,谷歌、微软、腾讯等厂商在该领域均有布局,将加速 AI 技术与智能终端融合,国内 SoC 设计公司有望深度受益。模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求:1.量化:将浮点计算转成低比特定点计算;2.网络剪枝:去除神经网络中冗余的通道、神经元节点等;3.知识蒸馏:将大模型作为教师模型,用其输出训练性能接近、结构更简的学生模型。

微信二维码
售前客服二维码

文章均源于网络收集编辑侵删

提示:仅接受技术开发咨询!

郑重申明:资讯文章为网络收集整理,官方公告以外的资讯内容与本站无关!
NFT开发,NFT交易所开发,DAPP开发 Keywords: NFT开发 NFT交易所开发 DAPP开发