陆奇:OpenAI 未来 2-3 年要做的是使模型更稀疏,降低对带宽要求

2023-04-24 11:13 栏目:24H快讯 来源:网络整理 查看()

据腾讯新闻《潜望》报道,4 月 22 日,奇绩创坛创始人兼 CEO 陆奇在上海举行小规模演讲,涵盖他对大模型时代的宏观思考。他表示,OpenAI 未来 2-3 年要做的——模型更稀疏一点,现在它对带宽要求实在太高,要把 attention Windows 拉长一点,或者是 recursion causality 推理的功能,包括 brainstorming 等一些工作要做。还需要做一些 grounding(基础训练)的东西,包括亚符号、子概念,更多的模态,更多的 token 空间,更多的模型稳定性,更多的潜在空间(例如 Latent Space 对齐),更多的计算,以及更多的基础架构工具。

现在 OpenAI 核心做的是,把推进速度变慢,每推进新版本,都有足够时间让用户给他们足够反馈,找到潜在风险点,有足够时间弥补。

微信二维码
售前客服二维码

文章均源于网络收集编辑侵删

提示:仅接受技术开发咨询!

郑重申明:资讯文章为网络收集整理,官方公告以外的资讯内容与本站无关!
NFT开发,NFT交易所开发,DAPP开发 Keywords: NFT开发 NFT交易所开发 DAPP开发