有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
女儿们的男朋友免费播放
校园大尺寸的小黄说说1000字
在无限游戏里花式挨C
小东西几天没做水这么多图片
小钰IG夺冠了就让草
在家不准穿衣服想做就做
宝宝这才三根手指就流
蜜桃成熟时期33d在手机观看
4438x最大人情
亚洲一线产区二线产区
朋友的妈妈6在观整有限中字
这才几天没做你就那么多水
女生奖励自己的视频素材高清版
4虎的新地址是多少
SUNTEK中老年人女妈妈秋装
两个人日本免费完整版动漫
十大B站不收费
自制安慰小玩具
18分钟处破女好痛
善良的嫂子4中字巴巴鱼汤饭蘑菇
JEALOUSVUE第一次
亚洲乱码在线卡一卡二卡新区
长月烬明全集泄露了
抽的时候为什么越快声音越大
亚1州区2区3区4区产品乱码
COSMO OIL
撩到女生下面滴水的句子
野草乱码一二三区别
吃赵露思的乳液好喝吗
胡桃N开襟乳液狂飙视频网站
秋霞网在线伦理影片
林妙妙被体育老师
老师下面太紧拔不出来怎么办
鲛人鳞片顶开宫腔
2024钙GY钙站
狗头萝呼啦圈视频26分钟低价 1080P
芒果一码二码三码四码区
公交车上一个接一个c
我在写作业叔叔从后面
二次元人物桶二次元人物网站
撑 趴 润滑 痛苦 求饶 BL
狗狗的东西又硬又烫又臭怎么办
在无限游戏里花式挨CH
我喜欢几个人日一人我
菊内留香TXl金银花
绳子打结勒在缝里走路
男朋友为什么老是爱吸小兔子
欧亚专线欧洲s码wmy卓越拓展
腿再开一点我就能吃到扇贝了
男生说跪射是什么意思
去姥姥家进入妈妈身体的说说心情
在没人的教学楼走廊里做
老师拉我去办公室做了一节课作文
爸叫我替他让妈快乐
姐姐说家里没人给我看下面
人性短片30分钟
被扣的时候腿抖是怎么回事
抖音C人版奶片7028
wow动如脱兔
爱情岛论坛免费线路一在线路3
是不是年轻一些水就多一些呀
空姐前规则免费观看
英语课代表的胸好软的作文视频
甘雨脸红享受流眼泪表情
日本一卡二卡三卡四卡在线观看免费软件
亚洲欧洲卡1卡2新区
欧洲最大但人文艺术114
亚洲不卡一卡2卡三卡4卡mv
缘之空哪几集开过车具体
青梅被从小摸到大H补课
回娘家给了父亲
解放的潘多拉完整版
每次见面他都要好几次
99国精产品灬源码1688
阿娇被实干20分钟视频
最近中文字幕免费完整版2019
最好看的最新中文字幕1
张津瑜 VS吕总视频
学长我错了POP跷跷板
我们没试过在阳台做呢
仙女棒夹在里面的照片
回娘家给了父亲1一4
日本ZLJZLJZLJ视频
艳门照事件图片
撑起伽罗的腿疯狂输入的视频
日本vtuber在b站的钱
18岁女孩开襟衣服
腿张大点就能吃扇贝什么意思
英语老师哭着说不能再继续了
麻花豆传媒剧国产MV的特点
国外B站推广网站
YKC499蜜糖豆
もし祢豆子が悪いった
开车视频疼痛有声音水水水
男生和老师一起差差差的游戏
椅子上有木棒坐下去吃饭
女生奖励自己隐私越狠越安全好
国内女RAPPER大全
冷廷遇简夏飞机上做246章
萌白酱17分钟视频
小东西几天没做喷的都是
濡湿的车站未增删带翻译
亚洲一线产区二线产区分布图片
my pico
第九视频聊天室
用点力就快出来啦
rbd-505
他那里早已支起了帐篷
宝贝它想你了感受到了吗车上
把英语课代表按在地上C
英语老师给我吃她的小兔兔
亚洲中文久久精品AV无码
正式告别一段感情的话
ed2k柚木提娜
自W到高C的25种方法视频教程
中国小鲜肉GARY网站有限公司
大连护士门照片
迈开腿快让我看看你的草莓图片
林念修是谁的秘书
麻花视频V322纯净版
疼大点声今晚没人
迈开腿让你尝尝草莓是什么
用大宝贝疏通下水道
日本RAPPER一姐潮水仙踪林
坐公交被学长c的作文
家里没人儿子就弄我
东北老太太BBWBBWBBW
中国人看视频免费
好满射太多了装不下了短视频
亲亲抱抱蹭蹭的刺激原声哔哩哔
你老公晚上都是怎么玩你的?
一杆大枪满屋扫
迈开腿让老师尝尝你的森林
电车之狼 攻略
人曾交互mouse农场
xiaav因你而精彩
儿子妈今天是你的人了视频
M0STHDCOECTION性
安琪拉翻白眼流眼泪流口水
日本乱码卡1卡2卡三卡重新
军旅肉质1v2夹枪带棒
绿巨人推广APP网站
白莲花的贵妇生活
10款禁用软件永久无限次数看
禁欲电影观看完整版中文
好满射太多了装不下了真人
真人打扑克软件
情感的禁区1080
色吧有你 春暖花开
日本剧烈运动摇床运动打扑克视频
MD传媒作品大全
18款禁用B站网址
一面亲上边一面膜下边吡吡啦啦啦
24小时日本韩国视频
狗的东西又大又长干了一晚上
不知火舞 动画
宁柔柔的小泬撑开到极致
白雪公主成版人版H
八重神子被捅出乳液游戏
用红酒瓶塞堵住不能流下来皮
在车里两个男人舔我
回娘家给了父亲
精产国品一二三产区区别手机
野花视频直播免费观看7
柳菁菁人体艺术摄影
扑克剧烈运动打扑克视频
双清专线日本线日本道
18款禁用B站免费版
国岳夫妻真实身份
妇女被深耕过后有哪些表现呢
每天肚子里都是主人的尿
一层一层的剥开衣服视频讲解
马的太长了能进吗
免费日产幕乱码2021
大号注射器放屁眼里灌注牛奶
精产国品一二三区别9999
才三根手指头就不行啦
美国男人的大鸟
激烈啪啪啪动态图
倒插莲花是什么意思
雪臀肉枪玩遍武林美妇
当兵的晚上太猛
凌晨三点看的片WWW小说
人妻洗澡被强公日日澡
亚洲一码二码区别在哪儿
公主车上荫蒂添的好舒服
欧美无矿砖一线二线三显卡
美女100%露出奶子无遮挡免费观看
江疏影2分28秒链接
寂寞夜晚看免费视频
13岁PG可以塞下多少根马克笔
最近更新中文字幕第1免费版
haolekk
一女多男在疯狂的伦交
12星座离奇事件柳岩
顶的越来越快越来越重
好朋友的母亲5完整有限中字
往下边塞玉器见客人作文
男生晚上睡不着想看点片
三年片在线观看免费观看大全下载
晚上被弄得走不动路走不了
抱着宝宝坐下太猛
女生喜不喜欢两手探洞
初爱ねんね视频
腿再开大一点就不痛了
班长笑着手灵活的调着遥控器
FREEZEFRAME丰满老师
40岁了总是一碰水很多
给女孩子疏通下水道
天美传媒公司宣传片视频大全
中国speakingathome宾馆
半妖乳娘百度影音
洗衣屋樱花未增删带翻译英文
免费的剧烈运动扑克视频
一边做饭一边躁狂怎么办呀
电车之狼r视频
一边喘气一边说嗯的词
二人扑克剧烈运动视频
老狼信息网仙踪林-八零婚纱摄影工作室
色吧有你春暖花开
一二三四日本高清视频动漫
精品一卡2卡3卡四卡在线
触摸隐私位置的游戏叫什么
晚上被弄得走不动路走不了
妈妈说以后不用戴了
强壮的公么征服我1一60
迈开腿让学才尝尝你的草莓
善良的小峓子字1中字巴巴鱼汤饭
超pen个人视频公开视频
成品网站灬源码杏花
往下边塞玉器出门write
妈妈的朋友在完整有限公司中字4
宝贝你已经长大了给我
侯府荡女H叶凝欢H
人性短片30分钟
与邻居换娶妻子2在线观看
回娘家老是搞我
宝宝的棍棍可以捅捅我的下水道吗
岳一夜被你要了六次
最好玩的B是哪一种
夜里听到婆婆哼哼的叫声
痞幼视频黑料不打烊
深夜释放你自己草莓视频
男朋友说他有更大的棒棒糖
我想要看胸片曝光照片
雷电将军被旅行者淦出水
才两根手指头就喊疼怎么回事
成熟交bgmbgmbgm
被特种兵开宫灌满怀孕H
宝贝儿 是不是欠C了
用你的舌头搅拌我的舌头是什么歌
两个人一前一后一左一右
黄动漫车车好快的车车
跳蛋使用方法图解
媒豆传媒免费视频入口网站
夏家三千金2部
伊人成人生综合网图片
黑人双人RAPPER的特点
叶非墨和温小暖车内做
你真紧你这是要我的命吗
二人扑克剧烈运动视频
爸爸的朋友2免费中字翻译西瓜
人与畜禽CORPORATION
精产国品一二三产区蘑菇视频
日本一卡二卡三新区
2022GGY钙打椿机受
人物动物交互狗
爱呀哎呀我愿意
亚洲无人区一卡2卡三卡
大尺寸的小黄说字多肉
爆黑料不打烊传送门
日产欧产美韩系列区别图片
被他从身后撞得浑身散
没带罩子让他c了一节语文课
年轻的小婊3中文字
插桶30分钟一卡二卡三卡四卡
BGMBGMBGM老太太毛多
免费国精产品WNW2544
男朋友喜欢看别人玩自己
7000万嫁女
走路还在体内恶意顶
八重神子的乳液狂飙视频
日韩中文字幕推理片
将界2第3激烈视频
晚上剧烈运动打扑克的软件
我坐上去自己动好不好宝宝
JEALOUSVUE成熟50MAO
坐在学长的大东西上做作业
为什么舞蹈生的裆部都是湿的啊
不良网站正能量免费进入窗口
APPSTORE美区免费
打开腿吃你的扇贝
插曲的痛的视频漫画
都是同学C一下怎么了?
怎样自w到高c有图片
最刺激的乱惀小说合集
宝宝下面都湿透了还嘴硬咋
GOGOGO大但人文艺术
欧美无人区码卡二卡3卡
中国成熟IPHONE
联谊对象是肉食系警官
136大但人文艺术
学生自w到高c的16种方法图片
亚洲一码二码区别在哪儿
张津瑜 VS吕总卫生间
18款禁用B站APP免费版
坐在教授的棍子根茎上写
可以吗好硬H1V3
情欲小说龟全文阅读
皇家小公主1V3
最近中文字幕2018免费版2019
一面亲上边一面膜下边表达
白雪公主被树干哭的故事简介
女性自卫慰方法
处破女轻点疼丨8分钟
和朋友换娶妻一天
把娇妻借给朋友泄欲4
镜子中我们的结合处发出
张柏芝殖器十二图片
50款夜间禁用软件免费APP
jing液灌溉系统2号唐小米
玩滑梯吗越往下越疼那种污梗
班长哭着说不能再C了
肚子装不下了尿液公交车
污污免费看锕锕锕锕锕锕
国内AI造梦鞠婧祎MV青岛
腿张大点就能吃扇贝什么意思
天降女子未增删带翻译樱花
王者荣耀貂蝉喝自己的液晶视频
心疼儿子给他一次可以吗
老师你的兔子好软水好多的图片
水拉丝了小东西怎么办
狗狗又烫又大又长
开车视频疼痛有声音免费观看软件
宝贝这才几天没做
徐若瑄魔鬼天使下载
东京热456大交乱高清视频
丰裕纵满2588
xl上司未增删带翻译
英语课代表说他下面湿透了
5G影讯5G天线在线观看免费网址不用下载
写得很细的开车秒是小作文
够了够了已经满到高C了
宝宝S里面好不好
美女扒开尿口让男人桶进
亚洲一卡2卡三卡4卡2022
大地韩国日本电影免费看
每天肚子里都是他的尿
COSMO OIL
XAXWASWAS17777777K9O75OXSL
津渝视频完整版百度云
狗狗的速度又快又烫
ZHANGJINYU视频完整
51精产国品一二三产区
俄罗斯美女艺术照
无人区码一码二码三码区别图片
宝贝我想尿在你子宫里好不好
翁熄小莹(奇思妙想)第二篇
晚上睡不着看点害羞事
被魔尊圈养的仙尊
妈妈用自己的身体做生日礼物
性肥胖BWBWBW69
一边亲着一面膜下的毛毛虫
人与ZOOM日本人
不伦纯爱在线观看
日产精品一二三四区气温
无人高清视频免费观看在线动漫
两个月不见老公跟疯了一样
piaolonghe
国产精华液一二三区别在哪
隔壁的女孩中字在线观看 1080P
午夜dj在线观看高清完整版国语
舒婷1一20全文阅读
一面膜上边一面膜下边53分钟
精品AV国产一区二区久久小说
精品无人区1码2码3码
娇妻被朋友玩得呻吟在线电影
pilipili噼哩噼哩最新版黄的
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1