有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
人与畜禽Croproation网站
无限资源日本动漫版免费
张津瑜6分35秒视频
四个黑人是什么梗
ZLJZLJZLJ日本人
tokyo hot n0769
宝宝上面全都是你的水
逆徒快把你的东西拔出来
双人床上扑克牌
妈妈先是拒绝后是迎合的句子
小东西这才一根而已
马人配驴杂交种好吗图片
侯马市性侵女生
我被继夫添我阳道舒服
老师的手指在里面转动的写
半夜妺妺叫我吃她胸
进入了母亲的生命之门
菊内留香 金银花
单亲妈妈4中文在线
tobu18-20
够了够了已经满了c了
金瓶双梅2房奴试爱
好涨水快流出来了快吃动
津渝视频完整版
男女上下摸高潮动态图
看我是怎樣把你C的叫出來的
小SB就是欠C
忘忧草.WYC.IA
国产精品_卡2卡三卡4卡
宝宝的扇贝好多水
9612黄桃网址进入页面手机端
漂亮妈妈3在观有限中字
z0oskoolstray猪
没带套让班长捏了一节课怎么办
一边亲着一面膜胸口的长视频
好满射太多了装不下了软件
OG日产精品一卡2卡三
亚洲日本一线产区和二线产区区别
rh男1做0车车的车车视频网页
大哥二哥你们谁先来
野花日本免费高清完整版3
亚洲XXXXXLMEDJYF邻居
搞机TIME恶心软件(2023已更新)免费
蜜芽.768.MON二区忘忧草葫芦娃
他带我去没人的地方吃我豆腐
精品无人区1码2码3码
美国VICTORYDAY妇女
邻家美姨3中文字幕
王中磊玩死过的女人
被拉到学校没人地方C知乎
WRITEAS强制标记
坐在鸡上写作业好疼
美国队长3票房
俺也去老色官网
小SB几天没做SAO死了
白洁之绿帽风云
小东西几天没做怎么这么多水视频
你们四个一起上我会坏掉的小说
电车之狼r去马赛克补丁
宝宝下面都湿透了还嘴硬疼咋回
rh男男车车的车车视频
干柴烈火儿媳苏姐结局如何
徐若瑄魔鬼天使
小sb是不是又欠c了若若
今晚家里没人叫大声点声
狗狗的东西一放里就变大视频
日本视频高清一道一区
黑料网-独家猛料-曝光揭秘
半夜好用的网站
电车之狼游戏攻略
老阿姨是最有味的
野花免费观看高清视频6
我的奶头被客人吸的又肿又红
迈开腿给我尝一下你的味道
男朋友要再做一次才同意分手
你说怎么那么大那么粗
爱如潮水社区在线观看免费
济宁郑媛媛 ed2k
成都免费影院直播
舒服吗说我厉不厉害表情包
向涟苍士献上纯洁未增删带翻译樱花9
公交车6人轮换做
女子半夜莲花开的表现
仍想结婚的女人
老师洗澡让我吃她胸视频免费
子不语在线漫画
5个黑人躁我一个视频
幸存者第二十三季
19岁RAPPER潮水欢迎你
一一本之道高清手机在线观看
51CG.吃瓜特色
瑶遇见神鹿喷白水
把跳D放在里面跑步不能掉作文
新婚警花被别人开了苞
5g天天奭怎么打开
真三国无双bt
最近最新中文字幕MV高清在线
未来超模15季
公天天吃我奶躁我的比视频
初高中生无套内精
一边伸舌头一边快速喘气
C死了啊哈宝宝腰好会扭C视频
漂亮妈妈的Logo
维多利亚壹号未删减
2017夜夜干精品
人物动物互动高清
中中文日产幕无线码
性极强的岳让我满足
文轩宋亚轩自己做扩张直播
人与畜禽狗Croproation
坐在硬邦邦的东西上面写作业
儿子把坤坤放入妈妈的坤坤里
按摩师用嘴亲我下面过程
爱情岛论坛永久免费线路
cnnic:国内实现7nm芯片试产
兽王ZOOM CLOUD MEETINGS
天美传媒国色天香乱码
如花似玉如饥似渴
接电话时他却突然用力
妈妈的职业K8s经典
怎么小SB又痒了
适合晚上一个人看B站
一二三四在线视频社区3
怎样把女朋友玩成小喷泉
小寡妇好紧进去了好大看视频
小混混被学霸做到哭男男
开车越往下越疼的那种文章
上官婉儿乳液狂飙视频
太凶猛了快撞烂了
肚子装不下了尿液公交车
学渣坐在学霸的鸡叭上作文
在车里被撞了八次高C文
试看体验区60秒
小舞你的小兔子好玩小游戏
色母UN2025
夫妻之间的108种插秧法
善良的小峓子中文版在钱
新版金银瓶1-5
八重神子被捅得流口水游戏
人类是如何交匹配的动画讲解
麻花豆传媒免费MV在线观看
把你玩烂了就放你走
打扑克视频又叫又疼原声
精品成品国色天香卡一卡三
Chinese体育生solo
斗罗大陆人物黄化
无人区码3DMAX
班长把我抱到没人的地方作文
两个男的是怎么开车的
新不夜城 综合
迈开腿让老师尝尝你的森林
扣自己的正确手势图9个
ZOOM人狗APP欢迎你
2015年3月里番
离婚了让父亲体验了一次
差差差很疼30分钟的动漫
漂亮的丰年轻的继拇5字
按着我的头给他吃
中国macbookpro高清在线播放
公交车站避雨第二集
厨房运动剧烈老师的大兔子鹿
上官婉儿乳液狂飙视频
中国vpswindows野外高清资源
人与畜禽Croproation网站
在车里打扑克的又叫又疼
write as 哥哥
粉色视频APP在线无限看免费丝瓜晶体公司藏
午夜dj视频在线直播
妈妈的朋友8观完整有限中字木瓜
教你怎么自己吃丁丁
麻豆传播媒体APP官网在线观看
po18脸红心跳作茧官网入口
刘禅站在板凳上曹安琪拉
YN荡校园运动会笔
黑人大荫道BBWBBB高潮潮喷
荔枝app在线汅api在免费
我们去楼梯间做好不好
日本卡一卡二新区
WRITE AS 电动棒
公交车最后一排
再来一次好吗动漫免费
监控偷盗摄影二区
我朋友把我玩成了喷泉
天天想你视频免费观看高清在线
适合夫妻二人一起看的电视剧
Naruto Konan Hentai小南
WRITEAS军人
女生说疼男生还继续做
公天天吃我奶躁我的比视频
妈妈的朋友8观完整有限中字木瓜
一直喝水不让尿的高黄车
宝贝对着镜子CAO好不好
我的漂亮女教师2高清
濡湿的车站未增删带翻译免费
无人区玫瑰第二
中国小鲜肉GARY网站有限公司
塞跳D开最大挡不能掉哦
亚洲一线产区二线产区区
变形金刚 1080p
国产精华最好的产品人V中文
韩国乱码卡一卡二新区网站
两根一起进去疼拔出来就不疼了
中国JAZZYHIPHOP
情侣做运动的动态表情包
吃到自己丁丁最简单的方法
日本一姐RAPPER潮水是啥
学渣坐在学霸的鸡叭上作文
水都这么多了还装
老卫和淑蓉的船上生活视频
老师的兔子好多软水好多动漫
精产国品一二三产品99
这几天没C你了是不是
野花视频官网手机免费观看
好儿子妈妈要快谢了
麻花传媒MV一二三区别
939W乳液78W78永久
大巴车最后一排被C细节
男生把坤坤放女生定眼里云开
品色堂永久论坛
麻豆传煤入口直接进入免费版下载
娇妻被朋友玩得呻吟在线电影
欧洲最大但人文艺术5788
幼射HD交中国妇
坐在学霸的棒棒上写作业视频
尘不到闻时顶腰细节
爱情岛论坛首页网址永久
37大胆欧体人文艺术的价值
胸大的姑娘视频播放动漫
男生说想吃我的扇贝是什么意思
トイレの花子さんVS屈強退魔師
侍卫把贵女怼树干
一个妈妈的女儿BD在线播放
9分10张津瑜 云盘
精产国品一二三产品区别大吗知乎
欧洲女RAPPER潮水大豆电视
侯府荡女H叶凝欢H
房奴试爱的运动
女人被两根茎同时进去图片
雨后小故事视频
趴玻璃上做给别人看宝贝
日本最大但人文艺术欣赏
粉色视频在线高清观看全集
俄罗斯人和欧洲人的性格差异
优质JING液收集器系统H1
windowschannel孕妇生产
三个人也不错1V2
国产精品_卡2卡三卡4卡
两个人一前一后的动了起来
henhense
夹得好湿真拔不出来了动态图
WRITEAS管教
JK底部的视角是什么样的
中字乱码一二三区别视频
最强gy平台小蓝网站视频
一边做饭一边躁狂怎么办呀
体验区30秒试看五次
黑道少爷爱上我
1313苦瓜网
一个人看的视频全免费
国精产品W灬源码1H855.
三个老汉一起弄我小说
韩漫漫画登录页面免费漫画入口弹窗
每天把你做到起不来
迈开腿我可以尝尝你的草莓感觉
甘雨挤出白色脓液
京东天美麻豆果冻传媒
宝宝好涨水快流出来了微信
韩国妈妈的朋友6整有限中字中国
70CHEAPWINDOWSVPS
2014年2月里番合集
老公才睡完我妈又睡我什么意思呀
亚洲MV砖码砖区2022
什么样的B型好玩
国产一卡2卡3卡4卡影视果冻
好涨太粗进去用力快好深
阿根廷舞林大会
elsajean挑战最粗极限
无人视频免费观看免费直播下载
十种b型的外形
天美传媒MV免费观看软件特色
仙女棒坐着使用的仙女棒视频
没带罩子让他吃了一天的药怎么办
已满18周岁从此转入
王者荣耀曜把西施顶哭
原神雷电将军被C出液体视频
日本乱码无限2021芒果
英语老师你的奶好软
搡BBBB槡BBBB
十八岁大陆女RAPPER欢迎你
新金艳花瓶1-5集
镇远螺丝桥真实故事
原神女角色张嘴流眼泪翻白眼
老师的蕾丝小内内湿透了
嘉木(1V1婚恋)
八重神子下面草出白色液体
5G天天刷天天奭
丰年经的继拇3的特色和机能
小龙女只感觉那只巨大的火龙
久亚洲一线产区二线产区三线产区
JMCICON网页版
宝宝坐上来自己动好不好网站
快拨出天我是你母亲
男人捏大白兔视频
日本欧美韩国推理片在线观看
非洲人性功能强大跟什么有关?
一个奶下面一个鼎是什么字
王者荣耀公孙离被捅的流眼泪
BMGBMGBMG毛多
最近韩国日本免费观看免费
蜜桃色的YSL
小东西这才2根而已
黑料永远不打烊吃瓜爆料
迈开腿让我看看你的草莓游
人伦亲情父母儿女的句子有哪些
3Q大战详细经过
少妇搡BBBB搡
XMXMXM18美国
中国VODAFONEWIFI粗暴12
AI人脸替换脸杨幂在线播放
APP聚合绿巨人黑科技
公交车上一个接一个c
坐在木马的木棒上比赛作文
美女动态图吸奶gif
男生最抵抗不了女生亲他哪
糖心LOGO免费
男朋友C你的时候你会说什么
桶三十分钟全教程视频
国产一码二码三码区别
越南美女内射BBWXZ
关晓彤被华晨宇做出了水
日本阿v在线观看不卡变态
Zoom人与Zoom巨大
被困住的我们韩剧
被压到落地玻璃窗前doi
小鲜肉GARY2023男男
GGY钙2022调数
新兵帮老兵吃鸡把视频
双龙NP黑粗撑开宫颈口BL下人
嗯啊宝宝腰好会扭
夏天短袖侧面看见女生小馒头
エロゲ母爱如山动漫
超级好看的软妹纸
黑料热点事件 吃瓜 网曝
坐在学长的上面写作业
剧烈摇床运动免费观看
老公总是吃我的奶奶说明什么问题
一个人视频在线观看日本
刮伦人妇A极一片
北北北砂王者荣耀完整系列
男朋友平时都是怎么上你的
国产乱码卡二卡三卡4W
可以跟女主拔萝卜的游戏
666西方最大但人文艺术
从背后抓住两座山峰视频
我生日妈妈用身体做生日礼物
成都4片p免费完整版
狗狗配人怎么配
年轻的小峓子1中字巴巴鱼汤饭
厨房里两只奶头被吸肿了
梁医生不可以(限)季亭亭
荫蒂添的好舒服小说
睡过一次和n次的身体变化
我在写作业叔叔从后面
一前一后同时攻击舒服吗
男生坤坤放在女生坤坤叫什么
英语今天晚上让你桶个够
羞羞的漫画免费入口页面登录下载
羞羞漫画登录页面免费入口页面
睡觉可以一直插着睡吗
春色无边女儿国
宝贝感受到它变大了吗免费视频
2017最新h无码动漫
群臣在朝堂上c皇上
校服下摆太紧不好c
蕾丝视频旧版APP2021下载汅API最新版苹果版
白丝双马尾被疯狂输出
孩子玩着就C进去了怎么回事
天美传媒MV免费观看软件的特点
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1