有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
精东传媒VS天美传媒
迈开腿让我看看你的里面
厨房里的激战2海外版
WRITEAS遥控器
剧烈运动摇床打扑克视频原声
迈开腿让我要吃尝尝你的草莓
2022Ggy钙站-MBA来源
漂亮的丰年轻的继拇了5中文
writeas迷醉
三十分钟让你桶个够
冲动的惩罚动漫HD在线播放
13适合用多大的仙女棒
没带罩子让捏了一节课怎么办
我的漂亮女教师2在线
老狼一区忘忧草欢迎您大豆
精产一二三产区区别在哪
xl上司带翻译中文版
纯情罗曼史3 动漫
用大宝贝给女儿疏通下水道
妈妈说戴了才可以
好看的肉质高的短篇甜文知乎
同吃一家三女齐上阵
在车上就要了你
姨母的诱惑电影
和搜子同屋的日子3
zhihuishu
别在阳台会被别人看到的
歪歪漫画韩漫入口
最近中文字幕完整国语
日本正能量不良网址直接进入
晚上家里没人就让你弄
疯狂试爱的视频
中老年人的大BwBwB
EUTOPIA无删减版网盘
大鱼直播app
一起差差差30分钟轮滑
人与畜禽CROPROATIO一
老师的大兔子好软水好多
娇吟公车系500章
王者荣耀女英雄被捅到流口水
小东西你的水都拉丝了
年轻的小婊3中文字
第一次挺进苏雨瑶的身体
办公室的交易HD中文字幕
一直喝水不让尿的高黄车
小龙女只感觉那只巨大的火龙枪1
叶渺渺上体育课课被捅了一节作文
手不安分地探入森林
overflow2未增删带翻译樱花
亚洲乱码卡一卡二卡新区中国
男人忍不住挺进去了怎么回事
把女朋友弄成小喷泉的手势
宝宝把腿扒开大点就不疼了
vodafonewifi性
麻豆京东水蜜桃果冻传媒
爱情岛路线1线路2线路3京东唯品会苏宁易购
妈妈用身体做儿子生日礼物
明星合成斗转星移
电车之狼r详细攻略
after之后1
拉开拉链它想你了给他好不好
姐姐说家里没人我们可以在一起吗
班长哭着说不能再抠了游戏
小华佗事件陌陌
女生奖励自己的视频素材高清版
涩涩屋草莓榴莲绿巨人秋葵
漂亮妈妈中文4
为什么自W高C特别快
八重神子被焯出白水图片
老公说想上我妈妈
污到你那里滴水不止的作文600字
二三四五六七无产乱码
顶的越来越快越来越重
英语老师的兔子又大又软又好吃
一边说嗯一边喘气的声音怎么形容
吴梦梦到粉丝家里洗澡在线
公交车两人双指探洞LH说
牙医姐妹赤子板栗
最近的2019中文字幕国语5
五根一起会坏掉的好痛的视频
火影忍者禁图h大全
日本最大但人文体艺术
餐桌下狂C亲女高辣
日本ZOOM动物
大团圆结2高敏
变形记化不开的网
儿子你比你爸爸的大多了
ipx-247
将军们的共妻H
夹枪带棒1v2是谁写的
女人扒开屁股爽桶30分钟
糖心LOGO免费
王者荣耀嫦娥卧床流水
上边一面亲下边一面膜的注意事项
搞机TIME恶心10分钟直接打开网页不要钱
2013年2月里番
免费看桶机三十分钟不用会员
伽罗太华被 哭还流东西漫画
B痒了多久没C了
娘王virgin
公交车上两个人一前一后攻击
英语课代表趴下让我桶
阿宾之房东太太
国产一线产区二线产区
丝瓜草莓秋葵污下载旧版网址免费
爱如潮水社区在线观看免费
坐在鸡上写作业好疼
日本精产国品一二三产品区别
无人区一码二码三码区别图片
任你爽任你鲁任在线视频
原神网站正能量www正能量
无颜之月带翻译樱花中文翻译
如何一根棉签C哭自己
晚上打扑克疼的视频声音
可不可以干湿你
WRITE AS干蒙了
中国macbookpro高清在线播放
CEK俄罗斯BNAE0
车子颠簸一下猛地进去
原神申鹤乳液xman天堂
宝贝这才几天没做
成长人雏鸟pro19幼儿版特色
忘带罩子让他捏了一节课
我妈妈的朋友在完整视频带翻译
女人越喊男人越往里寨电视剧
你是我的女人HD
隐身在课堂里为所欲为的游戏
你的舌头太厉害了
老何船上弄雨婷第14章
澳门无人区码一码二码三码区别
在体育馆的地板上做
公交一晃一晃就进去了怎么办
爸爸我可以吃你的棒棒糖吗
桃花在线观看免费观看手机
S货是不是欠C有肉
被深顶得说不出话
张津瑜 落地窗
养敌为患漫画免费全集下拉式
你的小缝想吃我的大香肠
野花免费观看日本韩国
美国VIDEOSCRIBE
才三个指头就撑不住了
1是怎么进入0的图片
小东西几天没做水又变多了作文
一边喘气一边叫做摸小兔兔
宝宝才两根手指就疼哭了怎么回事
男生女生一起差差打扑克
两个男用舌头到我的蕊花
诱人的女邻居2在线观影
结合处发出粘腻的拍打声
淑芬两腿间又痒痒的预防方法
中文在线っと好きだった最新版
我同意老公睡了我妈
老师的大兔子好软水好多的
沈阳燃气爆炸致5死
黑龙江大学不雅视频
没带罩子被校霸C了一节课文视频
漂亮的邻居老师中文字幕
VODAFONEWIFI粗暴
燕氏被四个和尚播种
明星ai智能人脸替换网站
一个吃上面一个吃B
国产精品秘入口18禁麻豆免会员
娇妻玩4P被三个男人伺候电影
精产国品一二三产区区别H
妈妈说家里没人我们就做那个
ZOOM与人性ZOOM23
伽罗太华被 哭还流东西漫画
姐弟俩打扑克运动
迈开腿尝尝你的小草莓什么意思
多人WRITEAS
第一会所 欧美原创
走一步撞一下 湿透许安愉
芳芳的性幸福生活18 章
麻豆WWW传媒入口
把冰葡萄一颗一颗往里堆
转过去趴翘高点打完坐高脚凳
ZOOM人牛OKZOOM
风韵诱人的岳欲仙欲死在线观看
冰块一粒一粒往下边塞图片
迈开腿让我看看你的照片图片
一浅二深三大叫啥
我的兔子好软水好多免费的网站
去医院面试被院长弄了
好看的三圾片名字
内衣办公室动未增删带翻译3樱花
男女插秧二十三方法
妈妈的味道中文HD免费
性生20分钟性生20分钟
国产卡二卡三卡四乱码分类
污秽的教室未增删翻译樱花
在英语课上插英语课老师
肚子里全是jy鼓起来了好
双子ノ母性本能
日本一姐潮水RAPPER超多
龙口护士门视频
大地影院日本韩国免费
宝贝看我怎么破你的初试视频
双人床上一边喘气一边叫疼网站
班长哭着说不能再抠了游戏
男生女生一起差差很痛的app下载安装20
vivo另类tv
带电动玩具上课
班长是全班的玩具第三章
中国人成熟视频
《上司部长出轨漂亮人妻》
究惑肉车禁闭室
马车上的欢乐(下) 小燕子
人物动物互动高清
如何用一支笔玩哭自己
免费吃瓜爆料网站
得到超级肉禽系统的紫岭红山
他的手游走在两座山峰
写作业时坐在父亲的下面
上楼梯一深一浅
教练把车开到没人的地方
老婆和别人刚干完我又干可以吗
x69老师x日本
放在里面顶着学长写作业作文
学长在地铁里怎么可以这样呢
韩国演艺圈悲惨事件种子
一边写作业一边C她免费
污网站WALLPAPER共享人可以看到订阅
漂亮妈妈5韩国2019
刚的老婆林彦是间谍吗
婆婆和狗玩声音很大
CAMPBUDDY大基基
亚洲不乱码卡一卡二卡4卡5卡
最近韩国免费观看HD
原神雷神去掉小内图片
女人的各种鲍鱼
深度开发1v6笔趣阁
井川里予黑料33秒视频
落地窗PLAYWRITEAS
洗衣屋2樱花未增删带翻译樱花
性少妇JEALOUSVUE成熟
老师两个大兔子抖来抖去视频
欧美无人区码卡二卡卡三卡四
巴西任务qvod
日文中字乱码一二三区别在哪里
刘亦菲斗转星移
花田喜事2009
打开扇贝就可以吃火腿肠
办公室的秘密赵雪晴第11章
3个人同时玩一个人
哥布林洞窟 未增删免费观看
女人能进入20厘米吗
两个人免费视频高清完整版
ZOOMSERVO兽狗
缓慢而有规律的往里挺松动
王者荣耀黄化网
低头看看我是怎么爱你的
男女车车好快的车车有点污网站
塞住了下星期回来我检查
中国vpswindows野外高清资源
三个人弄得我走不了路晚上
美国人XXXXXL19
女朋友的妈妈4完整有翻译
黑兽樱花未增删带翻译
狗狗的东西又硬又烫又臭怎么办
A最大但人文艺术
厨房春潮唐小米
迈开腿让我看看你里面
搞机TIME的恶心软件10分钟APP不用下
马车上的欢乐(下) 小燕子
国内精品一卡二卡三卡抖
女朋友的母亲9中语字追剧易
ONE一个成年的世界一个就够
女生把筷子放屁眼里
野草乱码一区四区区别
三个人弄得我走不了路的说说
强壮的公么征服我1一60
亚洲精品国产精华液有哪些牌子
生物课老师拿自己做繁衍例子
10岁小学生幼儿
一一本之道高清手机在线观看
黄到让你那里滴水
杨思敏1一5集国语版下载地址
大象W灬源码1688
小东西几天没做水又变多
成品网站W灬源码被网友群嘲
乱码一二三入区口
都湿透了还嘴硬疼咋回事
一处桃源千人品两片红唇万客来
国精产品一区二区三区糖心
叫大点声今晚家里没人
黄金网站app免费视频大全
夜恋全部支持安卓UC
星空无限MV国产剧梁佳
小龙女只感觉那只巨大的火龙
孩子玩着玩着就C进去了怎么回事
日本欧美韩国推理片在线观看
网址在线观看你懂我意思吧
WRITE AS管教
YN荡校园运动会笔
小东西几天不见喷到处都是水
2021中文日产幕无线
黑暗正能量INDEX.PHP
疫情期间拿下老妈
939W乳液78W78WYW55523
糖心出品VLOG一区二区
关上最后的门吧漫画
精产国品一二三区别9999
8x8x我要打机飞在线观看
天堂MV免费资源在线观看
腿张大点就能吃扇贝什么意思
男朋友用筋膜枪把我玩哭
车文doi超多描写具体
仙女棒坐着使用图片黄
人与各种动ZZZ0O0OXXX
奶头被夹得又翘又硬怎么办
老婆说她想尝试多人怎么回复她
女孩子如何变成喷泉
状元的小公主(1V1)我爱五花肉
老友鬼上身国语
可以随意触摸内部位的游戏手机版
两个奶被揉得又硬又翘怎么办啊
给我播放免费高清MV在线观看
缘之空第4集开始开的车视频
新版金银瓶1一5
史莱姆のエロ胡桃
chinesefree普通话对白
会夹会摇是什么意思
撕掉她的外衣和内衣
他发了疯的索取
父亲缓慢有力挺送儿子车文
你们老公玩你的时候都是怎么说
杨幂哭着说不能再深
天天躁夜夜踩很很踩2022
夜里听到婆婆哼哼的叫声
让我尿你在里边好不好h
免费剧烈运动扑克视频软件
2023钙GGY钙站男男
女孩遭性侵嫌犯被取保候审
可以吗好硬H1V3
宝贝腿在放大点就能吃到扇贝了
刺激的乱亲初试云雨
汤姆影院TOM转入接口
莫菁门事件完整照片
花火のエロドラえもん
国产一卡2卡3卡4卡影视果冻
啦啦啦韩国视频免费观看
国精产品999永久中国有限
回娘家老是搞我
喷泉1V3高HP科普
为什么B越小越好玩
打扑克剧烈运动全程不盖被子
四根一起会坏掉的厉害的视频
三个人一起玩3Q详细经过
走楼梯每走一步就往上顶一下
天天想你视频免费观看高清在线
车内做运动打扑克
茶杯狐CUPFOX官网浏览器
差差差很疼30分钟无遮掩
日本农村大姐rapper
把筷子放屁眼里不能掉的作文
女生喊疼男生越往里寨游戏APP
欧美无代码HD免费
RUN AWAY无删减免费看
失恋三十三天小说
在把腿张大点我就可以吃到扇贝了
香蕉菠萝黄瓜草莓樱桃榴莲茄子
为什么男人抽的越快女的越叫
男生的GGY钙2023入口
儿媳妇夸我比他老公大
黑料网-独家猛料-曝光揭秘zztt
公交车两人双指探洞详情
爱如潮水图片高清日本
为什么撞得越快越想叫
seqingav
writeas内塞猫尾巴
S货是不是想挨C叫大
美国ZOOM人狗高清
黄版直播APP
把女朋友玩成小喷泉是什么意思啊
一下又一下有力的撞进去
TOBU7TOBU8
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1