有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
寄宿日记37你也想做吧秋蝉
宝宝这才几天没做水就这么多故事
男生和老师一起差差差的游戏
日本乱码一卡2卡三卡4
公嗲嗯啊轻点公大JI巴给你视频
麻豆床传媒入口
两个男的是怎么开车的
他的手一直探下去
エロゲ母爱如山动漫免费观看
农夫导航最新网站
欧亚精品卡一卡二卡三
上学没罩子被捅了一节课违法吗
菠萝菠萝蜜高清播放视频免费
一女大战七个黑人到喷浆
女生让和男生诵自己的游戏
善良的妻子1中字巴巴鱼汤饭惹人
青梅竹马是消防员未增删动漫
51漫画免费页面看漫画弹窗
姐姐的朋友9完整视频有翻译
宝宝腿再抬高点就不疼了
又疼又叫哔哩哔哩
白洁一夜挨十炮二十章节
按着我的头给他吃
反差婊吃瓜黑料网站19
是不是B越小越好玩儿
动漫人物将机机插曲漫画小说
年轻的朋友3免费观看完整韩国
台湾已逐步恢复供电
情侣之间棉签是用来干嘛的
美国人XXXXXL19
美国1984忌讳第4集愈演愈烈
仆人犯错把筷子放屁了怎么办
欧美无人区码一码二码三码的区别
中文在线3月23日快速反弹
没带罩子让校霸C了一节课小作文
夹好了去上学不能掉出来的作文
国精产品W灬源码1H855.
小东西你是想绞断我吗
春暖花开行吧有你
错一道题就往下面插怎么办
张警官9分10秒
妈妈的朋友在完整有限中字第4
课代表让我桶她30分钟作文
24种男女插秧法
私人情侣网络站
亚洲尺码和欧洲尺码区别
撑起伽罗的腿疯狂输入的视频网站
被黑人伦流澡到高潮HNP动漫
约附近学生100元3小时
2人轮换c一个感觉
日本一卡二卡三卡四卡无卡高清视频下载
课间小玩具3ph
如何把自己玩成喷泉状态
麻花传媒剧国产MV网站
你们老公晚上怎样玩你
两种进入狂野式的方法有哪些
歪歪漫画登录入口免费
麻花传媒在线MV免费观看视频
虫虫漫画在线看漫画免费弹窗页面
明星造梦49区
一层一层一层的剥开我的衣服
上官婉儿的乳液狂飙
坐在学长的硬硬的上面写作业
写得很细的开车秒湿
小洞饿了想吃大香肠怎么办
数学课代表趴下让我桶免费网站
亲亲抱抱蹭蹭的刺激原声哔哩哔
家用摄像头被盗拍400部
女生把自己的隐私发给异性朋友
5G天天奭多人运动最新网站
桃汁糜烂NPC
赴约际慈 PO
无颜之月我花未增删带翻译樱花
日本一卡二卡三卡四卡无卡免
啊好难受继续再给我好吗童声
宝宝都湿透了还嘴硬疼怎么回事
二次元人物桶二次元人物网站
缘之空哪集开的车
公交车伦流澡到高潮HNP电影
tttzzz传送门2023
她舔我阴部好爽69式
他舌头一路向下探索找到花朵
男生坤坤放在女生坤坤里开元棋
吃女朋友胸正确方法
父承子液金银花
如果抱过亲过吃过摸过算什么关系
WRITEAS罚坐
小茹和黑人教练第8章
ed2k 超市
欧洲VODAWIFI喷浆3D
强被迫伦姧惨叫VIDEO
老子今天晚上骑疯你
亚洲卡一卡2乱码新区仙踪
伦理在线看年轻的母亲4
生活大爆炸12
大胆西西正版人体
缓慢而有力的一下又一下
布洛妮娅翻白眼乳液狂飙
年轻的母亲2在线观看带翻译
第16话想进来就努力吧欢迎你
一支笔C哭自己
国精产品一二二线网站
嫁给外国人会撑坏
刺激战场未满十八岁能玩多久
刺激打扑克摇床又疼又叫原声
182tv观免费线
柳箐箐人体艺术
天降女子从2楼掉下了
草草最新发地CCYY备用
全班的公共玩具坐便器
晚安 おやすみせっくす在线观看
被扣的时候腿抖是怎么回事知乎
无翼乌无漫画3d无遮
张津瑜处理通告
野花视频大全免费观看3
花火のエロドラえもん动漫
japonensisJAVAHD大豆行情
梅花三弄多肉的糙汉B1H古文
迈开腿让老师尝尝你的森林
红酒瓶塞住不准掉下来
办公室内衣樱花未增删翻译
女儿初长成爸爸来尝鲜食品的说说
下面都湿透了还嘴硬疼咋回事呢
初高中生无套内精
我和父亲试着生个孩子
人体艺木艺g0g0
写的比较细的开车过程
XL司樱花未增删翻译
输了让同学玩全部位置的作文800字
公司办公室强C了我好多次
帅气体育生gary宏翔mv
干柴烈火儿媳苏姐结局是什么
漂亮秘书的滋味2中文
色中色board
西西顶级艺术人像摄影
china中国青年gary外卖抖抖
八年级隐私能塞几支笔
一个妈妈的女儿4中文字幕
孩子玩着玩着就进去了怎么回事
打扑克牌的剧烈运动视频真实
野蛮秘笈演员表
顶开妈妈的生命之门13
你下水好多下水道BD
夸我比她老公大
51精产一二三产区区别
caoporen在线超碰免费
公交车后车座的疯狂的做
好姑娘社区在线视频
杨幂13分钟20秒
夜蒲1国语版完整版百度影音
用你的舌头搅拌着我的舌头歌词
GAY引诱服务生COM2O22
詹妮弗的肉体下载
最近最新手机中文大全4
一个人看的免费WWW高清
1V3多肉玉娇香HHHH视频
母亲6免费完整高清电视剧在线看
亚洲VS欧洲VS美洲人口
国产免费毛卡片
十九岁日本韩国免费完整版中文
宝贝坐起来自己摇
抱着边走边撞水流了一地的水
扒开大腿就可以吃到扇贝吗
班长奖励我吃她的13的作文
小东西你抖得好厉害
欧洲最强rapper潮水网
英语课代表好软免费高清视频
宝贝腿在放大点就能吃到扇贝了
御书屋御宅屋高辣H
羞羞网页入口页面登陆
女士不遮阴内搭图片高清图
与女神同行评价
YSL水蜜桃86
ZO2O女人另类Z020男男
原神雷电将军18襟网站
校园大尺寸的小黄说说1000字图片
刻晴ちゃんがを腿法娴熟
丁香花大型成人社区
男朋友咬我的小兔子头会发炎吗
火影忍者鸣人搞纲手
你能坚持到几张不死射
丁香花美女社区
人类是如何交匹配的动画讲解
一小孩半夜给姐姐吃坤巴
哥家里没人使点劲C我小作文
顶级RAPPER潮水日
在公交车上撞出了水
欧洲无人区码一码二码三码区别
中字乱码一二三区别视频
不知火舞被三人围攻
做错一道题学长就顶我一下
CHINA中国东北GARY2022
百合做免费运动视频教程网站
美国victoryday中国女孩
杨敏思版1-5完整无删减版
把语文课代表干到走不动路视频
看完就起反应的文章段子
阿拉善8人大战视频
善良的小峓子5中字巴巴鱼汤饭
卫老汉与淑蓉第一次
男生越到最后越来越快
免费啪视频观试看视频感受
日本一姐RAPPER潮水是什么
父母儿女媳妇一起来玩的说说句子
重生之斗破后宫
真空挤地铁有反应了
往子宫里尿一泡会怎么样
在英语课上用J插英语课代表
人与畜禽CROPROATION最新版
无人区乱码卡一卡二卡三
boss俄罗斯撕裂bass
雨后的小故事 动态
美国macbookpro日本
无限资源日本动漫版免费
小娘惹剧情介绍
你这S货老子C死你
比赛输了任对方看和玩部位一个月
林晨钰爆奶门35张美图
高圆圆 第1到100都是赵又廷
写作业的时候和男朋友弄
俩人一上一下做运动的表情包
14女生扇贝图片大全
人与畜禽共性关系阿梅
亚洲无人区码一码二码三码四码
学校的公共公用便器
雷电将军乳液狂飙VX网址
快穿之系统欲娃养成(h)
韩国演艺圈悲惨qvod
亚洲精华国产精华液的福利
美国十次啦地址
上楼梯一深一浅
在没人的教学楼里做老师
日本XMXMXM18小孩
ZLJZLJ日本人水多多
一二三四在线观看高清韩国视频
男生越往女生里寨视频
laurenphilips和黑人
我的好妈妈5中文
WYC.IA忘忧草TV
初中女生喊疼男生越往里寨游
对象给我看他的鸡
女人50岁半夜莲花还开吗
小鲜肉吃小鲜肉的大LOGO
多肉的糙汉b1H
非洲人和和人配人视频
美女和男生一起差差差图片
狗狗太大了我有点接受不了
TMW07国产天美传媒
将界2第3集完整原创
《晚娘上部:恋欲》
色戒完整版视频哔哩哔
顶的速度越来越快越
金刚杵大战肉莲花是什么意思
恶女教师百度影音
公交车一摇一晃双指探洞视频
英语课代表上面好软在线视频
坐在爸爸上面吃饭
国产瑜伽白皙一区二区
宝宝我想吃你胸前的兔兔奶糖
凸凸凹BBWBBWBBWBBW
幸福宝8008隐藏永久入口
曜给西施焯的脸红
俄罗斯18give100
腿张大点就能吃扇贝了
BRANDILOVE超清在线
女子扒开腿让男生桶爽
缓慢而坚定的刺入破开
麻豆传播媒体网站入口官网下载
BBW.妇女被内射
岳腿缝之间水汪汪高清
老狼一卡2卡3卡4卡2021免费
日产一二三四十入岁区
谢俞坐着震动器写作业车
AI替换JENNIE喷水
海角社区母亲为儿子高考解压
可以跟女主拔萝卜的游戏
私人IMAX家庭影院
班长是我们班的存精器GH
国产sdram
讲讲和对象第一次的细节知乎
王者荣耀女生去掉小内无爱心图片
大白屁HDHOOOPORND
叶非墨和温小暖车内做
乖我们在水里试一试
黑料不打烊TTTZZZ首页
男生越到最后越来越快
寄宿日记是83用深喉咙帮充电
妈妈的朋友2在线中文字幕看免费完整版
人与畜禽共性关系美国
将界2第3激烈视频
下面湿润的文字1000字
老阿姨是最有味的
男男GARY2023
坐在学长的上面写作业
臭小子我是你岳...你不能
家里没人爸爸用点力好好快
免费国无人区码卡二卡
男生和女生一起差差很痛APP大全熊猫
姐姐说家里没人可以C
りなとあな里菜的痛
小蓝全球最好的钙片AG
小蓝彩虹男GARY2023网站
漂亮妈妈7韩国在线观看
6080新觉伦午夜
学渣坐在学霸的鸡叭上写作业文章
早就想在公园要你了
尘不到闻时顶腰细节
你的太大了装不下了
性孕交大肚子孕妇
我朋友把我玩成了喷泉
麻花传媒网站永久入口视频
潘甜甜3段视频免费看
快拨出天我是你母亲歌词
中文字幕一线产区和二线区的区别
HJ54C1海角论坛
重生之填房桐娘
同吃一家三女齐上阵
深度交流1V3多肉
r头怎么玩教程
melancholy视频在线观看
对象都是怎么顶的
马是怎样交匹配的
天美传媒果冻传媒星空传媒
午夜4k最新福利
和女婿发生了不应该发生的事
小东西你的水都拉丝了
娘王 virgin
超速绯闻女主角
麻豆画精品传媒2021网站入口
古老传奇之凤舞九天
69国产精华最好的产品
痞幼视频3分25秒黑料
中国人看视频免费
站在公交车里抓着摇曳的手环
ADC自拍视频
四个学长一起上我会坏掉的
公孙离去所有衣服跳惊鸿
半夜被C醒是一种什么样的感受
朋友的闺蜜免完整版
抱胁西班牙篇PV资源
帅同社区文学转载
腿开到最大真的就不疼了
PRISON HIGH PRESSURE
给你下水好多下水道
隐身在课堂里为所欲为的游戏
旅行者空把雷电将军C出液体
一边面膜一边燥的视频
漂亮的丰年轻的继拇了5中文
开车真人版疼痛有声音
小东西才几天没做喷的到处都是
哪里可以看奥运会比赛视频
天美麻花果冻视频大全
男男车车好快的车车真人免费网站
最近最新的2019中文字幕
父母全家儿女大联欢第14集
木马上凸起电动木棒
一个人偷偷看B站
好涨太粗进去用力快好深
女生往下边塞冰棒是一种什么体验
杨幂哭着喊着不能太快
公交车后车座的疯狂的做细节
高N车多肉多办公室
无翼乌邪恶全彩集
男朋友吃我的小兔子图片
酒瓶塞住不准掉下来
哇又长又大又硬太爽了
老板的办公桌BD
黑料不打烊痞幼照片
夏天校服太透了R头凸出来了
受从打结的绳子上走
好男人的社区在线
秘书的兔子好软水好
水蜜桃V1和V2
八重神子被焯出白水怎么办
不知火舞被三人围攻
最近的2019中文字幕国语5
刺客伍六七第二季观看
亚洲码与欧洲码区别一二三四
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1