有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
欧亚专线欧洲s码wmy卓越拓展
开车疼痛有声音 免费网站
qvodsetup3
25岁高中生未增删翻译中文翻译
两个男生怎么做不可描述的事情
137最大但人文艺术体
亚洲videosgratis.tv0.
无人区码卡二卡3卡4卡有限公司
love可儿秘密花园
春暖花开 有你cc
原神甘雨被史莱姆注入
月光视频在线观看免费视频
年轻的母亲2在线线观中文免费观看
太凶猛了快撞烂了
教练把车开到没人的地方小卉
糖心短视频VLOG柚子猫视频
啊宝宝好会夹啊拉丝
适合夫妻二人一起看的电视剧
姬骑士征服战争
班长哭着说不能再抠了游戏
100款禁用免费软件app下载
老公总是吃我的奶奶但我很反感
14MAY13_XXXXXL民族
只要使点劲不行就再用点力
ドラえもんのエロ原神
潘甜甜3段视频免费看
至尊宝用金箍棒桶紫霞小鸡
电车之狼r 攻略
燕夫人寺庙求子方丈给办了
妈妈的职业3在完整视频有翻译
被开三门恶心死了
宝宝是我撞进入还是你坐上来
瑜伽时突然进入
雷电将军掀开衣服看副乳
疯狂欲望无删减 在线高清中字
美国呼吸道疾病病例激增69%
小东西你是想绞断我吗
台湾仙踪林XZL
30款黄台网站入口
中日本乱码卡一卡二新区
情侣打扑克做运动
xiaav 这里因你而精彩
晚娘恋欲百度影音
漂亮的丰年经的继拇了精东
久久这里的只有是精品23
xiao 776
YELLOW高清视频
麻花豆传媒剧国产MV的特点
国精产品WNW2544
老阿姨儿子一二三区
两个奶头被吃得又翘又肿
一切从裸露开始
我就在外面蹭一蹭哔哩哔哩
前女友活儿太好一直忘不掉
日本最大但人文体艺术
上官婉儿的乳液狂飙
一次性接待5个客人
MD豆传媒一二三区进站口在线
只要有爱就算是哥哥
放课后の优等生3熟肉樱花动漫
中文在线中文在
拔萝卜 全程不盖被子拔萝卜
一个吃上面一个吃B
香草视频www高清在线看
原神八重神子被空吸出乳液
色戒完整版视频哔哩哔
比赛输了任对方看和玩部位一个月
又疼又叫哔哩哔哩
将军每走一步就撞一下
处钕膜被捅图片
附近人一百元一次
不知火舞和三个孩子森林公园狂欢
狗的东西又大又长干了一晚上
ysl水蜜桃色推荐17
我的漂亮女房东完整版BD
渣男渣女做不干净视频
精东影业天美传媒网站
我的奶头被他吸的又红又肿
开车开到下面流污水
首页艾斯S踩踏社区
国产精品卡1卡2卡三卡四
国精产品无人区一码二码三蘑菇
2018夜夜射天天啪天天草
OVERFLOW樱花风车动
WRITEAS棉签
疯狂厨房2双人游戏3
情不自禁 百度影音
hdool高清在线
落地窗PLAYWRITEAS
打扑克视频发出声音
日产2021乱码
每天都是被C着醒的
成年动漫3d无尽视频
大菠萝福建导航福引导网站
小时候看到外公压在妈妈身上
扑克牌视频不盖被子
填的满满的 不要了
亚洲一线产区二线产区区别在
2017最新h无码动漫
精东传媒VS天美传媒合作伙伴
拔擦拔擦8x8x网站
2022GGY钙打椿机受
津渝视频完整版哔哩哔哩
女人扒开双脚让男人捅了
遥控器跳DAN放在里面坐公交
动情1v1嚯一口焦糖拿铁
韩漫漫画登录页面免费入口弹窗
公交车最后一排被C小数据
得到超级肉禽系统的紫岭红山
78M-78MAP
谁可以给我新版猫咪的地址
第一综合会所sis001
宝宝几天没做都湿成这样做
无限资源2018免费观看
一天晚上用了好几个小雨伞
把筷子放屁眼里不能掉作文
66亚洲一卡2卡3卡四卡新区
夜车动漫在线观看免费观看完整版
动漫人物做剧烈运动打扑克的软件
冲气娃娃有什么用
ekdv 273
GOGOGO免费视频观看 高清韩国
日产精品一线二线三线
免费正能量不良网站推荐
最近ZOOM人牛OKZOOM美国
迈开腿里草莓男人往里怼
把自己训练成小喷泉
怎样把自己C到哭
适合夫妻二人一起看的电视剧
精产国品一二三产品区别视频
妇女被深耕过后有哪些表现呢图片
三年片大全在线观看免费观看大全
日本最大但人文艺术第一组
98精产国品一二三产区区别
温远温行之洗手台上做
斗罗大陆人物黄化3d漫画
迈开腿尝尝你的水很甜
果冻传媒MV国产推荐视频直接
吃老婆扇贝吃肿了
宝宝的扇贝好多水
早就想在车里要你了视频
漫画无翼乌全彩无遮挡
丝瓜榴莲秋葵榴莲污污污
老师你的兔子好软水好多的作文
一口一口把奶从胸口吃掉B站
他趴在两腿中间舔我私密有事吗
用你的舌头搅拌我的dj
939W78W78W乳液永久
男生把自己的QQ放入女生的QQ
无翼乌全彩漫画挤奶
麻花豆传媒剧国产MV的发展前景
WRITE AS 产卵
把这个放进去自己按下开关
有谁帮自己的儿子口过
破了新数学老师的处
宿主的任务是收集jyH
老狼信息网仙踪林-八零婚纱摄影工作室
我一边做饭一边被躁了男男
最经典的两人轮流取珠题目
学长迈开腿尝尝你的草莓mv
一女战三男黑人发出惨叫
装A刺头怀了禽兽校草崽后
嗯啊乌龟蹭你的扇贝
能让你流污水的作文
怎么样才算真正的进入图片
43417大但人文艺术主演列表
很详细的肉肉床文过程
以我的长度试试你的深度
rh男男车车的车车视频真人
上一个楼梯就撞一下3
王者李白吃王昭君的下面
宝宝的水喷得到处都是小作文
为什么男生喜欢摸和咬小兔兔
和邻居换娶妻1
旅游时跟女儿有了关系
啊做错一题学长插一支笔
自我安抚的步骤图
亚洲日本一线产区和二线产区区别
WRITE AS 尿口
宝宝你里面好暖好烫不想出来
色达天藏分女尸全过程视频
丰满圆润大胸在线
玛雅wang 发信到
段嘉许把桑稚做哭场面
男的把J放进女人的小J视频
歪歪漫画漫画首页入
一边喘气一边说嗯的词
无人区乱码一卡2卡3卡
王者荣耀瑶白色液体黄画
我生日妈妈用身体做生日礼物
走一下就往里撞一下
精品成品国色天香卡一卡二
国产无人区一卡2卡三卡4卡仙
讲讲你们DOI最猛的一次
李宗?外流视频在线
佛帐潮绣凸浮双龙耳帐
男生和女生玩滑滑梯是什么意思?
大胸的丰年经的继拇了
把腿张大点就可以吃到扇贝了视频
吃男人大鸟硬起来图
打扑克牌又疼又叫
艳阳门无删照片1400还有视频
跪射是什么意思污
什么叫倒插莲花
班长哭着说别再继续了
上官婉儿被用计骗进房间
杨幂13分钟20秒
厨子戏子痞子豆瓣
舞林大会棒棒糖
蜜芽768mon二区忘忧草
阿离掀开自己副乳的图片
张津瑜吕总1080P
老师的兔子软水好多免费看
夜里十大禁用软件APP
怎么小SB又痒了
三男一女的伦交
女生最怕的情侣玩具
充气娃实战过程图片
抖音成长人视频B站
写作业写着写着就插起来了
无节操摄影部1
一个晚上用了好几个小雨伞
日产无人区一线二线三线小说
大白屁股缝里浓黑的毛
不知火舞之沙滩狂欢
野草高清视频免费
2014年1月里番合集
剧烈运动扑克免费网站
感官世界下载地址
沈倦把林语惊做到哭免费阅读
啦啦啦中文日本免费高清完整版一
亚洲一线产品二线产品
宝宝好久没C你了视频免费的
网站你懂2018
越往下越疼那种
一次又一次凶猛的撞着
5G天天奭5G天天运动
跷跷板我越下越疼的是什么
writeas内塞猫尾巴
九一制作片场视频
黑料永远不打烊吃瓜爆料
放课后の优等生3熟肉樱花动漫
无人在线观看免费高清动漫
自W到高C方法
舌と唇と唾液が浓厚
掌中之物坐上来自己动
花蝴蝶日本大全免费观看6
DASD-759
将夜在线神马影院BD高清
女生让男生诵自己的己的讥讥
忘记擦黑板被老师C了一节课
娇妻笫一次被多P
半夜好用的网站
男娃JY灌溉系统
翁熄小莹回乡下
日本漫画大全乌全彩漫
台湾中文娱乐网22vvvv
放学后的职员室未增删有翻译樱花
国产一卡2卡3卡4卡影视果冻
小东西看我是怎么C你
施主就让贫僧C进去吧
姐姐说家里没人可以C
和教练在车里撞了我三次怎么办啊
国精一二三区别免费
宝宝腿开大一点就不疼了
每下一步楼梯都要撞一次
天美传媒免费观看MV天美网
迈开腿尝尝你的蜜林
欧亚专线欧洲s码wmysnh48
家长会上爸爸们灌满幼儿
欧洲VODAFONEWI
哥布林洞窟 未增删免费观看
啦啦啦免费视频观看在线BD
开车40分钟有痛感有声音免费
日产精品卡2卡三卡4公司
迈开腿我可以尝尝你的草莓感觉
404黄台软件进入网站
儿媳妇以为我是她老公怎么办
谁输了去谁家受罚抽阴可处置男生
初爱ねんね视频
体育院校大猛攻视频
两个师傅一前一后上
免费中国最大但人文艺术
S货C货大声点叫
tttzzz学生
语文老师说哭着说不能再睡了
18C MIC新地址
1118视频链接
漂亮秘书的滋味2
爱如潮水图片高清日本
欧美人马狗八AB8ZOZO
玉蒲团ii玉女心经
TOM永久转入接口
解锁情侣在床上的N种姿势
成都4片P完整版视频动漫
恋夜影院全部视频列表
李宗?视频1313网
迈开腿让我看看你里面
我的漂亮女房东完整版
群飞杨幂赵丽颖刘亦菲
晚上开车有声音又疼又叫
把这个放进去自己按下开关
家用摄像头被盗拍400部一区
妈妈说带套可以让我做
去姥姥家进入妈妈身体的说说句子
你的小B不就是用来C的吗
上课跳D突然开到最大
原神刻晴去掉小内打扑克
家长会上爸爸们C老师
聂小雨视频3分25哪里可以看
老师不行太大太长了漫画
新铁血战士qvod
雨后的故事 动态图
3个学长一起上我会坏的作文
忘忧草768mon二区
上一个楼梯撞到最深处
妺妺第一次啪啪好紧WWW
分手炮是不是都特别卖力
八重神子去掉所有服装挤乳液
片多多看电影免费吗
女人的玉露是什么意思
女朋友的母亲2语字追剧易
井川里予黑料33秒视频
新版金银瓶1996第二级
生活大爆炸12
龙泽罗拉第三部
sis0001 board评论区
原炀WRITE AS震动器
青梅竹马是消防员2未增删动漫剧
夜间正能量视频www正能量网站
老师的小兔子好软水好多动漫
动漫人物做差差差看视频
女生小坤坤图片大全高清壁纸
中文精品卡1卡2.卡3.卡4.
桃花视频在线观看免费播放在线观看
瑜伽老师上门教课
亚洲和欧洲一码二码区别
男朋友说迈开腿让我检查一下
能播放的人与Zoom
英语今天晚上让你桶个够的软件
小SAO货边洗澡边CAO你动漫
草699一码二码三码四码
樱桃视频首页在线观看
岳把我用嘴含进满足我第二章
美女裸身无档图片视频
迈开腿让我看看你的里面
倒插莲花是什么一种服务
欧洲无人区码头IV在哪
一个男孩子顶哭另一个男孩子
做运动打扑克免费视频大全
太华伽罗被X哭还流东西
日漫动漫人物将机机插曲漫画视频
错一道题就往阴里装一支笔
朋友把我玩成小喷泉了
污污免费看锕锕锕锕锕锕锕
牧场videos skool
三邦车视第一视频分享门户视
汤姆影院TOM转入接口
御花园皇上撞着太子妃
lululemon露露瑜伽服
麻豆传煤入口直接进入免费版下载
仙女棒坐着使用图片黄
夜倾情 保姆的诱惑
一边被学长撞一边写作业作文
八重神子开襟大欧派乳液SS
王者荣耀伽罗爽上天的表情
将夜在线神马影院BD高清
公交一晃一晃就进去了怎么办
大炕上装睡配合弄
学长突然将遥控器开到最大
被黑人做的白浆直流
中国XXXXXL 18
按摩师用嘴亲我下面过程
19岁RAPPER潮水偷轨仙踪林
办公室娇喘的白丝老师在线看
太捧了几天没C水就这么多吧
日产韩版精品一线二线三线区
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1