有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
精产国品一二三产区9977
Rapper国内女rapper
雨后的小故事gif图
春雨直播免费直播视频
我朋友把我玩成了喷泉什么意思
安迷修被雷狮放振动器
去姥姥家进入妈妈身体的说说句子
大尺度穿床震视频韩国
巨人精品福利官方导航
老人在野外做见不得人的事
电车之狼r完美存档
亚当的六个女人
搞机TIME的恶心软件直接打开不用不收钱
在我们寝室当寄吧套子怎么样
亚洲宅男天堂在线观看无病毒
一个好妈妈2水母中字老虎
两个奶头被吃得又翘又肿的
晚上睡不着偷偷看日本B站
把它堵住不能流出来下周检查
老师拉我去办公室做了一节课英语
王者荣耀黄化网
考的好妈妈就给我一次
疯狂试爱的视频
性情中人中文网bt
雷电将军狂飙图片高清壁纸大全
父母儿女一家狂
老卫和淑蓉的船上生活视频
免费夜间做还运动视频扑克软件
差差差很疼无限在线观看
快猫记录世界纪录你
分手那天我们做了八次视频
2021高清VPSWINDOWS
无尽画廊Naruto小南
丁香花成人论坛
男生口中的滑滑梯是什么意思
无人区一码一码二码三码区别
原神申鹤乳液xman天堂
教练在车里撞了我三次怎么办啊
帅气体育生GARY网站MV网站
IPHONE欧美高级特色
绝对丽奴漫画下载
狼狼鲁色在线视频播放
新不夜城综合首页
人伦亲情父母儿女的句子
接电话被顶的说不出话
爱啊哎呀我愿意
极品教师第二季免费观看
精品麻豆国产AV无码免费
二人世界拔萝卜
成品大香伊煮和小辣椒的用途
BBOX残忍BASS
vide0sdesext姑娘HD
爷爷总是趴在妈妈身上睡觉英语
一女多男nP现代高H
17may18_XXXXXL56endian
几天没C你是不是痒了免费
合欢椅PLAY春风凤鸾椅
打扑克牌又疼又叫
猫咪最新地域网名3336
欧美人与禽2O2O性论交
去姥姥家进入妈妈身体的说说句子
男朋友咬我的小兔子图片
柳青青人体艺术图片
新版猫咪地域网名入口3.0
宝宝把腿开大点就不疼了
宿主的任务是收集jyH
来吧儿子妈妈是你的人是什么
雷电将军乳液狂飙vx免费进入
tttzzz传送门2023网页版
小蓝彩虹男男GARY2022
精品一卡二卡三卡四卡兔在线
处钕膜被捅过程图片
乳色吐息樱花未增删翻译中文翻译
一口一口把奶油从胸口吃掉
输了让同学玩身体全部位置的游戏
青春草原精品视频
穿戴式跳d放在里面坐公交车7P
生物老师拿自己当做繁衍例子
麻豆精东星空天美MV
情感的禁区1080
玩小雪跪趴把腿分到最大影视
ゴブリンのどうくつ洞窟sana
两根棉签如何把自己玩哭
欧美无人区卡1卡2卡3
王者荣耀瑶嘴巴里含着铁球
善良的的老师3
寄宿日记82话用喉咙帮充电
狗狗射速好烫太怕了
某科学的触手姬
美国人免费XXXXXL19
干的你走不了路SB
善良的嫂子2字巴巴鱼汤饭
XL司樱花未增删翻译
国色天香卡一卡2卡3卡4卡5
ONE.YG99.AQQ一个致敬韩寒
蜜桃影像传媒推广
我38岁离婚后跟儿子睡
在教室里把跳d开到最大
一边做饭一边躁狂怎么办呢视频
随时随地都能干的小镇I
7X7X7X任意槽2023进口
一个老男人把我下边玩肿了
魏晨破赵奕欢ps密照
棒棒糖放屁眼里吸收的视频
农妇肉体AABBWHBBW
无翼乌全彩无漫画挤奶
家庭大杂乱经典说说大全
云缨拿枪奖励自己核心
大香区一二三四区2021
女人能接受开三门吗
吉泽明步种子下载
自我安抚的步骤图
雷电将军被旅行者淦到哭
中文字幕看成电影乱码
B的几种类型图例
坤吧放到欧派上
男人和女人香蕉网线看
搞机TIME的恶心软件直接打开不用不收钱
教学生瑜伽的时候进入
老太婆下身浓浓毛多
2分30秒不间断踹息声
没带罩子让他吃了一天的药
被十几个黑人两根同进
美国十次了导航
一二三产区的文化背景
无颜之月哪一集开车了
帝王怀孕肚腹挺起好憋
妈咪直播打扑克
爸爸我可以吃你的棒棒糖
ZOOM人牛OKZOOM美国
久久这里只有是精品23
搡BBBB槡BBBB
小莹与翁回乡下欢爱姿势
转过去趴翘高点打完坐高脚凳
每天肚子里都是主人的尿
一次接5个客人的感受
全程车的百合推荐短篇
宋慧乔爆肛门是怎么回事
斗罗大陆美女被塞坤巴
一男一女打扑克是什么意思
雷电将军ちゃんが部下を图片
没带罩子让C了一节课时
男朋友c的时候都说什么
吃警察爸爸的擎天柱视频
男男GARYWAYNE
初中XXXXXL
坐公交车弄了2个小时视频
第一次挺进苏雨瑶的身体
来吧儿子妈妈是你的人是什么歌
看了让人下面滴水的说说文章长篇
写的超细的开车过程
小舞去掉所有服装图片
儿子比老公的大 没忍住
精产国品一二三区别9977
嘿嘿漫免费漫画入口页面弹窗秋蝉
高岭之花必须喝JING续命海棠
品色堂永久的免费论坛
白雪公主成版人版H
我们4个人换着玩
火辣辣app福引导大全内江市
苏家有女1v5黄心火龙果
我的兔子好软水好多免费的网站
津渝视频完整版第一集
儿媳妇以为我是她老公怎么办
1v3多肉小公主
韩国最大但人文艺术
同学的妈妈3中字巴巴鱼汤饭惹
25cm坐上去感觉是怎么样的
金鳞岂是池中物候龙涛
小钰IG夺冠了就让草
坐下来自己慢慢摇
把女人干到不能走路
初中女生喊疼男生越往里寨游
不知火舞被3个小孩
5G天天奭多人运动最新 网址
强伦姧人妻三上悠亚中文字幕
原神胡桃享受流口水图片
欧美最强RAPPER潮水
卫老汉与淑蓉第一次
日批发出来的声音录音
早上醒来巨大还在里面
群臣在朝堂上却玩皇子微博
我与儿子发生了不该发生的事
色吧有你春暖花开
电车之狼r 去马赛克
和邻居换娶妻1
日批发出来的声音录音
奇怪的美容院沙发
这几天没C你了是不是又想要了
四房色播手机版
没带罩子让他C了一节课作文动漫
与我同眠 下载
宝才一根手指就疼了?
啊灬啊灬别停灬用力穿越古代农村
啦啦啦中文日本免费高清完整版一
仰起头!看见2023的中国
同桌的手探到我的衣服里怎么办呢
51无人区码一码二码三码四码
147人休艺术网
真是不经弄的小东西视频
3个人同时玩一个人
哎呦我的宝贝真好喊爹什么曲
被窝里的公息第十三章阅读
注射器放屁眼里灌注牛奶
成都教育局回应初中取消晚自习
被几个人日的走不了路
坐着震动器写作业的感觉作文
受变成小人用棉签
一顶就叫是为什么
注射器打水放屁眼里视频处罚
上面一边亲下一边面膜是什么意思
朋友的母亲7在观有限中字
把它夹住去跑步不能掉体育课渺渺
奶酪陷阱在线观看
老扒抱着淑蓉进房间第八集视频
99精产国品一二产区在线
校霸被学霸玩到崩溃车
久久精品卡二卡三卡四卡
深度开发1v6笔趣阁
XVDEVIOSXVDEVIOS都是正版吗
和朋友换娶妻10
无翼乌全彩漫画和
亚洲一线产区二线产区区
各种姿势玩小处雌女TXT视频
无颜之月1-5下载
王者荣耀海月被捅到流口水表情
欧产日产天香区
八重神子和丘丘人繁衍后代
国产午夜精品AV一区二区麻豆
当兵的一天弄了好几次
腿可不可以再抬高点
莫菁门事件完整照片
马总喜欢我的两颗小葡萄
充气娃娃怎么用
橘梨纱コスプレ连続激イキ
张婉悠白蛇传完整版
我们在线观看免费BD视频
亲爱的老师4中字BD
我被猪鞭螺旋状进入的
坐下来自己慢慢摇的感受视频
学渣坐在学霸的鸡叭上作文
BGMBGMBGM老太太毛多多
拔萝卜 全程不盖被子拔萝卜
同桌把我拉到他家做了作文1000字
你流了那么多水还说不要
唐朝豪放女百度影音
色天使色护士在线视频
把女人弄特爽黄a大片
对象吃我的奶奶说明什么
我和几个亲戚都做了爱
24小时免费看视频打扑克
朝俞writeas
英语课代表让我c翻了视频
直到纯洁的你沦陷未增删谢谢
年轻的小峓子3韩国在钱
露娜用猴子的金箍棒玩
王医生的私人诊所苏沫沫
汤姆叔叔永久转入接口
国精产品W灬源码1688伊
心急吃不了热豆腐
日本水蜜桃身体乳与韩国美白对比
善良的小峓子67中字巴巴鱼汤饭
老旺的大肉蟒进进出出视频
小东西才一根手指就喊疼了
脱色摇床93S
祢豆子が悪い人に捕まったら
我的漂亮女房东完整版电影
小格式自压原创区
原神雷神去掉小内图片
车里一下比一下撞的狠
公交车被弄得走不动路走不说说
中国人免费高清的视频大全
男生说捅爆你的甜甜圈
老师你的兔子好大好软水的作文
不要再进去了会被撑坏的
WRITEAS内塞式猫尾
蜜芽188.Coo永不失联
少妇BBB搡BBBB搡BBBB
斗转星移女明星
137西方大但人文艺术
附近人100元一次服务
melancholy视频在线观看
500篇短篇合
天美果冻女儿的梦想
插曲视频30分钟完整不用下载
刚结婚每天晚上折腾几个小时
中国XXXXXL19免费视频
歪歪漫画登录页面免费漫画入口首页漫
啊哈哈哈哈主人我错了哈哈哈哈柯
把跳d放在里面坐公交车作文
2021今天沈阳爆炸事件刚刚
金刚杵大战肉莲花
陪儿子读书发生的事是真的吗
麻豆画精品传媒2021免费
男子吃冻土豆后拔牙
电动牙刷怎么惩罚自己
办公室跪下拉开拉链吃应用的优点
随着车的震动一晃一晃
WRITE AS 医生X患者
强壮的黑人RAPPER
不良网站进入窗口软件打开免费下载
开车污的 女生越疼男生越来越快动漫
老板的办公桌BD
AI赵露思又疼又叫
绿巨人推广APP网站
欧洲女RAPPERDISS大
免费做运动打扑克视频
麻花视频V322纯净版
含羞草实验室2023隐藏入口(已更新)
啦啦啦在线视频免费观看4
VODAFONEWIFI与黑人
国精产品一二三线999
踩踏终点站文化馆
99精产国品一二三产区区别网站
日产韩版精品一线二线三线区
寄宿日记37你也想做吧秋蝉
国精一二二产品无人区价格
王者荣耀女生去掉小内游戏
proumb.net
打扑克激烈运动竟然不盖被子
男按摩师舌头伸进去了
无遮无挡在线看
将皇后送去军营慰问三军
走绳子打结PLAY
梅姨到底有多恐怖
每集都在打扑克的韩剧
你终于长大了可以做了视频
啊宝宝好会夹啊拉丝
小sb是不是又想要了
俄罗斯VIDEOSDES18
公的浮之手中字5
比赛输了任对方看和玩部位游戏
七个人玩我一个人
女生迈开腿让男生吃草莓恶心吗
女人扒开双脚让男人捅了
豪妇荡乳1一5
蜜芽忘忧草老狼二区大豆
《和搜子居同的日子》
腿张大点就能吃扇贝什么意思
一个人看的片中文HD
精产国品一二三区别9977
性妇VODAFONEWIFI精
过来趴好自己选玩具震动
喷泉1V3HL
等不及在车里就要了老狼信息
片多多看电影免费吗
MIYA收藏请牢记此区域
天美MD豆传媒一二三区进
腿再张大点就能吃到扇贝了
三公主baby girl
老版天仙配全集
把腿开到最大就不疼了真的吗
镜といちゃつきたい的欢迎会
51cg1.fun怎么打开
亚洲NINEBOXMOD3D
往下边塞玉器见客人作文
不被原谅的搜查官
TESTFLIGHT男人必备什么意思
奶头被几个流浪汉吃肿了
阿拉善8人大战视频
成人网小儿不宜
国精产品一区二区三区糖心
够了够了已经满到高c了楼道
冲动的惩罚完整版动漫
新最终痴汉电车
韩国最大但人文体艺术
一小孩儿半夜给女孩吃坤巴
白色乳息樱花未增删带翻译樱花
禁欲电影观看完整版中文
父母儿女一起上!
黑料不打烊最新2021地址
学渣含着学霸的写作业双男主车文
99国精产品品质溯源网
王者荣耀小乔爽上天的表情
hotavxxx
最近韩国日本免费观看MV
妈妈的朋友2在线观完整版看中文字
兄弟俩一前一后
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1