有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
为什么女的做过以后满面红光
金田一少年事件簿r
年轻的小峓子3韩国在钱
缠着腰不让他退出
自己一个人想要了怎么办
搞机time恶心10分钟直接打开网页
野花社区日本韩国免费
a处处吻全程拉丝伸舌头拉丝
谢俞坐着震动器写作业车
ドラえもんのエロ原神
5G天天奭多人运动网站入口
亚洲精华国产精华液有什么福利
污到你那里滴水不止的说说短文
妈妈的朋友5在线观看线观高清中文
奥利给吃粑粑原视频
中国人も日本人も汉字を
CHINEAE体育生外卖系列
校霸错一题打一下PG
B站大但人文艺术图
上课的时候突然把跳d开到最大
男朋友是怎么玩你的
男男车车好快的车车网站RH
年轻的小峓子4中字巴巴鱼汤饭
你的棒棒可以桶桶我的下水道
晚上开车又疼又叫的故事
黑料热点事件 吃瓜 网曝
乱码新区仙踪林
终于你离开我的世界
装醉把自己给流浪汉玩
把冰块一个一个挤出去
狗配人怎样配马配人呢
贪欢电影在线观看
天天啪夜夜干2007
丰满年经的继拇9M
一边亲着一面膜下奶韩剧动漫
小家伙你喷的到处都是文字
魏晨破赵奕欢的处图
卡一卡二新区无人区
用用点力快要到了
啦啦爱免费观看视频
考的好妈妈给你做一次
大尺寸小黄说说1000字多肉
黑人缓慢而有力的往里挺视频
内射在线观看者也
大菠萝福建导航进入网址
PO18脸红心跳官网地址是哪一
开过荤的女孩能憋几天
宝贝我想看你的喷泉了什么意思
才几天没做你就叫成这样
精品AV国产一区二区久久小说
女神漫画登录页面入口环球
男生和女生一起差差差很痛的声音
RUN AWAY 全集未删减在线观看
男生说捅爆你的甜甜圈
麻花传媒沈芯语国产传媒
ed2k 泷泽萝拉
班主任说快来插我啊的视频软件
麻花豆传媒剧国产MV免费GK
在没人的教学楼里做老师
亚洲日本一线产区二线产区在哪里
是不是想被C很久了
澳门无人区码一码二码三码区别
野花免费观看日本韩国
爷爷夜里压着妈妈在叫疼
51FUN吃瓜网官网
羞羞漫画在线看免费阅读破解
被C哭是一种什么感受
宝贝我的手指长不长
小黄文水多肉多推荐
晚上做剧烈运动视频教程
仙踪林老狼传媒网址
中欧乱码卡一卡二卡三
呼吸过度未增删
麻花视频V3.2.2纯净版
什么样的B型最好进好玩
学生自w到高c的16种方法图片
甜蜜惩罚2樱花未增删带翻译
男朋友总是说要吃我的扇贝
最新中文乱码字字幕在线
国产传媒果冻天美MD
第1章厨房春潮-我的妺妺H
被学长抱到没人的地方
女人荫蒂勃起后图片
撩到女生下面流句子
成熟交BGMBGMBGM在线看
儿子要玩一次还要怎么办
成免费CRM每天都不重样
用玉器养大的公主
黑暗荣耀朴妍珍打扑克是哪一集
潘金莲高清DVD碟片免费观看
半夜被C醒是一种什么样的感受
一面亲下边一面膜的电影
老师的大兔子好软水好多图片
30多种和合大定的姿势
亚精区在二线三线区别第一基
邻居一晚让我高潮3次正常吗
fulao2官方网站进入
家用摄像头被盗拍400部一区
伽罗躺床流白色分泌物
我想触碰你的深处未增删樱花
沈芯语天美传媒免费看
10岁小学生幼儿
含羞草传媒网站免费进入欢迎您黄页版
坐在硬邦邦的上面写作业
班长没带罩子让他玩儿了一天
一个人吃上面一个吃下
晚上做剧烈运动视频教程
6人轮换C一个过程
蜜桃成熟时3da
中文字日产幕码三区的做法大全
2D甄姬和两个小孩BBS
蚂蚁庄园今日答案
情欲小说龟全文阅读
r车禁闭室润滑剂
抖音故意走漏视频7028集百度云
斗罗大陆唐三桶比比东的下面
妈妈装睡让我进
一个吃上面一个人吃下直看
一体六交怎么做
韩漫歪歪漫画登录页面免费漫画入口页面
乖我们试试在这里
低头看我们结合的地方阅读
上边一面亲下边一面膜的
泰国淫乐园实录
bbox撕裂bass后门
GC时突然抽出来难受吗
梁医生不可以(限)季亭亭
王者荣耀阿离嘴巴里含着口水
Jessica Jaymes女猎人
老师好紧张开一些
最近中文字幕2019国语4
欧洲最大但人文艺术
祺鑫河马的秘密河振动棒
张警官9分10秒头撞玻璃
男人喜欢让你亲他私下代表什么呢
太长了撞到点了
姐姐的朋友中线字
高铁上可以打扑克吗
小草观看免费视频播放
善良的小峓子5中字巴巴鱼汤饭
麻麻熟睡让我滑进去了
台湾SWAY麻豆果冻精东
原神甘雨被x哭还不断流东西
波多野结衣42部视频在线
被体育老师c了我一节课作文
厦门路虎事件2分38秒
我和女婿发生了不该发生的
梁薇陆沉鄞 楼梯
八重神子拿黄瓜奖励
黑料永远不打烊吃瓜爆料
男人忍不住挺进去了怎么回事
男人忍不住挺进去了
姐姐说想做可以找她
你终于长大了可以做了
体育生和外卖员CHINESE
放心我只在外面蹭一下
野花韩国视频观看免费高清8
日本一产二产三产
我把英语课代表抄了一节课
欧洲最大但人文艺术
军婚不知节制地索要小说
女性高c有哪些表现
半夜打扑克叫疼的视频软件
古典武侠 校园春色
野花免费观看日本电视剧
激荡的瑜伽室2
女生越喊疼男生越往里寨的真人
漂亮的保姆在完整5视频带翻译
如何一支笔搞自己
巴西BBABBABBABBA
墨燃把楚晚宁按着干
三年片大全在线观看免费观看大全
飘雪日本免费观看西瓜视频
跳DAN是放在哪里的示意图
99国精产品灬源码1688小说
寂寞夜晚视频观看
棉花塞住下面不能尿还要喝水
亚洲国产精华推荐单品榜
只要一顶嘴就会被主人扇巴掌作文
十九岁日本韩国免费完整版高清
冰块和棉签是用来干嘛的(黄)
鲍鱼最新地域网名2021查询
让我们俩一起轮你好不好视频
WRITEAS诸葛亮多人
我朋友的年轻搜子2在线播放
深度1V3多肉梁医生
清恋 seiren
上一个楼梯撞到最深处
啊宝宝好会夹啊拉丝
国色天香卡2卡三卡4
别怕放松我这是在爱你
猫咪MV最新永久地域网名叫什么
叫女生捏自己的小兔兔的视频
好妈妈5在线观看完整视频
免费无人区一码二码乱码
日剧先生我可以上你吗
晴雅集 在线观看免费完整版
他不让我断奶他要接着吃
最美情侣中文第4季
洗衣屋2未增删带翻译樱花
斗罗大陆黄化人物网站免费
不可接近的女士漫画在哪看
羞羞的漫画官方入口页面弹窗秋蝉
ゴブリンのどうくつ洞窟sana
国产无人区码一码二码三码区别
亲亲抱抱举柔柔的视频
母亲把我误认为是父亲下载
花季app下载3.0.2黄软件怎么下载
再孕1v2lH
内衣柜办公室1-3日语免费观看
果冻传媒2021精品亚瑟
中文字幕人乱码中文字幕
小东西是不是又想吃棒棒糖了
五个人一起会坏掉的小说
国产9麻豆剧果冻传媒
他不让我断奶他要接着吃
免费日产幕乱码2021
迈开腿吃你小草莓是什么意思
必看无人区一码二码三码
简隋英李玉肉车writeas
无人区码卡二卡乱码
妈妈的朋友5完整有限中字木瓜
S货叫大点声C烂你的SB
四个人换着玩春雨
4399影院在线观看免费视频BD
国产卡一卡二卡3卡四卡精品
爱情岛线路推荐线路二唯品会
一家三口换着玩
任你干视频精品播放
男朋友叫了两个朋友上我
360大但人文艺术图
吃瓜网最新官网地址
大尺寸的小黄说字多肉办公室
国精产品一码二码三M
后车座的疯狂运动
这么快就有反应了
美国ZOOM视频狗
世子很凶插花弄玉前进后出小说
亲爱的老师4韩国西瓜影音
莫菁门事件完整照片
あの女の子は歌がうまいうえ
18_XXXXXL56
黑人双人RAPPER剧情介绍
蜜桃麻豆天美星空传媒
棉签冰块放入PG的照片
水都拉丝了啊甩的到处都是
诱人的女邻居BD在线观看
含羞草实验室隐藏路线
14没有工具怎么自w到高c
边走边c1vn骨科古言
菠萝视频无限看
戴自动蝴蝶去上班感受
エロドラえもん
涩涩屋草莓丝瓜秋葵
吸小兔兔是什么感觉
侍卫把贵女怼树干
用手指轻轻按着小扇贝并来回移动
原神当甘雨被空C出液体视频
暴躁老阿姨CSGO攻略
5g天天奭多人运动 最新网站
三根一起玩真的不会坏掉吗
小sb是不是又想要了
王者荣耀瑶嘴巴里含着铁球流口水
把自己玩喷泉的视频叫什么
办公室欧美大尺寸SUV
三个人玩我一个人是什么感觉
斗罗大陆黄化网站直接进入
内谢XXXXX8老
黑道少爷爱上我
小草观看免费视频播放
日本rapper潮水RaPPe
VPSWINDOWS另类精品
啦啦啦中国日本韩国免费高清
呵啊呵啊呵啊女生叫什么
一面亲着一面膜胸口一面膜下部位
双指探洞手势图片
欧美无人区码卡二卡3卡4
双人床上做的运动打扑克软件
他趴在两腿中间舔我私密有事吗
宝宝s在里面好不好
原神雷电将军把乳液喂给旅行者
如何用一支笔玩哭自己
宝宝才两根手指就哭了
黑料网-独家猛料-曝光揭秘zztt
国精产品一区一区三区有限在线
妈妈用自己的身体做生日礼物
再插深点嗯好大好爽
皇帝往下边塞玉器见客
结婚晚上怎么吃女生的小兔兔
18款禁用软件APP哔哩哔哩
美国ZOOM人狗APP一欢迎你
迈开腿给我看看你的草莓文章
亏亏的视频带疼痛声的免安装
得到超级肉禽系统的紫岭红山
51吃瓜爆料黑料官网
忘带罩子了让他弄了一节课
同桌的手探到我的衣服里怎么办呢
教练在车里撞了我三次
广东东莞技校门
把自己弄到喷泉
亚洲一线产区二线产区区别在哪
年轻丰满的继牳2
女医生私密诊所
淑蓉又痒了办公室献身
把筷子放屁眼里不能掉作文
两人打扑克剧烈运动又疼又叫
污到你那里滴水不止的说说
跑步机上边跑边顶
日韩天码砖区2021
麻花传媒XK8046在线观看
每人C我半小时
精产国品一二三产区区别9977
精东传媒vs天美传媒合作
黄色软件下载3.0.3每天无限次VIVO版大全
一男一女打扑克是什么意思
老湿机免费体检三分钟十八岁
房东先生这是第5次付房租了
一处桃源千人品两片红唇万客来
538prom精品视频在线播放
JEALOUSVUE厕所
体育老师在单杠C了我一节课网
每天都是被C着醒的
中国超大但人文艺术视频
西施欠钱不还用身体来还钱含羞草
羞羞首页登录无限阅币免费
24种阴性户型图
爸爸妈妈为什么夜里摇床还叫
24小时日本韩国免费看
成熟交BGMBGMBGM中国
以性作为考试的学校
女人半夜睡不着看点害羞的
漂亮妈妈日本韩国
国精产品69永久中国有限
李信抬起阿离的腿就是C视频
黑料社吃瓜爆料砍黑料社
30秒不间断踹息声
不良网站进入窗口软件打开免费下载
我的兔子好软水好多双指探洞
家用摄像头被盗拍400部一区
他缓慢而有力的撞着王爷
高压监狱三部分别叫什么
厨房里的激战2精彩情节故事简介
漂亮妈妈3在观有限中字
最好最全的c人教程
帅同社区 文学转载
花蝴蝶在线观看片3
一二三四日本免费
我年轻善良大胸的邻居
女人扒开双脚让男人捅了
星空传媒XK8077妻子的报复
WRITE AS 自己掰
z0oskoolstray猪
夹看学长的巨大的J把写作业小说
污到你那里滴水的说说细节多
ssni409
扑克直播软件免费
床上腰射和肩射是什么意思
国产一线产区二线产区
用你的舌头搅拌着我的舌头歌词
一女战三老外一女战三黑人
大炕上和岳偷倩
在教室捡到一个遥控器
学生的妈妈双字10字
年轻的保姆5线观高清多鱼
世子很凶插花弄玉
b站免费建网站
成功拿下了妈妈
嫦娥狂飙乳液奖励自己一发
色母3030A
小雪的L3又嫩又紧又多水图
晚上必看的正能量视频入口
亚洲一线产区二线产区区别在哪
品色永久免费论坛
娇吟公车系500章
一个一个轮着CNP
醒来发现狗狗在上我
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1