有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
玛雅maya 确认 已满l8岁
最近韩国日本免费MV高清观看
双人床上做的运动打扑克视频软件
三根一起会坏掉的好痛红梅
坐姿双马尾duangduangduang
APPSTORE美区免费
她舔我阴部好爽69式
12MAY18_XXXXXL56ENDIAN
夜里听到婆婆哼哼的叫声
牙医姐妹赤子板栗
GAY大陆年轻帅小伙2022
侯府荡女H叶凝欢H
新疆女RAPPER18岁RDFJFTTIK
污到你那里滴水的说说细节
把红酒倒入b里温酒
走一下撞一下深深咬合的小说
班长哭着说不能再C了视频
花蝴蝶日本大全免费观看3高清版
伽罗ちゃん的个性特点有哪些
国精产品999一区二区三区有限
真人作爱视频免费视频大全
马车上的欢乐(下) 小燕子
附近学生约100三小时
把你的香肠放入我的甜甜圈的
校园纯开小黄车小短文300字
宝贝我的尺寸你会痛
三个人对我又舔又摸
家里没人叫大点声干湿你电影
迈开腿让我看看你的草莓照片
エロゲ母爱如山动漫
l多肉的糙汉b1H
日日啪无需播放器
老王的晚年生活
老公叫人一起换着玩的说说
春暖花开行吧有你cc
布洛妮娅翻白眼乳液狂飙
为什么舞蹈生下面都是突出的
枕边欢情电影在线
被C是什么感受
晚上睡不着看点害羞日本
5g天天奭怎么打开
我等不及了给我好不好
当兵的晚上弄不停
顶开妈妈的生命之门列表
给我中国免费播放片在线
我得到了妈妈的桃花源
宝贝对着镜子CAO好不好
krohne流量计
岳两腿之间白嫩的小缝
坐在吃饭连在巨大一起文
美国XXXXXL19D
如何在被子里无声自W
我的兔子好软水好多PO
女生和男生一起差差的事
2023钙Gy钙站
老师洗澡让我吃她胸的视频
腿再开一点我就可以吃到扇贝了
年轻漂亮老师高清线
被抱起来C是一种什么体验知乎
刮伦人妇A极一片
张津瑜6分视频
漂亮的保姆中字
在厨房里两只乳头被吸肿了
成品禁用短视频app下载
最好韩国日本免费
3DNAGOONIMATION_HONKAI动漫
中文精品一卡2卡3卡4卡国色
宝贝看我怎么破你的初试视频
晚上喝了酒回来和狗狗做了
TOBU18-25
陌陌万人睡小华佗视频
女销售的成功秘籍中字
沈阳45岁老阿姨喷了几次尿素
潘甜甜手机的秘密
在火车和后妈妈谁在一起是什么书
讲讲是如何c自己女朋友
2021中文日产幕无线
试看免费120秒
换个方式做吧樱花网
一小孩和妈妈打扑克(黄)
proumb.net
美女视频脱空一净二净
老师你的兔子好软水好多作文小说
世界上最不安心的人
宿主的任务是收集jy活命小说
年轻的老师4中文正版
插太深肚子凸起来了
147女人的阴性部图片
日本卡一卡二新区
我把语文课代表做哭了
真实的妇乱子伦
爱情鸟免费论坛二
10岁可以插几支笔
最近中文字幕无吗
啦啦啦在线观看免费完整版BD
家里没人儿子就弄我了视频大全
撑起伽罗的腿疯狂输出的视频网站
9612黄桃亚洲品质在线观看
永远免费的品色堂
看着我是怎么吃你的水
无人高清视频免费观看在线动漫
刚开笣没多久的大一新生
女篮坎贝尔惊艳三部曲叫什么
新版猫咪目前的地址入口
国精产品一二二线精华液
夜里18款禁用b站
亚1州区2区3区产品乱码
秘密教学10话我需要灭火
在健身的时候突然支起小帐篷
欧洲vodafonewifi高
我把英语课代表抄哭了
粗壮在内径中横冲直撞的原因
八重神子COS入夜狂飙游戏
甘雨拔萝卜视频素材
在办公室里揉弄小雪好爽
榴莲新片免费观看
啊我们换个地方C死你
乱码一乱码二乱码三新区
大尺寸的小黄说说作文
姐姐的朋友3韩剧免费观看全集在线观看天才
妈妈的朋友3007电影
学长的手指在里面转动的写作业呢
国产免费毛不卡片
男生吃小兔兔的细节描写知乎
深度1v3多肉
大巴车轮C系列
缅北对女性开火车
男生说想吃我的扇贝是什么意思
身体秘密 感官世界
超碰免费视频公开人人
海角社区.COMHJ
最近中文字幕2019国语4
桃花视频在线观看播放直播
粉色视频APP下载安装无限看丝瓜苏州
大佬360DNI2在线观看
三个人一起玩3Q会怎么样
G位的准确位置怎么找到
上楼梯时故意一点一点
gransremedy老太太
污到你那里滴水的视频
学渣坐在学霸的棒棒上写作业
渣男和渣女做不干净的事情视频
韩国演艺圈悲惨37
同时和两老师双飞
jy浇灌系统公交车
男生插曲女生身全过程
WRITEAS怀孕涨奶
暖暖视频日本版免费完整版
接电话时他却突然用力
二人世界拔萝卜
47147大但人文艺术欣赏
WYC.IA忘忧草TV
エロゲ母爱如山动漫免费观看
伦理在线看年轻的母亲4
无人区乱码卡一卡二卡三
疯狂伦交550篇小说合集
用......用点力快到了视频
51无人区码一码二码三码四码
说服好兄弟让一堆人c我作文
把老师按在地下做了一节课作文
心动的信号4免费观看西瓜
坐在上面做的视频
女生戴一天仙女棒的感受
索多玛的一百二十天
好男人看在线视频
原神雷电将军被C出液体视频
再把腿X开一点就可以吃
孩子想C我同意了
最近免费韩国动漫HD无
人间小喷泉1V3HL笔趣免费看
无翼乌漫画全彩集日本漫画大全
do的时候夹一下是什么感觉
青梅竹马是消防二季未增删
最近日本免费观看MV百度
无翼乌无彩无漫画
中国农村真卖BBWBBW
白俄罗斯RAPPER潮水
小洞饿了想吃大香肠喝热牛奶是
花蝴蝶免费版高清版
日本ZOOM动物
xxxholic春梦记
看完立马湿的小黄说说
情侣的一百种插秧法
没带罩子让捏了一节课视频
亚洲精品1卡2卡三卡23卡
美国macbookpro日本
疯狂厨房2双人游戏3
正面上我啊BY炖了一锅毛血旺
C到哭不止水好多视频
大尺寸的小黄车说说公交
无套内射GIF舔B吃奶
荷兰少归BVBV
腿再张大点就可以吃到扇贝了视频
亚洲国产精华液2021年销量
百合做运动视频教程
水乳交融HPO
伽罗ちゃんが腿法是什么意思
东莞技校门下载
老人猛的挺进莹莹体内视频
丰满年经的继拇9M
Zoom与人性Zoom怎么同步
你们老公玩你的时候都是怎么说
妈妈的朋友6在观完整有限中字木瓜
用点力就快出来啦
原神旅行者喝甘雨的奶
我被两个男人玩到早上
快猫成人短视频app
一面亲上边一面膜下边文字表达
家里没人儿子就弄我了
雷电将军乳液狂飙VX网址
魔鬼公交车上的小黄说说
两对夫妻一起旅游互换的说说
WRITE AS 含玉
爱情岛永久免费线路二
樱桃视频首页在线观看
我的很大你要忍一下的视频
国色天香直播在线播放
51无人区码一码二码三码区别
WRITEAS两根性器
女教师二十三歳
史莱姆のエロ刻晴二维码
另一类ZOOM与人性ZOOM
最近更新中文字幕
黑帮少爷爱上我
国模欢欢超大尺度炮轰
迈开腿尝尝你的水很甜
99无人区码一码二码三码四码
和父母换着玩大家庭三
文轩WRITE AS 震动器
日本精品一线二线三线区别在哪里啊
老子就是要上你在镜子面前
你真紧你这是要我的命吗什么意思
宝宝你能对准坐下去吗漫画
菠萝蜜国际通道一区麻豆
男生把自己的QQ放入女生的QQ
晚上家里没人就让你弄
新疆XXXXXL2031
男生把坤放女生定眼会怎样
无限资源w国产大片
坐地铁车被高c怎么办逃跑的老师
今晚家里没人叫大声点声
王者荣耀黄化视频网站入口
老师忽然渐渐放慢了进度视频
旗袍全开襟做双人运动人民网
上课没带罩子让他c了一节课
一姐rapper潮水太多
国产乱码无限2021芒果
妈妈的朋友4中字在完整视频带翻译
凌晨三点看的片日本
没带罩子被校霸C了一节课作文
小学生如何自己安慰自己新手
桃汁糜烂NPC
朝俞R车WRITEAS震动器
埃及猫没有衣服跳舞视频
老何大战雨婷三部
c的你走不了路sb
精品国色天香新区卡一卡二
甘雨乳液狂飙图片黄XMAN
向涟苍士献上纯樱花
W938乳液78AW
小洞饿了想吃大香肠什么意思
春暖花开xing
japonensis成熟
品性堂免费论坛
抵债的朋友麦子韩语
姐姐的朋友6有翻译
张津瑜事件聊天内容
爱如潮水图片高清日本
老师的大兔子好软水好多
放荡老师张开双腿任我玩网站
詹妮弗的肉体完整版
张津瑜卫生间1080P
亲爱的老师4中字在线完整版迅雷
宝宝的扇贝真会夹哦是什么意思
换个方式做吧未增删樱花
跳D放在里面走路什么感觉
麻花豆传媒剧国产MV免费GK
51吃瓜爆料黑料官网
尺八话的巡り动画免费看
情侣的一百种插秧法
小洞饿了要吃大火腿肠吗
体育课被c了一节课怎么办
用注射器打水放屁眼里处罚视频
不如各自安好(1V1)
老师的手指在里面转动的写
51无人区码一码二码三码四码
CHINA中国对白刺激大豆
果冻传媒MV国产聂小倩主演
王者女英雄去掉所有服装不遮挡没有烟雾
你的太大了我装不下
带着跳D走路舒服吗
弱点21话一次够吗
野花视频高清在线观看
比我老公的大了一圈
国际油价5日显著上涨
越往下越疼那种
电锯惊魂3百度影音
69无人区码一码二码三码七码
极品教师第三季免费观看
不想疼就把腿分到最大到再打
2022GGY钙男男视频
原神黄化网站站
宝贝儿感受到它在爱你吗
你信不信我现在做哭你
汤姆叔叔最新地域网名2021
棉签怎么玩哭自己
cf孙尚香正能量视频
二次元动漫人物桶动漫人物游戏
健身私教弄了好几次
BGMBGMBGM老妇视频
蜜芽忘忧草二区大豆行情网烧仙草
siro-1063
按摩师舌头入侵女顾客
一面亲上边一面膜下边说说
日本人是人吗最佳答案
BGMBGMBGM太太毛多多视频
十个人一起上我会不会坏掉
露娜拿的金箍棒玩自己视频
我好像找到你的敏感点了宝宝
TPU色母和PA6色母的区别
人与畜禽CORPORATION的合作
后车座的疯狂全文阅读
日本插槽X8插槽
女朋友特别会摇是什么意思
双龙进洞夹心饼干的制作工艺
炎炎消防队生肉1080P
国产一卡2卡3卡4卡国色
最近最新在线观看免费高清完整版
我的漂亮女房东完整版BD
欧美最强RAPPER潮水
这个杀手不眨眼
品色永远免费堂
动画情侣剧烈做运动的表情包
黑人的很粗很大的蘑菇头
心疼儿子给他一次可以吗
亚洲不乱码卡一卡二卡4卡5卡
极品教师高清免费观看中文
男男车的车车图
六年级女生隐私里可以塞几支笔啊
xk8071星空传媒
英语课代表说他下面湿透了
爷爷夜里压着妈妈在叫疼
杨思敏版1到5集国语版
B站大全不收费
最强RAPPER女潮水仙踪林
私人IMAX家庭影院
罗马帝国艳情史图解
ピースエロじ天堂资源
日本一卡一卡二新区乱码仙踪林网
被他们玩得走不动路
国精产品无人区一码二码三M
三叶草GW6781
长发公主国语版
老师上课把跳D突然被开到最大
她在丈天面被耍了BD免费
浴室狂欢BD未删减
滑滑梯越往下越疼的那种图片
椅子上有木棒坐下去吃饭
久久只有这精品99
TFRG4MAY18_XXXXXL
外回り中に突然の大雨一雨宿
男生女生差差差差差很疼视频免费
新禁室培欲之爱的俘虏
三叶草亚洲尺码和欧洲尺码区别
老师你的兔子好软水好多作文
50款夜间禁用软件app免费
GOGOGO大但人文艺术包
公婆总是夜里恩爱声音大
欧洲无人区天空码头IV在哪在线
2023AMAZON欧洲站
坐着轮流提双腿能起到什么效果
温暖叶非墨车内做肉
开小娟小妍嫩苞
翁熄小莹(奇思妙想)第二篇
桃花社区在线观看视频
父亲缓慢而坚定地进入的网站
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1