有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
嘴巴含胸的图片
桃花社区视频在线观看完整版
几个健身私教弄好几次了
绯闻男友发长文力挺张靓颖
公交车6人轮换c
被C是什么感受
美女露出奶头扒开尿口让男人桶
漂亮的丰年经的继拇3免费看
污到能让你滴水600字作文
同学叫了好几个人来玩我
人与各种动ZZZ0O0OXXX
疼我都哭了他还在动说明什么
老熟女重囗味HDXX70星空
有孕1V2LH
青梅竹马是消防员1未增删
宝宝s在里面好不好
你把腿开大点就不疼了
松岛枫 恶女教师
TOBU8-HD100
母亲把我误认为是父亲下载
人与马是怎么交流配的
亚1州区2区3区4区产品国色天香
原神申鹤乳液xman天堂
插曲视频30分钟
梁医生再往下一点吃肉
老师上课把跳D突然开到最大
爷爷总是趴在妈妈身上睡觉好不好
中国speakingathome宾馆
hym661水蜜桃
濡湿的车站未增删带翻译樱花翻译
8X8X海外华人永久免费提供
学长一边撞我一边写作业作文
一面亲着一面膜胸口
凌晨三点看的片日本
精产国品一二三产品区别9977
超砸在线观看免费视频
4399国语高清完整版在线播放
世界脱衣舞大赛
热热色原网址20岁以下
日漫动漫人物将机机插曲漫画视频
欠c的玩意sb就是用来c的
浓毛BGMBGMBGM
被自己买的机器做到哭
玩白嫩少妇小泬高潮18P
美女校花被老汗狂肉的故事
男生晚上睡不着想看B站
可以触碰你的樱花未增删樱花
公孙离去所有衣服被捅
韩漫歪歪漫画登录页面免费漫画入口版
日产乱码一二三四五
做到让你怀孕的樱花动漫
大香煮伊芒果7815的特色功能
英语老师没戴让我c了一节
儿媳妇夸我比她老公大怎么回复
丁香花美女社区
亚洲不乱码卡一卡二卡4卡5
狗狗射速好太可怕了sun
八重神子下面草出白色液体
怎么把自己变成喷泉夹枕头
没带罩子被校霸C了一节课文视频
穿越到随处做X的世界结局
我帮娇妻找粗壮男人玩3P
酒瓶塞住不准掉下来
夜里18款禁用图片
一二三四在线播放免费观看中文版视频
做aj的姿势视频教程图片素材
花季app下载3.0.2黄软件怎么下载
年轻漂亮的后玛
po18脸红心跳作茧官网
小蓝彩虹男GARY1096
无限在线观看免费直播
日韩一卡2卡三卡4卡分区乱码
宝贝我想你站着做
潘甜甜果冻传媒 在线观看
怎么用一根棉签弄自己
我们高清日本免费观看
整篇都是车的百合推荐
斗转星移女明星合成
环太平洋 迅雷
把冰葡萄一颗一颗往里堆
炖肉计(是今)海棠
成熟交BGMBGMBGM的价格
全棵女性艺术写真
芳草地在线观看视频
将夜免费神马影院日本
王建李珊张伟陈婷互换
小洞饿了想吃大香肠的注意事项
给你下水好多下水道
一个男生弄哭另外一个男生
彩虹男孩GARY视频
与畜禽狗CROPROATION
一区二区视频传媒有限公司
婚后与父母的交换
抽出含了一整夜的性器液体流
你们对象都是怎么扣的
男生和女生污污事视频
公交车被C 宝贝这才几天没做水
GTV小蓝视频网站链接知乎
双人打扑克剧烈运动视频
把腰抬过来一点不然我怎么发动
女人50岁半夜莲花还开吗
女士的小内搭没遮阴怎么办呢
车子一晃一晃正好掩盖我片
怡春院宜春院美国十次
跳D放里面遥控器给别人了
CHINAGARY武警体育飞机
人物动物交互第ll0集
抱着公主走一步撞一下
伦理片在线线看手机版韩国
三妻四妾完整版播放
宝宝才三根手指就湿成这样了啊
有实无名豪门孽恋
软糯小受灌满哭求饶道具
老翁的大肉蟒进进出出视频
学长能不能换个地方做工作
正式告别一段感情的话
电车之狼r怎么通关
两个奶被揉得又硬又翘怎么办啊
比赛谁输谁去谁家受罚随便玩
VODAFONEWIFI性另类
一品和精品的区别
可播放的steve hopper
差差的很疼30分钟视频无掩盖
JEALOUSVUE成熟好妈妈
WRITEAS检查身体
翁公的浓精11部
疯狂试爱的视频
WRITEAS朝俞夹东西
含羞草实验室2023隐藏入口(已更新)
女孩子的第一夜图片
春暖花开x吧有你
可以跟女主拔萝卜的游戏
台湾swag是什么
老板的办公桌BD
男女一边摸一边做爽爽的免费文字
男朋友咬小兔兔是应该怎么回应
伦理片妈妈的朋友中文2
抖音奶片故意走漏
寂寞夜晚视频观看
亚洲欧洲一码二码区别在哪
2012手机在线看免费观看
rbd-505
金瓶双梅2房奴试爱
rbd-573
免费120秒体验试看5次
情感的禁区1080
日韩卡一卡二卡乱码新区
晚上睡不着偷偷看B站
99精产国品一二三产区区别网站
浪翁荡熄的幸福生活
妈妈的朋友7在观完整有限中字一
丰年轻的继拇中文3应用特色
最近日本免费观看MV百度
私人情侣网站中文
老何船上弄雨婷第14章
校霸被学霸玩到崩溃车
陌陌万人睡小华佗视频
BURBERRY大片
妇女被深耕过后有哪些表现呢
日产精品卡2卡三卡4公司
姐弟拔萝卜又疼又叫高新
晚上让你吃棒棒糖是啥意思
黑人巨茎大战白人女40CMO
邻居按摩人妻HD三级
便利店的少女未增删带翻译
妈妈的朋友10在观完整有限中
小黄花必备软件推荐
国产SUV精品一区二区33
转过去趴好bl
把那个放在里面走路
CF孙尚香正能量图片
二人扑克剧烈运动视频
宝宝你好会夹啊都拉丝了作文视频
WRITEAS撑桌上
双龙NP黑粗撑开宫颈口BL下人
一人吃上面一人吃下
台湾佬娱乐中文22vvvv
儿子你比你爸爸的大多了
一整夜都连在一起没有退出来
日本无人区码SUV
色农夫网站导航大全
5G影讯5G探花多人运动最新网站
仙踪林老狼 - 八零婚纱摄影工作室
一面亲上边一面膜下边打扑克视频
成品禁用短视频APP抖抖
YSL千人千色AE86V9
是不是每一个b都一样感觉
梁医生 再往下一点
岳把我用嘴含进满足我第二章
错一道题就插一支笔怎么办
坐公交车居然弄了2个小学生
迈开腿给我看看你的草莓文章
日产乱码一二三区别免费公司
国产精品艺校校花视频央视网出文
父亲缓慢有力挺送女儿
野外插曲的痛的视频30秒3K2
爸刚走爷爷就来抱妈妈怎么办
一次接5个客人的感受
中文在线っと好きだった官网
TMW07国产天美传媒
人文艺术视频是什么意思
仙踪林大豆行情网老狼
在教室被老师CAO到爽
孩子没睡着老公侧身做
精品无人区一线二线三线区别
欧美无人区卡1卡2卡3
吉泽明步种子下载
老地方在线观看免费视频社区
有车车的腐肉动画网入口
英语老师的大白兔子又大又好吃
八尺大人动漫在线播放无码
小雪的13又嫩又紧又多视频
双乳被一左一右吃着的
老公总是吃我的奶奶
两个人一前一后的上我
国精产品水蜜桃
仙踪林老狼传媒网址
日本一姐潮水RAPPER
亚洲一卡2卡3卡4卡5卡127
韩漫歪歪漫画登录页面免费漫画入口页面
随着公交车一晃一晃一撞一下
欧洲无人区卡一卡二卡
插曲的痛的视频30秒
宁荣荣把腿抬高让我进去
老师没带罩子让我吃了一节课
人曾乱码一二三四
禁止的爱善良的小子姨1
中文字幕本无吗
2023钙GGY钙站男男
潘金莲高清DVD碟片
我与黑大佬的三百六十五天完整版
龙口护士门视频
刘永灼被恒大免职
怎么样吃女朋友小扇贝
忘带罩子让他吃
亚洲中字幕日产2021草莓
一个人看BD高清在线观看
19岁的纯情国语版
在没人的教学楼里做老师
帅同社区文学转载
家长会上爸爸们C老师
三个男人换着躁我一
深度1v3多肉
翁熄性放纵江雪
缓慢而又坚定的撞着
私人情侣网络站
把它堵住不能流出来下周检查
坐公交车居然弄了2小时视频
椅子上有木棒坐下去吃饭短
阿根廷舞林大会
旅行者骑在甘雨上做运动
电车之狼r图文攻略
放课后の优等生 3熟肉
xl上司带翻译没有马赛克带中文
我的小兔兔被男生咬着的感觉
星空无限传媒国产剧MV在线
露娜用猴子的金箍棒玩
8008幸福宝卐
XFB88XYF幸福宝引导
又疼又叫打扑克视频声音
艳情短篇160章
黄可46分钟完整版种子
他一遍又一遍索取
国精产品69永久中国有限
色翁荡息又大又硬又粗视频
用电动牙刷自W到高C
宝宝我不进去就蹭一会
单身男子俱乐部
墨宗师和踏仙君同时干楚晚宁
班长没戴奶罩让捏了一节课怎么办
女教师的荡欲小说全集
老师你的好软水好多的
张雨欣人文艺术欣赏ppt
麻豆专媒体一区二区
王者荣耀瑶白色液体喷到脸上
秘密教学105话我需要灭火
WINDOWSCHANNEL孕妇
离婚前再做一次爱可以挽回吗
VODAFONEWIFI粗暴
心急吃不了热豆腐
嫩BBB槡BBBB槡BBBB
冷狐移植300款黄油游戏
进入母亲的生命之门
日本无人区码卡二卡三卡
主人把棉签放屁眼里不能掉视频
张警官9分10秒
妈妈的朋友4线在完整有限公司中字
二人扑克剧烈视频运动
绳子打结勒在缝里走路
大炕上和岳偷倩
女人的各种鲍鱼
坐在学霸的棒棒上写作业视频
群飞杨幂赵丽颖刘亦菲
东北speaking
音乐学院5p门
M必做自虐羞耻行为
最美情侣免费播放视频大全下载
小洞饿了要吃大火腿肠吗
动物胶配方视频高清大全动
公交车6人轮换CH被一堆人看
伊人大杳蕉在线看
秘密教学90话以后绝不再压抑秋蝉
伦理中文字幕 - V3.2.8
男的把J放进女人的小J视频
25CARD中国大学高清视频
八重神子脱小内打扑克图片
老师上课把跳D突然被开到最大
仙踪林 老狼信息
女婿你不能谢在里
兽兽门全套照片
无人区卡一卡二卡三人伦
两个奶被揉得又硬又翘怎么办啊
班主任说快来插我啊的视频软件
95国产欧洲精华液
黑料不打烊最新地址入口
和搜子同屋的日子3
妈妈的朋友免费观看全集在线观看天才
5g影讯5g探花多人运动
欧亚专线欧洲s码wmy卓越拓展
日本一卡二卡3卡4卡无卡视频免费
我被继夫添我阳道舒服口诉
top gear 19季03
善良的妻子3中字巴巴鱼汤饭
学长在学校无人的地方做
朋友换娶妻2韩剧
斗罗大陆240集免费观看全集在线
男生的坤坤放到女生的坤里动漫
侯马市性侵女生
WRITEAS遥控器朝俞
美女图片禁欲系高级感
精品无人区一码卡二卡三
帮mm解脱内衣小游戏
宝贝和我女主角
前女友活儿太好一直忘不掉
2019理论片电线
chinese东北老年人tbc
冷廷遇进入简夏身体飞机上
最好玩的B是那种
可以对女生做什么都可以的手游
王者荣耀瑶白色液体喷到脸上
麻豆WWW传媒入口
荫道BBWBBB高潮潮喷
2021蜜芽美国无吗
tudouwang
男生和女生一起差差30分打扑克视频
求你别在阳台有人看见
我和闺蜜拿黄瓜互慰
公交车最后一排被C小数据
欧式春画图照片高清
被同学捡到遥控器折磨
wallpaper原神18入
女生说痛男生越扎的软件大全
坐公交车居然弄了2个小学生
高铁上要了她很多次
一卡三卡四卡无卡免费
数学课代表的那真紧视频
小东西几天没做喷的都是
WRITE AS 大腿内侧
爱情岛论坛首页推荐进入网址
蜜桃成熟时33d在线观影
传闻韩国电影免费观看
300元学生过夜联系方式
三叶草M码和亚洲码区别
男生捏我的小兔兔描述
永久939W乳液78
教授走一步撞一下苏冷韵
穿了内衣却有一半乳晕没遮住
欧美年轻RAPPER潮大豆行情
美国omakmanta
国精一二二产品无人区免费应用
哪个网站可以看泰囧
四房播播 五月
善良的公与熄BD
我的小兔兔被男生越捏越大
老公叫我和别人换着玩
最新浮力影院地扯公布
坐在爸爸的JI巴做作业
为什么女的干一炮就老实了
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1