有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
徐若瑄魔鬼天使下载
适合夫妻熬夜看麦片
一个人看的免费播放完整版
梁医生再往下一点吃肉
石榴裙下的温柔
痞幼黑料不打烊900张照片
randyblue
冰块和棉签是用来干嘛的(黄)
奇迹三雄之扑克游戏
公憩止痒 小说
香蕉丝瓜草莓樱桃草莓榴莲污
老公总是吃我的奶奶该怎么办啊
黄色软件下载安装3.3.0华为会不会泄露
一个男孩子顶哭另一个男孩子文案
班里的公交车小诗的高中日记
GOGOGO大但人文艺术大
精品成品国色天香卡一卡二摄像头
小孩把坤坤放入妈妈里面
蜜芽高清完整视频
大菠萝导航福建app
快穿之c死你h
男生被男生C哭是一种什么体验
女生玩男生小JJ
美女图片禁欲系高级感
后营露营第一季无增减
我捅了英语课代表一节课
二人生孩子全程不盖被子视频
8小8X华人免费2020
双人打扑克剧烈运动视频
原神甘雨被空C出白色液体
班长是我们班的存精器白素素
前夫6天要了我25次
开车越往下越疼的句子
两个人一前一后一左一右
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
售票员用b验票小镇免费阅读
会夹是一种怎样的体验知乎
BBW与WB和老妇女
女生和男生一起差差的事
随时随地都能干的学校教师
色达天藏分女尸全过程视频
给父亲一次可以吗
免费精产国品一二三产区区别
美国ZOOM视频狗
宝贝流了怎么多还说不要
猎艳十大名器艳妇
穿越优质JY收集系统游戏
日产2021乱码
日产乱码区别免费
有没有肉很多的糙汉文
男神插曲女生软件完整版免费
爸爸我可以吃你的棒棒糖
别出声不然就被发现了
晚上开车有声音又疼又叫
被窝里的公息第十三章mip
日产无人区一线二线三线HAV
谁知道4虎的地址是多少
Nagoonimation Works3D
妈妈的朋友5完整有限中字木瓜
我离婚后经常和父亲做
大菠萝福建导航进入网址
你的东西比我老公大得多
九一传媒制片厂传媒免费
是不是年轻一些水就多一些呀
HJ54C1海角论坛
4G玉蒲团奶水都喷出来了哺乳期
致青春百度影音高清
日产精品无人区
打扑克直播下载软件免费
宝宝下面湿透了还嘴硬怎么回事
插拔动态真人图
毛日产一线二线三线
三个媳妇一锅烩大团圆
中国 韩国 日本 免费看
桃花在线观看视频播放免费
被公疯狂进入的美丽人妻
日本视频高清一道一区
早上起来发现还连在一起
女人被老外躁得好爽
showtime!唱歌的大姐姐也想做
妇女老太太GMRBGMBGM
无人区一码卡2卡3
公么公在浴室征服小雪
美国XXXXXL19学生
爱情鸟论坛com高清免费
宝宝我就进去一点不疼的
胡桃流眼泪翻白眼流口水的表情
EveIynCIairn黑白配
chinese中国帅男飞机
野花社区日本韩国免费
艳情短篇160章
宝宝才几天没做就湿成这样图片
国精产品自线六区
巨年少根与艳妇全文阅读
糖果君三人行视频
小东西我们两个C你视频
乳液狂飙W98天堂
日本1卡2卡3卡区
芒果乱码一线二线三线新区
开最猛的车的动画
厨房挺进旗袍班主任
粉色视频APP在线无限看免费丝瓜晶体公司藏
深度开发1V3全是肉
Naruto Konan Hentai小南
日本插槽X8插槽怎么用
八重神子开襟大欧派乳液SS
最近日本字幕免费高清
双龙NP黑粗撑开宫颈口BL下人
把我按在在落地玻璃窗前做GH
我和他在公交最后一排
云缨去掉衣服图片
3DNAGOONIMATION_HONKAI无尺
原神女角色脸红哮喘图片
一面亲上边一面膜下边的免费
把女朋友弄成小喷泉呢
潘金莲高清DVD碟片免费观看
老师家里没人你用点力啊
我坐在学长的鸡上写作业长篇文字
妈妈的朋友5完整有限中字木瓜
公交车6人轮换CH被一堆人看
尝尝老师的大扇贝
51吃瓜.world张津瑜
日产精品二线三线区
超级好看的软妹纸
二指探洞感觉要喷了
隔离期间和妈妈玩
53岁沈阳老阿姨叫的没谁了
成品网站源码入口隐藏通道
当兵的一天弄了8次
黑帮老大和我的365日绝了
快乐的大脚2歌曲
老公和朋友一起上我该怎么办
阿锵锵锵锵锵锵锵网站大全
妈妈的朋友1线在完整视频中字版
晚安おやすみせっ3在线观看
迈开腿让我亲亲你的小森林
大炕上开嫩苞小说
精产国品一二三产品在哪
干柴烈火儿媳苏姐结局如何
帮英语老师疏通下水道
喜欢和大肚子孕妇睡觉
公交车最后一排被群C的视频
校花陈若雪被校长抱到办公室
冲田杏梨的电影
开车越往下越疼的那种作文
久亚洲一线产区二线产区三线产区
吃老婆扇贝吃肿了
linode日本iphone强汉入口
第四色网站主页
对象给我看他的鸡
好刺激的打扑克软件
开车视频疼痛有声音水水水
男生最抵抗不了女生亲他哪
涩涩屋草莓榴莲秋葵绿巨人
八重神子被焯出白水怎么办
对象吮自己小兔兔的感受
同学叫了好几个人来玩我
韩国风俗媚娘全套图
王者荣耀女生去掉小内无爱心图片
青娱极品盛宴国产分类细腿
小SB怎么欠C啊
好姑娘社区在线视频
儿媳妇夸我比他老公厉害怎么办呀
一次性接待5个客人
胡桃尿道口流出白色液体正常吗
流了那么多水还说不要
夜里用的18款禁用
19岁辣妹图书馆
adc影院0adc在线
我得到了妈妈的桃花源
哪个浏览器可以看黑料不打烊
男女打扑克的APP
23部禽女乱小说内
电车之狼r操作
附近人100元一次去她家
我和老妈一起嫁剧情
什么样的B型最好进好玩
性少妇JEALOUSVUE成熟
他把跳D开关开到最大
老师的大兔子好软水好多
把腿开到最大就不疼
河南妇女毛深深的沟WCD
欲望之翼完整版在线观看
女婿的比丈夫的大得多
汤芳最出位下部
亚洲一线产区二线产区区
爸爸说家里没人可以C了
欧亚专线欧洲s码wmy卓越拓展
镇远螺丝桥真实故事
深度开发1v3阅读
天天想你视频免费观看西瓜
好妈妈韩国中字7
好妈妈4中汉字
朝俞R车WRITEAS震动器
宝宝下面都湿透了还嘴硬疼咋回事
换个方式做吧未增删樱花网
好满射太多了装不下了短视频
PLAY BOYY泰剧电视剧在线观看
日本工口里画番全彩
野花视频免费手机版
动漫人物桶动漫人物视频软件
你是我的荣耀泄露版
麻薯传媒在线观看
sis001评论推荐区
小SB是不是又想要了H
台湾MD豆传媒一区二区
在办公室里揉弄小雪好爽
维多利亚一号未删减版
孩子没睡着老公侧身做
日本适合十八岁以下的护肤
把英语课代表做哭了视频
宝宝几天没见湿成这样
打扑克牌又疼又叫的视频
心疼儿子给他一次
一面膜上边一面吃下边免费看
宝贝儿 我想听你叫的声音
免费夜间做运动视频扑克视频网站
你对象晚上怎么玩你
精品亚洲卡一卡2卡三卡乱码
最好看的日本字幕2019
如何把自己弄到喷泉
YELLOW日本官网
国精品产品推荐
WRITE AS 尿液
黑暗荣耀朴妍珍打扑克是哪一集
善良妈妈的朋友10完整有限中字木
汤姆叔叔最新地域网名
我一边做饭一边被躁了动漫
宝贝它想你了感受到了吗车上
你进来了吗我要开始叫了表情包
新疆女RAPPER18岁RDFJFTTIK
19岁的纯情国语版
倒插莲花是个什么动作
国精产品一二三四区产品
被窝里的公息第十三章阅读
最好看的最新的中文字幕3
宝宝你好会夹在车上
精产国品一二三类产品的区别
中国乱码一二三区别免费
帅气体育生GARY网站MV网站
迪丽热巴哭着说不能再深了
一加速就会哭的女孩子
给我中国免费播放片在线
娇吟公车系500章
25岁的女高中生未增删翻译中文翻译英语
岳女共夫张淑芬
不知火舞被3个小孩
狗的东西比男朋友还大怎么办
左拥右抱1v2
我朋友的老婆 电影
男生的坤坤放到女生的坤里动漫
乐可车图片(长图)微
高校1V3PO藤蔓
新疆XXXXXL2031
黄色软件app下载3.0.3每天三次oppo版
当着别人的面要了我
自w时该看的页面
被窝里可以怎么玩自己处
国产MV天美传媒
中国人在线观看免费的视频
11岁下面能放几支笔
和六十老女人高潮多次
黑帮少爷爱上我第一季在线观看
如何自w到高c详细图
你的好大我的手都握不了
拔萝卜一边喘气一边说痛怎么办呢
英语课代表的奶好软的作文视频
麻豆WWW传媒入口
新区乱码无人区二精东
你的深度刚好是我的长度
女医生私密诊所
不知火舞和三个孩子之森林公园
51CG.吃瓜特色
IJGN禁止18岁以下下载软件
PS一二级调色大片
电车之狼r怎么通关
国产一产二产三精华液区别在哪
美女脱个精光露出奶头和尿口
破了英语课代表的那层膜
韩国演艺圈悲惨事件9
WRITE AS管教
上自己妈妈是什么体验
今日小鸡庄园答案
女人吃男人大鸟图片
blued片在线观看高清
施主就让贫僧C进去吧
2023国精产品一二二线精华液
女生棒棒糖放屁眼里不能掉
生物繁殖课老师拿自己做例子
强伦姧人妻三上悠亚中文字幕
公车系例一第96部分阅读
免费夜里18款禁用B站软件游戏
美女裸露双奶头屁股无裸体
夜里100种禁用视频
把自己弄到喷泉
男生说要吸你的小兔子啥意思
国精品产品推荐
男生插曲女生身全过程
缘之空第几集开的车几分几秒
炎孕乳身体检测2
儿媳妇 水这么多还说不要
精产国品一二三产品区别视频手机
国产精东剧天美传媒
新红楼梦艳情版
ati mobility radeon
久亚洲一线产区二线产区三线区
斗转星移女明星
人与畜禽的关系
把姬小满C喷了最后爆掉了
两个奶头被吃得又翘又肿
惠民卡盟没非梦专业
新区乱码无人区二精东
爱情岛免费网站路线一
阿娇张开两腿实干13分钟完整版
男生越往里越有劲声音
女孩子用矿泉水瓶子行吗
ZOOM国外网站
337VT最大但人文艺术西方
原神甘雨安慰部下CG插画在哪
西门庆日女尼姑视频大全
5g影讯5g探花网址
妈妈的朋友 女主角
你的好大我装不下了
一言不合就开车的美剧
性女传奇在线播放
差差差30分钟视频轮滑
两个人的免费HD完整版直播
麻豆床传媒入口
善良的小峓子3韩剧字巴巴鱼汤饭
宝贝几天没C你了
厨房里两只奶头被吸肿
BGMBGMBGM胖老太太俄罗斯
深一下浅一下深深浅浅来一下
输了可看隐私的作文800字
另类极品VPSWINDOWS
深田えいみ无码作品
s把m骂湿的句子怎么理解
皇上撞着太子妃沈音
自w时该看的页面
BRANDILOVEMISSIONARYACTION
精品卡一卡二卡三免费
年轻的母亲在线视频HD中文字幕
夹好去上学不能掉出来的作文
免费做运动扑克视频
阿离掀开自己副乳的视频
王者荣耀女生去掉小内皮肤无烟雾游戏
艳情短篇160无弹窗
啦啦啦在线视频免费观看4
爸爸的东西又黑又长
内衣柜办公室1-3日语免费观看
爱恋2015是怎么拍出来的
好男人手机在线观看免费高清完整版
14MAY18_XXXXXL56ENDIAN2
美国白人未成年RAPPER
售票员用b验票小镇yl小镇
老婆的生日3Q开始
天美传媒免费观看MV天美网
公交车上的诗请晴
1码2码3码4码无人区
宁柔柔的小泬撑开到极
我可以上你吗日剧免费
小女儿含着巨大写作业
探深一点老师今天随你怎么弄
5G天天奭多人运动网站入口
不收费的免费直播软件打扑克下载
走绳子打结PLAY
张筱雨《魅惑》-5
坐在硬邦邦的东西上面写作业
你太大我装不下你
国岳夫妻的真实身份
用力一沉突破了那层障碍
没带罩子让他吃了一天的药
JING液收集系统开车的水獭
JEALOUSVUE成熟50MAO
用手指搅乱吧未增删带翻译中文
当着全班人的面做
儿子的东西比丈夫还要大
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1