有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
中文字幕在线看成电影乱码
韩漫漫画登录页面入口
茶杯狐CUPFOX官方网站
有谁帮自己的儿子口过
日产精品一二三四区气温
两个人一前一后的动了起来
魏晨破赵奕欢ps密照
大尺寸小黄说说1000字多肉
同时和两老师双飞
宝贝感受到它在爱你吗
开小黄车细节描写
宝宝把腿抬起来靠墙上就不疼了
最近2019免费中文字幕视频三
男生和老师一起差差差的游戏
帅气体育生GARY网站MV
秘密教学83话田里开机SVIP
公交车上一路被C
张柏芝艳门照图片
100种禁用的漫画软件不要VIP
国精产品一二三四线免费
废旧工厂被流浪狗涨精装满肚文字
王者荣耀瑶白色液体黄画
我被当成发泄玩具的一天作文
黄光裕是怎么进去的
别在阳台会被别人看到的
老公和朋友一起上我该怎么办
四房色播手机版
扑克牌视频不盖被子
人间中毒无减删播放
有车车的腐肉双男
公交车女子上演疯狂2
女生和男生一起差差的事
差差漫画免费斗罗玉转土豪网站
井川里予33秒
熟妇人妻中文字幕无码老熟妇
在她身上运动了一晚上详细
宝宝的水喷得到处都是小作文
爱在初春惊变时
中文在线4月4日快速反弹
另类老妇奶性生BBWBBW
暖暖直播视频免费高清完整版
魔弹之王与战姬漫画
晚上让你吃棒棒糖是啥意思
石榴裙下的温柔
自己扶好了对准确了坐下来
公交车被C 宝贝这才几天没做水
班长笑着手灵活的调着遥控器作文
小蓝视频基佬彩虹1086
污到你那里滴水不止的文章1000字过程
24小时日本免费看
无人区码一码二码三码是什么
好满射太多了装不下了怎么办
抽烂WRITE AS
几天没C你是不是皮痒了视频
和父母换着玩大家庭三
男孩子淦哭男孩子视频免费
坤是放在女生的前面还是后面
野花视频直播免费观看6
含羞草四叶草三叶草
日本卡一卡二新区
事物的秘密截取水中一段
在图书馆往下边塞东西
奶糖与烈酒BY封远廷
离婚两年满足了父亲
爱情鸟免费论坛在线com
在椅子上放一根很光滑的木棍
天海翼家庭教师
china中国青年gary外卖抖抖
糖心VLOG产精国品免费老版
坐在学长的根茎上写作业
漾出OVERFLOW樱花未增删带翻译
跷跷板我越下越疼的是什么
小洞饿了要吃大火腿肠吗
和他在车里好多次
YSL千人千色T9T9T9T9T9
日韩天码砖区2022
台湾无人区卡一卡二卡三乱码
坐在父亲紫色大龙上写作业
无收费看污网站完整
抬起一条腿对正往里怼
双人床上打扑克又痛又叫软件
太长了撞到点了
中文字幕乱码2
圣ヤリマン学园援交日记
晚上睡不着看点害羞日本
在阳台试试好不好
女朋友特别会摇是什么体验知乎
家里没人可以跟妈妈做
学长一边撞我一边写作业作文
adc影院0adc在线
输了让对方随便处置隐私一个月
棒棒糖放屁眼里吸收的视频
家里什么东西可以代替小玩具
在公交车上弄到高c了最后一排
比我老公大很多
长门和小南拔萝卜游戏
俄罗斯RAPPER潮水
娇妻在我面前被多p
总裁求你饶了我
怎么样吃女朋友小扇贝
白石茉莉奈种子
亲爱的老师3韩国完整
再用点力草丛里做
拔萝卜一边喘气一边说痛怎么办呢
他像疯了一样占有了她退出
描写开车的超级激烈的作文
儿子耕种母亲的田地叫什么名字
腿再打开一点就可以吃扇贝了
打开扇贝就可以吃火腿肠
门卫老头吮她的花蒂
硅胶娃娃实战图
学长两个人一起会撑坏的视频
WRITEAS两根性器
李信抬起阿离的腿就是C视频
吃八重神子的乳液喂给旅行者视频
老外太长到我子宫了
上楼梯时故意一点一点
男人喜欢水大还是水小的
世界脱衣舞大赛
输了让同学玩全部位置的作文
亚洲女rapper最强
地下偶像sana未增删带翻译
肚子里全是JY鼓起来了怎么办
acg里番资源站全彩
坐在教授的棒棒上写作业
在破房子里和狗做
考的好妈妈就给你一次
我一边做饭一边被躁了怎么回事
联谊中的游戏动漫
一女多男在疯狂的伦交
白色乳息未增删带翻译樱花
岳喜欢张开下面让我看
公交车轮换C程雪
JAPONENSISFES
男朋友C你的时候怎么说你
胡桃史莱姆ドラえもんエロ
无人区码二码三码四码区别
吧女未成年 电影
3D姐弟关系第三集动漫
国精产品一区一区三区M
王者荣耀女英雄流眼泪翻白眼流口水
国产蜜芽果冻传媒电影
疯狂厨房2双人模式
MD传媒作品大全
5G天天奭5G多人运在线观看免费最新
品色堂 永远免费
女朋友的母亲5有限中字
穿成男主的绿茶初恋
娇妻荡女交换多P
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
jmcomicios拿走不谢
公憩止痒 小说
把腿张大点就可以吃到扇贝了视频
国产无人区二卡三卡四卡不见星空
善良的的老师3
国产线路3国产线路2
啊灬啊灬啊灬快灬深视频直播
把语文课代表干到走不动路
同桌罚我夹震蛋器憋尿(漫画)
夹枪带棒(1V2)
回娘家给了父亲1一4
肉大尺寸小黄说说
心动时刻简简单单爱
日剧先生我可以上你吗
为什么都是B感觉不一样
润色红叶吻蛇枝黛妃
色戒完整版2小时38分
有多少弄过自己的儿子的吗
桃花在线观看免费高清动漫
亚洲日本乱码卡2卡3卡新区
双面公主与双面王子
长风渡叶世安为什么黑化了
东北一家人1一6全文阅读小说
品色堂 永久免费
杨敏思版1-5完整无删减版
最近免费韩国动漫HD无
安迷修被雷狮强行掰腿图片
惠子老师优雅生活
乖我们试试在这里
浪翁荡熄的幸福生活
2013年3月里番
英语课代表趴在桌子上让我抄
男生吃女生的兔子头会变黑吗
欧洲高清videosexond
14岁学腿迈开腿打扑克正常吗
墨宗师和踏仙君同时干楚晚宁
把腿开到最大就不疼了免费播放
女朋友在上方会摇是什么体验
大团圆结2高敏
乱码一乱码二乱码三新区
叔父大还是爸爸大
阿拉善8人大战视频
一顶就叫是为什么
草莓榴莲未满十八岁的做法大全
年轻的母亲6兔费线6
胡桃流眼泪翻白眼流口水的表情
三个rapper玩一个女的
47大但人文艺术
4399国语高清完整版在线播放
老婆说她想尝试多人怎么回复她
体育馆地板上c渺渺
小雪的13又嫩又紧又多水书架
一面亲膜上边一面膜下边日本
玩小雪跪趴把腿分到最大影视频
云缨用长枪C自己的B
我在公交车上弄到高C的作文
黄金网站app日本免费
日文中字乱码一二三区别在
上体育课课用跳D的感觉
yura kasumi
草棚canopen国产
白妇少洁第1一40章
我与黑大佬的三百六十五天完整版
vodafonewifi暴力
爸爸吃饭时还要放在里面
女BBWBBWBBWBBW
椅子上有木棒坐下去吃饭
善良的小峓子7字啊巴巴鱼汤饭
亲吻摸摸蹭蹭抱抱哔哩哔哩
手从小腹一路开到丛林处古代
太深了吧唧吧唧吧唧吧唧吧
梁医生再往下一点吃肉视频
star-369
小东西几天不见喷到处都是水
在公交车上要了无数次
津渝视频完整版9段视频
LINODEIPHONE欧美拉屎放屁
和爸爸早餐的时候连在一起
69精产国品一二三产区区别
日批发出来的声音录音
坐在上面怎么晃
歪歪漫画登录页面免费漫画入口首页漫
小龙女只感觉那只巨大的火龙枪1
溢出OVERFLOW未增删带
不可以快拔出来我是你亲
在车上一次又一次挺入
51吃瓜今日吃瓜入口
乌龙派出所221
新金梅瓶玉蒲团性奴3
你们老公玩你的时候都是怎么说
ZOOM国外网站
韩国女主播种子
宝贝就一下下好不好
性治疗营美国2
父母儿女一家狂
家里没人叫大声点我想听
2015年4月里番
暴躁CSGO妹子
诱人小峓子5中字巴巴鱼汤饭
善良的英语老师3
adc影院0adc在线
老外太长到我子宫了
WRITEAS检查身体
男主跟自己养的蛇在一起了
妈妈的味道HD免费
是不是想让我弄你了视频
国产蜜芽剧果冻传媒
有人有片视频吗免费的
あざらしそふと官网
一前一后三个人轮换的
女生说疼男生越来越往里寨APP
妈妈的朋友4完整视频有翻译木
女生输了给对方玩一个月
开拉链它想你了你想它吗
换个的方式做吧第一季
亚洲1卡2卡三卡4卡2021
欧洲无人区码头IV在哪
麻豆传播媒体入口下载免费版官网
新红楼梦艳情版
嗯啊乌龟蹭你的扇贝
如果抱过亲过吃过摸过算什么关系
大炕上装睡配合弄
939W乳液78W78WYW55523
妈妈用身体做儿子生日礼物
BGMBGMBGM老太太交
狼群社区WWW中文版
久亚洲一线产区二线产区三线区
晚上爷爷总是压在妈妈肚子上
公交车上荫蒂添的好舒服的句子
附近人一百元一次
美国又大又长又租
喷泉H1V3HL慕深
在车里剧烈运动
儿子把坤坤放入妈妈的坤坤里的
B痒了多久没C了
中国人看视频免费
王熙凤贾宝玉轿中大战
后营露营第二季无增减
在车里要了好几次
性一乱一搞一交一伦一性
快乐的大脚2歌曲
用你的指尖扰乱我吧2
今日更新2021乱码
zoom与人性zoom视频
老师您的兔子好软水好电视剧
xl上司带翻译中动漫
GOGOGO免费视频观看 高清韩国
比我老公的大了一圈
会员制餐厅完整视频链接
初中女生喊疼男生越往里寨游戏
金刚杵汆肉莲全过程
开车疼痛有声音免费下载网站
李宗瑞继母名字
楚晚宁张腿放棋子
中国MACBOOKPRO高清
叫出来就给你 我想听
小东西这才一根而已还有呢
全高清录播系统直播在线
淑芬两腿间又痒又疼的原因
镜花风月之二艳鬼现身
67194点击直接进入
雨后小故事动画视频
双人床上扑克牌
女生奖励自己的视频素材高清版
花季传媒APP每天免费3次观影在线观看
两人在车里疯狂打扑克
国精产品一区一区三区M
无限免费观看在线直播
可以差差差的视频无掩盖
用小棒棒通你的下水道
一个吃上面一个吃B
亚洲精品国产精华液有哪些牌子
塞跳D不能掉出来上学作文
randyblue
147人休艺术网
哪个网站可以看泰囧
全程一个男的在啊的纯音乐
人与畜禽共性关系
成品网站W灬源码1688伊甫园
老师家里没人你用点力啊
大香煮伊芒果7815的特色功能
一边亲一面膜下的活动内容
触手怪tentaculata无限爱心
WRITEAS军人
学长的双指探洞疼哭了
女士不遮阴小内搭
坐公交车弄了2个小时视频
老狼一卡2卡3卡4卡2021免费
几天没C你是不是痒了
张津瑜资源在哪
桃花社区视频在线观看完整版
差差差很痛30分钟打扑克
性孕交大肚子孕妇
公与淑婷厨房猛烈进出视频
关上最后的门漫画
动漫人物将机机插曲漫画小说
4虎的新地址是多少
撑起伽罗的腿疯狂输出的视频
海角国精产品一二三产品区别
胡桃ちゃんが部下をさせて
2022Ggy钙站不能用了
波德卡波娃 种子
男生吃小兔兔的细节描写知乎
洗衣屋2樱花未增删带翻译樱花
C了语文课代表一节课
雷电将军掀开衣服看副乳
北北北砂王者荣耀禁满天堂
小东西把它夹住去跑步不能掉
爆乳JUFD492汗だく肉感
三个男人换着躁我一个
啊 啊用你的舌头是什么歌
最近最新手机中文大全4
日本卡一卡二新区
日本无人区码卡1卡2卡免费
宝宝这才三根手指就流
情感的禁区1080
公与妇仑乱HD
两座雪白玉峰弹跳而出图文
深度开发1v3n
日本speakingenglish实践4
GC突然抽出来
低头看我们结合的地方
叔父的大还是爸爸的大
WRITEAS趴腿上
小坏蛋别戴套了今天是安全期
打扑克视频又叫又疼原声
妹妹中考让我C了一节课
分手炮是不是都特别卖力
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1