有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
车后车座的疯狂的做细节视频
扑克剧烈运动打扑克视频
张津瑜7段原版
小雪要撑破了黑人好大
夜间正能量网站
无人区乱码三卡四卡
终于又可以吃到你的jy了
脱色摇床打扑克视频C
错一道题就往下面插怎么办
5g天天奭多人运动 最新网站
国色天香精品卡一卡二卡三二百
最近韩国更新中文字幕2019
傲天体是什么梗
和搜子同屋的日子2国语中字
搞机TIME恶心直接打开的网站不用嘉兴
王者荣耀女英雄去掉小内无爱心图片软件
国精产品一品二品国精破解
用你的指尖扰乱我吧2
JL ZZZ 老师
成都4片P完整版免费视频
大尺寸的小黄说字多肉办公室
今晚咱们试试阳台
XRK1_3_0ARK在线观看入口IOS
日本无人区1码2码区别
爱福利视频广场
HENTAINATRUAL
一边亲一面膜下的
爱情鸟论坛免费观看大全在线观看
妈妈说带套可以让我做
贺朝用笔把谢俞捅哭
乖好好含着待会就给你
浪小辉GARY2022
无人视频免费观看免费直播视频
娘娘微臣和他谁弄得更厉害些?
阿离掀开自己副乳的图片
中国新疆XXXXXL19学生申中国
交口的30个图片
动物胶配方视频高清大全
国精产品一区一区三区
麻豆MADOFIT新品
为什么当兵的晚上很厉害
老司机带带我免费看最新
丰年轻的继拇中文3的特色和机能
御书屋御宅屋高辣H
9612黄桃亚洲品质
自W的步骤视频教学
亚洲AV精品一区二区三区不卡
被同桌在课桌下手指噗呲噗呲
老师好紧好滑我要进去
日本iphonepromax70
939W乳液78WYW55523
星空无限传媒XK 8027我的妹妹
晚上做剧烈运动视频教程
AI人脸替换白鹿造梦喷水
写作业的时候和男朋友弄
打扑克牌的剧烈运动视频全过程
麻豆传播媒体入口下载免费版官网
在线天堂おなあちゃんなにか
国内精品自线在拍
流了这么多还嘴硬这是在车上
王总别在卫生间好吗
日产2021免费一区
你真紧你这是要我的命吗
高压狱警2美版免费
台湾佬中文网站
亚洲和欧洲一码二码区别在哪儿啊
新娘无悔的爱第二部
糖心精产国品免费老版
没带罩子让他吃了一天的药没事吧
无翼乌全彩之爆乳漫画
黑帮老大和我的365天
动漫RH男1做0车车的车车视频
爱如潮水社区在线观看免费
晚上一个人看B站
狼群社区WWW中文版
被他们玩得走不动路
撞得她说不出话来
精产国品一二三产品99
唐三手撕千仞雪衣服
喷泉辛浮H1V3H
孤注一掷王传君免费观看
夜恋全部支持安卓UC
3分25秒痞幼
英语老师没戴罩子让我c了一节
差差差很疼视频30分钟轮滑网
女生戴一天仙女棒是什么体验
旅行者的J桶进雷电将军的B
娇妻玩4P被3个男子伺候辣文
仆人犯错把筷子放屁了怎么办
韩国的床震无遮掩
看后必湿的污段子视频
TOBU7TOBU8大学生
writeas尿道口
激烈娇喘叫床声床震视频
黑人肉大捧进出全过程动态
校花下面又软又进禁视频
极乐院女子高寮物语
日韩砖码砖专码2023
97ai蜜桃欧美图片
帮英语老师疏通下水道
半夜打扑克叫疼的视频软件
我做错一题他们就C我一次
污到你那里滴水不止的说说99篇
女人被两根茎同时进去图片
野花免费观看高清在线6
共享皇家小公主3V1
打扑克不盖被子图片大全
宝宝好会夹啊拉丝什么意思
100种禁用的漫画软件不要VIP
日产精品一卡2卡三卡四
老师忽然渐渐放慢了进度视频
小鲜肉GARY2023飞机小蓝
一言不合就开车的美剧
宝宝坐下来自己慢慢摇网站
哔哩哔哩床吻戏大全
.把你里面填的满满的视频
顶的速度越来越快越叫的作文
把极品白丝校花啪到腿软
试看120秒免费体验区
扒开未发育的小泬视频
在车里两个男人舔我
HD2LINODE国产IPHONE69
国产卡二卡3卡4卡四卡
他缓慢而有力的撞着视频
WRITE AS 自己掰
做扑克运动全过程视频教程
从厨房一路顶撞到卧室
夫妻成长日记二
把小舞的衣服P掉是什么样的
男人捏大白兔视频
原神雷电将军乳液狂飙APP天堂
不遮阴的小内搭
野花视频在线观看免费观看最新6
姐姐说家里没人可以C
啊我们换个地方C死你
果冻传媒官方网站入口
AI换脸WWW在线观看视频
丰年轻的继坶3的特色和机能
欧洲无人区卡一卡二卡三
为什么做完下面是打开的
china农村夫妻homemade
讲讲和对象第一次的细节知乎
漂亮妈妈4高清中字韩国
亚洲一线产区二线产区区
18岁女孩开襟衣服
电车之狼r怎么玩
办公室跪下拉开拉链吃应用的特点
18款禁用入口网站
2022男男钙GGY钙站
一口一口把奶油从胸口吃掉免费
最近中文2019字幕第二页
和搜子同屋的日子2在线观看K8
情侣插秧的100种方法
娇娃荡女K8经典
致青春百度影音高清
瑜伽狂野式体式进入
王中磊玩死过的女人
边做边爱3完整版视频
精产一二三产区别在哪
厨房里的激战2
每个月老板都要玩我几次
漂亮的保姆在完整5视频带翻译
班长的兔子好软水好多免费的网站
天海里红和橘和希
最新人与ZOOM
欧洲无人区天空码头IV在哪一本
女友的妈妈9中语字追剧电视剧
木马木棒动得好快bl
青梅不经c1V1玉米
迈开腿让尝尝你森林视频
爱福利视频广场福利视频
首长含着她的胸挺进柔软里
斗罗大陆黄化人物网站免费
小茹和黑人教练第8章
久别的草原在线影院视频观看免费
好儿子妈妈今天晚上就是人
被公司领导C了很多次
苍老师最后一次
xiaav因你而精彩
精东传媒剧国产MV的特点
被扣的时候腿抖是怎么回事
女生看了会湿的污段子
CEK俄罗斯BNAE0
一边亲一面膜下的活动内容
公主恋人ova下卷
学生党如何自W
润色红叶吻蛇枝黛妃
沈芯语MD0076视频
把老公撩硬的表情包图片
斗罗大陆3大乱斗交大配TXT
可C可拔萝卜女生小游戏
韩国年轻的母亲5观整有限中字
吃瓜爆料黑料网站
腿张大点就不疼了
亚洲无砖码砖专区2023公司
打扑克牌的剧烈运动视频不盖被子
仙踪林入口欢迎你老狼
绞的他低吼了一声
小黄文水多肉多推荐
love可儿的秘密花园
国产无人区一码二码三码区别
女生喊疼男生越往里寨AQQ娱乐
老太太80CHEAPWINDOWSVPS
上面一边亲下一边面膜是什么材质
半夜被C醒是一种什么样的感受
彩虹男GARY2023入口
清明小长假来了蚂蚁庄园
宝贝再快一点别停视频
农村岳用嘴帮我口
火影忍者女性角色去内成品
ほーすているのエロ中文
搞机time下载不用不收钱嘉兴
福利乱码卡一卡二卡新区
奇米四色7777中文字幕
19岁潮水RAPPER欢迎您
2023钙GGY钙站男男
3d肉蒲团之极乐宝监
国产精品果冻传媒呆梦梦
和搜子同屋的日子2国语中字
离婚了让儿子体验了一次
steve hopper dvd
金瓶酶全集电影
宝贝帮我拉开拉链它想你了
WINDOWSCHANNEL孕妇
井川里予被C在哪看
哥家里没人使点劲C我小作文
我的我的风流岳每2
8X8X海外华人永久免费提供
亚洲卡3卡4卡5卡乱码
男生说想在你身上做俯卧撑
丰满的女房东在线观看6
blackpinkmv4k高清黑白配
母亲とが话していま中文
妈妈的朋友4电影中字翻译
花季传媒免费网站入口
被多个强壮黑人灌满精H
小诗的公交车日记1一15文
故意让儿子看见自己
舞蹈区卖肉精选
滋润BBWWBWWBBWW
第一会所s001
小雪的13又嫩又紧又多水带图
橘梨纱 超高级ソープ嬢
男男GARY2023
做错一题进去一次C
麻豆果冻传媒新剧国产杜鹃
一面上边一面膜下边的免费
污污免费看锕锕锕锕锕锕锕
19岁的RAPPER潮水
从拒绝到接受3q老黑
办公室娇喘的白丝老师在线看
猛撞H花液H深
亲爱的老师4中字BD
污草莓丝瓜榴莲深夜释放自己
自W到高C的50种图片教程视频
晚上睡不着想看点片
将夜免费神马影院日本
斗转星移刘亦菲
40部AI明星造梦
无人视频免费观看免费直播下载
大地影院日本韩国免费
把你玩烂了就放你走
迈开腿让我吃你小草莓
开车污的 女生越疼男生越来越快动漫
秘密教学90话以后不再压抑
ドラえもんのエロ火影忍者
为什么舞蹈生的裆部都是湿的啊
厨房春潮唐小米
催熟po1v3by
大哥二哥你们谁先来
把头埋在茂密的丛林中
双面公主与双面王子
公交车上的小黄说说阅读
三叶草亚洲码和欧洲码区别入口
试看免费120秒
私人情侣网站中文
色翁荡息肉欲小说合集
一个吃上一个吃下
妇女被深耕过后有哪些表现呢图片
无翼乌邪恶彩色无摭挡
糖心VLOG产精国品免费入
医疗室play道具走绳结
差差好痛30分钟
47最大但人文艺术摄影
差差差30分钟很疼的视频无掩盖
黑料正能量zzzttt传送门
李宗瑞继母是谁
他一次比一次撞的重
液化天然气价格
看娇妻被两朋友共用
金瓶双梅之鸳鸯戏床
人与猪CROPROATION
中国真实处破女WWW出血
原神ちゃんが腿法娴熟を视频
孙尚香游泳结果被黄忠看见
教练在车内撞了我三次
14MAY18_XXXXXL56ENDIANKINO
老师你的兔子好软水好多动
张津瑜6分35秒视频
晴雅集 在线观看免费完整版
妈妈的朋友4在完整视频带翻译4
差差漫画网站页面入口弹窗秋蝉
打扑克剧烈运动软件
插曲的痛的视频漫画
5G天天奭5G天天运动快点播5G16M
班长哭着说再c就坏掉了
男朋友说迈开腿让我检查一下作文
日日啪夜夜爽天天干2017
最好玩的B是哪一种
歪歪漫画登录入口免费
腹黑王爷喜当爹2
自W到高C的25种图
人与猪CROPROATION
showtime!唱歌的大姐姐也想做
女儿的朋友8中汉字晋通话
斗罗大陆黄化人物网站免费
只有放在你的身体里才能解毒
强壮的公么征服我第四
老师把腿抬高我要添你下面
情侣做运动的动态表情包
趴在玻璃窗做给别人看的视频大全
日产乱码一二三区别免费公司
miya222
一个男生弄哭另外一个男生
上课没带罩子让捏了一节课怎么办
欧洲一本到卡二卡三卡乱码
缓慢而有规律的往里挺松动
我十二岁就做了不干净的事
FARMSKINS进不去
体育老师把渺渺C了一节课作文
男生说想在你身上做俯卧撑
30分钟你看个够
娇妻系列交换27部多P小
无颜之月我花未增删带翻译樱花视频
中国VPSWINDOWS睡觉
老公说想上我妈妈
人间小喷泉1V2
爱在初春惊变时
男生女生一起查查30分电视剧动慢
做饭的时候老公也要
顶级RAPPER潮水日本
冯仰妍完整版在线看
公交车舒婷1一20全文TXT
厨房里的激战2POP
狗配人怎样配马配人呢
公交车6人轮换C白月是啥?
XFB3.XYF幸福宝导航
英语老师没戴罩子让我抄了
能播放的人与Zoom
坏老人与媳妇天的春天
欧洲无人区卡一卡二卡
日本边添边摸边做边爱边
天天躁人人躁人人躁狂躁
家里没人叫大声点干湿你
女人吃男人大鸟图片
大婶的肥沃的土地类型
动漫人物打扑克牌的剧烈运动
如何在被子里玩自己无声
做完放里面睡觉是什么感觉
十8禁用b站app免费
上官婉儿的乳液狂飙
xax was was
喷泉1V3HPO
班长哭着说再玩会坏掉视频
overflow2未增删带翻译樱花
老师没有带罩子让我练了一节课
有孕1V2LH
silk-005
30款黄台网站入口
4p被三个男的舔全过程
斗转星移明星合成图
久亚洲一线产区二线产区三线产区
野花免费观看高清在线观看6
陪儿子读书发生的事是真的吗
WRITEAS遥控器
双乳被一左一右的吸着
冲动的惩罚完整版动漫
被抱起来C是一种什么体验
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1