有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
黑帮大佬我和我第365天
糖心VLOG精产国品免费老版
JINMANMIC18C.MIC网页传送门
vodafonewifi巨大app粗暴
原神旅行者插雷电将军的游戏
巜迈开腿让我看看你的森林
宝贝腿开大点我添添公交车
欧美乱码1卡2卡三卡4卡
精品乱码一卡2卡3卡
黑帮大佬和我的365日第2
run away无删减全集
拔萝卜又痛又叫
帅气体育生GARY网站MV视频
ZOOM与人性ZOOMSK
666西方大但人文艺术
两个奶被揉得又硬又翘怎么
日本乱码卡1卡2卡三卡重新
管鲍分拣中心富二代丝瓜
韩国电影老师的秘密
撞击声和黏腻粘连的水渍声
亚洲一线产区二线产区精华液
国内精品一线二线三线区别在哪里
男朋友做到我下不了床
日本漫画口番工全彩侵犯
无人高清视频免费观看在线动漫
在教室伦流澡到高潮HGL动漫
精产国品一二三卡区别
校霸被校草在教室做到哭
马思纯力挺周冬雨
老师拉我去办公室做了一节课作文
穿戴式跳D放在里面逛超市的
atlanticocean巨大
插曲的痛的视频30秒
农夫导航永久地址
双指探洞过程描述文
娇妻被领导抱进卧室
用你的舌头搅拌着我的舌头歌词
玩小雪跪趴把腿分到最大影视频
迈开腿让尝尝你的小鸡的视频
做饭的时候老公也要
中文字幕无线码中文字幕
女篮坎贝奇惊艳三部曲叫什么
狗头萝呼啦圈视频26分钟低价 1080P
三叶草欧亚专线欧洲S码
班长哭着喊不能再C了视频作文
seo短视频网页入口引流
男生和女生一起差差差很痛的声音
春天之光老周赵青
新铁血战士qvod
女性为什么喜欢三指探洞呢
孩子还没睡老公侧面做
夹枪带棒1v2舒明明和黎
向小小花蕾深处前进讲的是什么
妈妈的朋友4中字在完整视频带翻译
GaryWayne男男
女人半夜莲花开很难受怎么办
伽罗躺床流白色分泌物大图
帅气体育生GARY网址MV宏翔
翁熄止痒婉艳隔壁老李头
迈开腿尝尝你的草莓是什么意思
男生口中的滑滑梯是什么意思
亚洲卡1卡2乱码新区仙踪
皇上不可以(限)沈音
一不小心滑进了母亲的生命之门
果冻传媒2022一二三
塞跳d开最大挡上课不能掉
王者荣耀西施害羞流口水的表情
韩国演艺圈悲惨事件9
动物胶配方大全高清
国精产品W灬源码1H855.
免费国无人区码卡二卡
啊班长C了我一节课
爸爸缓慢有力挺送女儿的话
电车之狼 攻略
我捅了英语课代表一节课
学长能不能换个地方做网站
夜深了应该看的视频
黑料热点事件-黑料
小洞饿了要吃大香肠有声音
国精产品无人区一码二码三蘑菇
国产精华液2020
50岁女人下面还紧吗
无忧传媒短视频
mitao123
护士张开腿被奷日出白浆
厨房做剧烈运动视频扑克
写的比较细的开车片段贴吧
丰年轻的继拇中文3使用方法
撩到女生下面滴水的句子
一二三四免费中文在线1
贺朝用棒棒糖桶谢俞
将一整瓶红酒灌入writeas
水蜜桃色314
一边喘气一边叫做摸小兔兔作文
精品推荐国产精品店
中文在线12月18日快速反弹
一边讲题一边doi
野花社区日本韩国免费
免费剧烈运动扑克网站
一区二区视频传媒有限公司
欧美无人区码卡二卡3卡4
人与畜禽corporation怎么读
究惑R车禁闭室润滑剂
前夫的东西很大和三个人在一起
得到超级肉禽系统的
青梅不经c1V1
如何用一支笔玩哭自己
GAY引诱外卖员COM2O22
我的漂亮女房东完整版在线韩剧
WRITEAS遥控器朝俞
张津瑜 6分35秒
又大又长又租视频
少妇无码吹潮久久精品AV
用你的舌头搅拌我的dj
bgmbgmbgm老太太毛多多1
BGMBGMBGM老太太视频HD
爸爸刚走爷爷就来了
英语老师没戴罩子让我捏了一节课
欧派浴室樱花2未增删带翻译樱花
羞羞动漫在线入口免费阅读
小玩具开启高H
陪儿子读书发生的事是真的吗
公交车C到高C
俄罗斯大18但人文艺术
生物老师上课亲自给我们展示自己
我女朋友的母亲15完整视频有翻译
他一次比一次撞的很多
东北那旮瘩母与子
小龙女的紧致花径
大尺寸的小黄说字多肉健身房
s货c货大声点
一整夜没有从你身体里退出来
十大污的app
仙踪林welcome on line word
疯狂母亲在线播放
宝宝好会夹啊拉丝了
打开腿让我添你下面小污文
满18点此安全转入2023
课堂上时间暂停为所欲为在线阅读
男生最无法抵抗的姿势
风间由美 熟女
俄罗斯LINODEIPHONE
地下偶像sana未增删带翻译
我女朋友的母亲1完整视频有翻译
娘王virgin
小洞饿了想吃香肠有声音作文
我想用我的扇贝夹你的乌龟
爆黑料不打烊传送门
让我看看你茂密的小森林
年轻的朋友2在完整有限中字
欧洲最大但人文艺术114
1377大但人文艺术演员表
精品国品一二三产品区别在线观看
绯闻男友发长文力挺张靓颖
坏老师百度影音
我哥把我拉到一个没人的地方
把它堵住不能流出来下周检查
天天啪夜夜干2007
ZOOM人牛OKZOOM
白丝语文课代表让我C了一节课
希儿的乳液狂飙天堂W98
腿再开一点就可以吃扇贝了
中国体育生宿舍GARY飞机
女儿男朋友是妈妈的爱豆的电视剧
top gear 19季03
绳子打结陷缝里让对方走过去
公交车两人双指探洞LH
RUN AWAY 全集未删减在线观看
舌头伸进去添能让高潮来的更早吗
妈妈说带套可以给我
多毛BGMBGMBGM胖在
从校服到婚纱1H柠檬
班上男生带到没人的地方作文
国产MV天美传媒
车内剧烈运动描写片段
亚洲不乱码卡一卡二卡4卡5卡
错一道题就往下面插一支笔怎么办
YW.8827.龙物视频永不失联是多少
打扑克剧烈运动全程不盖被子
《水泄不通》txl金银花
5g网址点此进入
你的小缝想吃我的大香肠
无人区一码一码二码三码区别
51爆料网每日爆料黑料
亚洲一线产区二线产区区
纳西妲坐旅行者的胡萝卜
两个奶被揉得又硬又翘怎么回
BGMBGMBGM老妇视频
无人区码二码三码四码区别
14may18_XXXXXL56e
斗罗大陆唐三爆桶波塞西3
XFB3.XYF幸福宝导航
台湾中文网娱乐网
生物课老师拿自己做繁衍例子
四个人换着玩春雨
迈开腿让我尝尝你的草莓什么味道
帮你女儿疏通下水道
舌头探洞感觉要喷了
无人区码卡二卡3卡4
交换朋友夫妻客厅互换4韩国
日本14MAY18XXXXXL
激荡瑜伽1V2
女人很久没啪会变紧吗
电车之狼r完美存档
醒来发现男人某物还在身体里
公嗲嗯啊轻点公大ji巴
男生把自己的qq放入女生的qq里
徐文荣接受审查调查
中国高清WINDOWS在线
精东影业天美传媒网站
开小黄车的细腻描写
high school d d
久别的草原高清视频HD
宝贝流了怎么多还说不要
坐在老师的紫根上写作业
精产国品一二三产区999999
阿铜铜铜好多水
美国十次啦色播
荧去掉小内趴在地上和散兵打扑克
JEALOUSVUE少归
亚洲小鲜肉帅哥GARY
如何玩自己的r头
甘雨拔萝卜视频素材
中国VPSWINDOWS睡觉
火影忍者女性角色去内成品
哇他怎么这么猛啊
水都这么多了还装什么
欧洲最强RAPPER潮水孕
成品人和精品人的区别
9传媒制片厂制作在线观看
老师不行太大太长了漫画
校园车多肉多的1V2
ZOOKEEPER另类
没带罩子让他吃了一天的没事吧
B站看大片与Netflix比较
AIRMAX97杂交
岳女共夫张淑芬
男女一起差差差很疼痛软件
坐着学长硬硬的上面写作业
被子里怎么无声自W超疼
第一次处破女18分钟高潮流水
京东传媒精品jd009
淑娟两腿间又痒了
人物动物交互狗文章BECJM
亚洲日本一线产区和二线产区对比
八重神子的乳液狂飙游戏
比赛输了任对方看和玩部位游戏
麻豆果冻传媒新剧国产杜鹃
被七个爱豆翻来翻去1V7
原神黄化网站站
讲讲你们DOI最猛的一次
儿子一晚上要了我五回怎么办呀
随着车的震动一晃一晃
往下边塞玉器见客人啥意思
Zoom人与Zoom视频
伽罗躺床流白色分泌物怎么回事
亚洲尺码和欧洲尺码的区别
卡一卡二卡三免费视频
WRITE AS 内衣
narto henta
巨无霸水蜜桃水帘洞
在床上打扑克不盖被子会怎么样
一直喝水不让尿捂着的作文
精产国品一二三卡
儿媳妇夸我比她老公大怎么回事
春暖花开 有你cc
无人区乱码一卡2卡3卡
年轻的朋友2线在完整视频
白雪公主成版人版H
顾氏双生子的玩具
注射器打水放屁眼里视频处罚
黄动漫车车好快的车车
国产精华液一线二线三线
tttzzz传送门2023
污到你那里滴水的视频
吃饭时某处紧密连接
呼吸过度未增删
无限资源2018第1页在线观看
看见你的棒棒就想吃的歌手是谁
污到你那里滴水不止的说说99篇
高清观看ZSHH96的视频素材
什么是主题公园
减去小舞所有的衣服
国产无人区码卡二卡三卡
疯狂伦交2完整版
亚洲无人区一码二码三码区别大吗
弄完作业是不是该给哥弄弄了
免费国精产品WNW2544
一层一层剥开你的衣服
你是不是我的小SB
满了太满了溢出来玩具
涩涩屋草莓榴莲绿巨人秋葵
缘之空第4集开始开的车视频
荔枝视频app男人影院在线观看
男生把坤巴扎进女生的坤巴里
八重神子流白色乳液
在语文课上强插语文课代表
精产国品一二三产品区别视频手机
错一题学长就在下面插一支笔作文
动物胶配方视频高清大全
538prom精品视频在线播放
19岁潮水RAPPER
男女车车好快的车车有点污网站
小SB真是欠C
PT-71波多野结衣
奇米四色7777中文字幕
茶杯狐CUPFOX官网浏览器
18款禁用网站进入
免费精产国品一二三产区区别
老公弄我的时候婆婆看到了怎么办
星空无限传媒国产剧情
用过仙女棒的说下感觉
情不自禁 百度影音
男女车车好快的车车有点污网站
家里什么东西可以代替小玩具
成品ppt网站国外
口工漫画全彩无遮漫画
B级文件中文翻译完整版
夜里用的18款禁用
WRITEAS木勺
国产无人区码卡二卡三卡
我好像找到你的敏感点了宝宝
xfb88.xyf幸福宝解锁版
迈开腿往里怼冰块双男主微
怎么吃到自己的小鸡教程
top gear 19季03
丝瓜草莓向日葵草莓18岁在线观看免费版
国精产品呦呦仙踪林
一支笔C哭自己
在线观看2022GGY钙同网站
相亲对象是学生未增删樱花
舞蹈区卖肉精选
最近新免费韩国视频图片
你的东西比我老公大好多
芳芳的性幸福生活18 章
在床上拔萝卜又疼又叫什么病
14MAY1XXXXXL麻豆
打扑克视频用点力有声音
yy111111手机在线观看琪琪
欠c的玩意sb就是用来c的h
医疗室play道具走绳结
美国14MAY18XXXXXL
差差差不多视频30分钟轮滑
我的好妈妈免费观看冰河局电视剧
2021今天沈阳爆炸事件刚刚
污污免费看锕锕锕锕锕锕三小
中国speakingathome宾馆百度
处钕膜被捅过程图片
迈开腿让学长看看
在厨房要了朋友麻麻
杨思敏1一5集手机版
哎呀哎呀在线观看视频高清国语
小受被老攻C到哭着求饶视频
一二三四中文字幕
巨年少根与艳妇全文阅读
输了让对方随便处置作文1000字
张津瑜 6分35秒
写的超细的开小黄车片段
类似安娜情史的电影
教授走一步撞一下第三章
中国老人mandaddyertv
久久这里的只有是精品23
网址你知道我的意思的
中国成熟IPHONE
自己对准它自己动
一支笔C哭自己
日产2021免费一二三四
魏晨破赵奕欢密照
免费看桶机三十分钟不用会员
亲爱的老师3韩国完整
某处紧密连接在一起
大型大巴车最后一排被轮
在后车座上的疯狂做I
狗狗的东西又硬又烫
男生把坤放女生定眼会怎样
顶的速度越来越快越
秘密教学93话恩爱久等了免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1