有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
晚上听到婆婆叫使点劲用力
八重神子被焯出白水网站
狗配人怎样配马配人呢
麻豆精产国品一二三产区区别在哪
幸福宝8008隐藏入口2023
爱情鸟论坛免费观看大全在线
5g天天奭多人运动 在线观看免费
最近日本字幕免费高清
马车上的欢乐(下) 小燕子
男生压着女生的身体的原因
男男车车好快的车车图C
输了被罚让别人玩一个月隐私
动漫人物做剧烈运动打扑克的软件
老妇高潮潮喷到猛进猛出
写的超细的开车过程
闫凤娇 厕所门
14岁学生迈开腿让打扑克免费
大团圆结局公交车2
坐在学长的棒子上写作业作文视频
男生说捅爆你的甜甜圈
韩国演艺圈悲惨37
晚上玩自己的100种方法
老师你的好软水好多的时候图片
秘密女搜查官系列
波多野结衣 海啸
他顶撞的速度越来越快是什么意思
5分钟不间断踹息声在线听
无人区乱码一二三四是什么
娇妻出轨的秘密
黑料传送门最新地址ZZTT10
许仙终于把小青日服J
公交车动一下就撞一次
王多鱼和博雅被C
生物课当着全班人的面做到高C
用笔怎么自己弄自己的小花园
可以做X的手机游戏
一见面就不停的要我
坤不小心碰到女同学了怎么办
上自己妈妈是一种什么体验
卫老汉与淑蓉第一次
宝贝儿 我想听你叫的声音
漾出overflow2未增删带翻译
39W3C张津瑜吃瓜
桃花社区在线观看视频
海角.COMHJ3DCE
缓慢而有力的一下又一下文章
朋友把我玩成喷泉了怎么办
野花社区日本最新免费
王者荣耀女生去掉小内 软件
课代表没带罩子给我抄了一节
星空无限传媒免费看电视剧
做错一题进去一次C
公交车上要了我无数次
青梅被从小C到大H补课
嫩草研究所官官人口2021
女生醉酒被闺蜜用宝宝背带背回
漂亮的桃子2意大利语翻译
WRITE AS医生
怎么让鸡子变大变粗最简单的方法
扣自己的正确手势图9个
女人能接受开三门吗
糖心VLOG产精国品免费入
二次元人物桶动漫人物免费
虫虫漫画在线看漫画免费弹窗页面
朋友换娶妻当面
学霸把校霸往死里做双男主车
公交车一摇一晃双指探洞视频
没做过的能放进几个指节
tttzzz传送门2023网页版
姐姐说家里没人可以C
爱萝莉真是太好了
学渣坐在学霸的鸡叭上写作业
把她送上快乐的巅峰
差差差很疼30分钟无掩盖视频
斗罗大陆女生去掉所有服装软件
中文字日产幕码三区的做法步
女生说疼男生越来越往里寨的游戏
日本朋友把我玩成喷泉状态
如何把自己玩到喷泉视频
XVDEVIOSXVDEVIOS都是正版吗
xl上司带翻译樱花动漫带翻译
xXXXXL2022
草榴新时代的我们
公交车两人双指探洞湘潭天气网
MIGNON动漫
啦啦啦WWW免费高清
孩子想C我同意了
麻豆WWW传媒入口
脱mm内衣游戏
4虎的地址有知道的吗
可以对女生做什么都可以的手游
2013年3月里番
97国产精华最好的产品有哪些
塞住不要掉出来等我回来检查
和孙子发生了不该发生的事情
玩弄老太太的BB
做aj过程图片
舌头伸进去添好爽高潮
大叔轻一点可以吗
张津瑜吕知樾视频挂网
老谢小区保安赵敏老师
中日乱码卡一卡二仙踪林
美国VODAFONEWIFI巨
热热色原网址20岁以下
夜月直播视频免费
GARY18CHINA
父母儿女一起上!
班长不戴罩子让我练了一节课视频
胸大的姑娘好看视频
漂亮的邻居交换2
体育院校大猛攻视频
小蓝视频GARY2023入口
撩到女生下面滴水的句子小说
和朋友换娶妻a2020
女人说双指探洞什么意思
欧式春画图片大全欣赏
电车之狼游戏攻略
梁医生不可以(限)季亭亭
办公室的秘密赵雪晴第11章
公与憩小说姚瑶大结局2020
疯狂厨房2双人模式
甜蜜惩罚真人版
打扑克的剧烈运动
bgmbgmbgm老太太俄罗斯
班长找了好几个人上我
白雪公主被树干哭的故事简介
妈妈的朋友7在观完整有限中字一
宝宝我放进去就不疼了
我离婚后经常和父亲做
蜜桃成熟3dqvod
迈开腿男人往里怼女人的做法
老师答错一题少一件衣服
公翁的粗大放进我的秘密电影
国精产品一品二品国精破解
把腿抬高点添的才舒服总裁
女朋友的妈妈4完整有翻译
全程粗话对白视频VIDEOS
罗马帝国的艳情史
塞跳D开最大挡不能掉老师现场看
M0STHDCOECTION性
铃芽户缔免费完整版
两个球球抖动视频
亚洲码与欧洲码的区别三叶草
chengrenwenxue
亚洲熟伦熟女新五十路熟妇
和同学一天弄了好几次小作文细节
10种禁用的漫画软件
非洲人配人高清视频
乱码一线二线三线新区破解欧
斗罗大陆2大乱斗交大配txt
小雨伞发布声明
人间小喷泉1V3HL笔趣免费看
一个人看的免费WWW高清
搞机TIME恶心网
一个人免费观看的WWW哔哩哔哩
当蜜桃成熟时3
迈开腿尝尝你的草莓汁的图片
HAYAXURAX18
中国人免费高清视频大全
健身私教弄了好几次PO
精品无人区码一码二码三码区别
第七十九章厨房里的愉焕
甘雨ちゃんが人気の原因
日产一二三四区十八岁
跳d放在里面上体育课500字
爱情岛论坛网亚洲品质自拍
2019姐姐的朋友2
欧洲RAPPER潮水喷
床上躺着打扑克很疼
googlemap日本
里面塞着小玩具坐地铁有什么感觉
爆乳家政妇 肉感的身体
一龙二美妇观音坐莲
缘之空第4集开始开的车视频
潘甜甜果冻传媒 在线观看
中国成熟IPHONE
欧美精产国品一二三类产品区别
教授走一步撞一下第三章
儿子妈妈已经是你的人了
亚洲一线二线三线品牌精华液
事物的秘密截取水中一段
欧式春画图片大全欣赏简单
1v1肉从从肉到
全程车的百合描写详细的
约附近学生100元3小时
娇妻在我面前被多p
新最终痴汉电车
张津瑜和吕知樾事件
老卫淑华在上船上
伊人大相蕉在线看青青
14MAY18_XXXXXL56ENDIAN美V
奇迹三雄之扑克牌游戏
横冲直撞 肉车
C死了啊哈宝宝腰好会扭CBL
子不语在线漫画
大尺寸的小黄说字多肉有哪些
另一类ZOOM与人性ZOOM
翁熄小莹(奇思妙想)第二篇
精产国品一二三产区999999
女人自卫慰做法图片
中文字幕无线码中文字幕
学长错一题往里插一支笔作文
acg里番资源站全彩
TTTZZZ668.SU.6.6.2
晚上一个人睡不着在线看
泷泽萝拉第四部ed2k
中国小鲜肉GARY打桩
小男孩把坤坤放在小女孩脚
二三四五六七无产乱码
人们俗称的拔萝卜
WRITEAS 教室
车里一下比一下撞的狠
离婚了让父亲体验了一次
麻花传媒MV一二三区别在哪里看
嗯啊用力插我舔我的
果冻传媒保姆何苗蜜桃传媒
没带罩子让校霸C了一节课网站
榴莲草莓未满十八岁的做法大全
亚洲1卡2卡三卡4卡2021
工囗囗番漫画大全全彩
老外和中国女人毛片免费视频
镜流口水流白色液体正常吗
八重神子用身体补偿旅行者
西方44大但人文艺术是什么东西
人间小喷泉1V2
一言不合就开车的美剧
舞林大会棒棒糖
做的时候按肚子真的有形状吗
坤是放在女生的前面还是后面
污到你那里滴水不止的说说细节
黑牛影视传媒有限公司官网
人物动物交互狗免费
金瓶双梅2房奴试爱
日本max中国
娇妻两根一起进3p
37大胆欧体人文艺术的价值
另一类Zoomcloudmeetings
从阳台X到卧室边走一步视频
一个色农夫的导航
精产国品一产区
被两个老总前后夹击爽
善良的嫂子的朋友5中字巴巴鱼汤饭惹人
我想吃你扇贝里的水
漂亮的丰年轻的继坶3在线观看
桃花在线观看免费播放动漫
换个方式做吧未增删动画樱
白人大战34厘米黑人BD
他趴在两腿中间舔我私密有事
爆黑料不打烊传送门
乱辈通奷XXXXXHD电话系
Z0OZO0人善之交另类
人与动物ppt免费模板
迈开腿打扑克没有马赛克还有牛奶
原神雷电将军乳液狂飙视频在线观看
rh男男车车的车车视频
忘忧草研究所直接进入
被体育老师c了我一节课作文
分手那天我们做了八次视频
抬起一条腿对正往里怼
1区2区3区4区产品不卡码
搞机time恶心
QVOD在线播放
饭桌上故意张开腿让公在线观
农夫网站导航大全
多人轮换c一个Hpo
爱在空气中特别篇
如何用筷子玩哭自己
DH-NVR4116HS-HD
宝宝我不进去就蹭一会视频
ず中文在线っと好きだった
小黄说说1000字
妈妈的朋友4在观完整有限中字
曰本美女嫩鮑艺术图
英语老师不戴罩子让我捏一节课的
欧洲一卡2卡三卡4卡毛1
宝贝几天没C你了
胡桃ゃんが腿法娴熟を视频
5g天天奭5g多人运在线观看免费最新app
777奇米影视盒
处处吻全程拉丝舌头
女儿的男朋友5中汉字晋通话
99精产国品一二三产区区别
上体育课课被捅了一天
中国人も日本人も漢字を
胸前的大兔子蹦了出来视频
丰年经的继拇中文3应用特色
被子里怎么无声自罚隐私方法
我的小兔兔被男生咬着的感觉
黑人肉大捧进出全过程动态
八重神子COS入夜狂飙游戏
被深顶得说不出话
御书屋御宅屋高辣H
秘密教学82这次换我教你了土豪
老婆说她想尝试多人怎么回复她呢
两个月不见老公跟疯了一样
开会被塞跳d开最大挡不能掉
边做边爱完整版3视频
学校里的性教学教具
你的东西比老公大得多
夜间正能量视频www正能量网站
你的深度刚好是我的长度
学生的妈妈4在观完整有限中字
六年级女生隐私里可以塞几支笔啊
红猫大本营点击进在线看
美女裸全身无档图片视频教程
放学后在班上插英语课代表
高达uc独角兽06
免费的剧烈运动扑克网站
和孩子一起睡觉没控制住
原神雷电将军把乳液喂给旅行者
男生淦哭男生图片动漫有字
宝宝是我撞进入还是你自己坐下来
王者荣耀曜把西施顶哭
国语对白露脸XXXXXX
走一下撞一下深深咬合总裁漫画
无人在线观看免费高清直播
精产国品一二三区别www
饭桌上故意张开腿让公H视频
爸爸突然抱着说想要
宏翔小蓝视频GY2022的特点
老师的兔子好软水好多樱花一
区3区4区产品乱码芒果
成全动漫视频在线观看免费
亚洲国色天香卡2卡3卡4
swing out sisters
jing液灌溉系统2号唐小米
三期必出三期必出持
无人区乱码一二三四区别在哪
漂亮的丰年经的继拇了中
品色堂免费论坛
两个男人一个前面一个后面
坐在学长硬硬的地方写作业
我把英语课代表抄了一节课
TFRG4MAY18_XXXXXL
外国四个黑人RAPPER组合
男女上下摸高潮动态图
糖心LOGO免费
金麟岂是池中物侯
把女朋友弄成小喷泉的手势
哪种BB最好看
帅气体育生GARY网站小蓝黄金
上官婉儿的乳液狂飙
宝宝几天没做都湿成这样
朋友的娇妻好爽好烫嗯
老板等不及了在车里做文章
乱码一乱码二乱码三新区
老师上课跳D突然被开到最大作文
乱码一卡二卡新区永久入口
用玉器养大的公主么么
伽罗太华翻白眼流口水流眼泪
5G年龄确认永久有效
4虎永免费最新
我的小兔兔被男生越捏越大
描写地很细致的DOI过程
双人床上做的运动打扑克的软件
如何骑枕头上下移动图片
xfplay365每日稳定资源站姿
雷电将军被旅行者淦到哭
坐在上面怎么晃教程图片
女人荫蒂勃起后图片
客厅大伦交侩H客厅设计要点
成品ppt网站国外
姐姐说家里没人我们可以在一起吗
迈开腿让我可以尝尝你的味道
女生让男生诵自己的游戏
麻豆视传媒官方网站入口
精品一卡2卡三卡4卡三卡免费
writeas2根性器异物肿
爱福利视频广场福利视频
伽罗ちゃんが腿法角色解析
考试不好就要当学校的坐便器
无颜之月是啥意思
夹好了去上学不能掉出来的作文
性 爱 免费 视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1