有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
猫咪最新地域网名3336
manta haya 17
迈开腿让我吃一下你的小草莓
国产精品女主播主要上线
工囗囗番漫画大全全彩
爱情鸟论坛com高清免费
欧美无人区码卡二卡卡三卡四
宏翔小蓝视频GY2023
搐搐国产丨区2区精品AV
冲动的惩罚动漫HD在线播放
敌伦小芳的第一次
将夜2第3集大尺视频
坐公交车最后一排轮
30款黄台网站入口
韩国漫画登录页面入口环球
中国日本韩国免费观看
把车开到没人的地方要你
打扑克牌的剧烈运动视频全过程
接待一个20厘米长的客人
孙尚香站在凳子上辅导刘禅写作业
全世界最好的你免费观看
糖心LOGO免费观看甘雨
善良的妈妈2观整有限中字
一次又一次的索取
工囗番漫画全彩无遮拦无限拉
女人巨大荫蒂勃起
野花香在线观看免费高清播放视频
学生党怎么自W
厦门路虎事件2分38秒
输了让同学玩隐私位置游戏
果冻传媒母亲和女儿李琼
18款禁用B站APP免费版
放在里面顶着学长写作业作文
女生把筷子放屁眼里不能掉图片
上课同桌把震动器夹在腿里
爱萝莉真是太好了
エースエロじ天堂
林依晨版射雕英雄传
双指探洞一分钟200次什么意思
俄罗斯牧场VIDEOSK9
迈开腿让我看一下小鸡蛋的视频
GGY钙2022调数
群飞刘亦菲杨颖杨幂唐嫣刘诗诗
班长趴下让我C了一节课作文视频
67194点击直接进入
女子半夜莲花开的表现
诱人的女邻居9中文观看
缘之空第几集什么时候开的车
哇他怎么这么猛啊
扣自己的正确手势图
好痛太大了放不下的
少妇挑战3个黑人惨叫4P国语
最好玩的B是那种
脱色摇床实验室振荡器雷安
公婆总是夜里恩爱声音大
在家不准穿衣服想做就做
千金肉奴隷1985未删减版在线观看
两个大兔子抖来抖去的图片
XL樱花动漫未增删带翻译
正确的进入方法免费看
日产精品一卡2卡三卡四
变态生理研究班
成人免费在线电影
啦啦啦中国日本韩国免费高清
4hu最新地域网名2021
男生淦男生的部位
日本漂亮妈妈7在观有限中子
老师的小兔子好软水好多动漫
校园纯开小黄车小短文300字
蜜芽最新域名网站
刘玉玲flypaper电影
blued片在线观看高清免费
bgmbgmbgm老妇60
装睡让我滑进她的身体
高校1V3PO藤蔓
千人千色T9T9T9的推荐机制
人与畜禽CORPORATION的合作
用你的舌头搅拌着我的舌头歌词
在公交车上被JB草坏了被轮J了
在车里被撞了八次高AO视频
小兔兔被男生吃什么感觉会疼吗
坐在紫到发黑的木棒上写作业阅读
天美传媒MV免费观看软件特色
国精产品一区一区三区有限在线
我的兔子好软水好多h15视频
公么天天吃我奶躁我的
把冰葡萄一颗一颗往里堆
国产无人区一码二码三码MBA
精灵の森へようこそ2
高潮插的我好爽再干噢在线欢看
校花被出租车司机强H
男朋友的手探到我的衣服里怎么办
吃奶吸咪咪动态图
日产乱码一二三四2021在线
国产无人区一码二码三码区别
老公弄我的时候婆婆看到了就生气
妈妈的朋友的4在观完整有限中字
女子初尝黑人巨嗷嗷叫
阿娇张开两腿实干13分钟完整版
涨精装满肚子用塞子堵住照片
吃自己的丁丁的方法
用手指轻轻按着并来回移动
妈妈的朋友7在观完整有限中字一
ONE一个成年的世界一个就够
花蝴蝶日本视频
坐着吃饭还连在一起
装睡让我滑进她的身体
德国VODAFONE精品
JAVAPARSERHD夫妻
具体描写被C的过程
公与熄大战柔佳
B是不是越小越好隐
桃花在线观看视频动漫
空姐前规则高清观看在线
前面一根后面一根运动
野花视频官网手机免费观看
98777邪恶小游戏
手机调成震动夹在中间
老卫和淑容全本
网站你知道我的意思的免费的
RH男男车车好快的车车片段
被c是一种怎样的感受
这个杀手不眨眼
整篇都是车的百合推荐校园
在线成人免费电影
男孩子都会夹住女孩子头发
10岁小学生fees幼儿
在车里被撞了八次高A
chinese东北体育生打飞视频
麻花传md0155苏蜜清歌在线
2021年19岁RAPPER潮水
年轻漂亮的继拇3
S货是不是想挨C叫大声点
约附近学生100元3小时
岳把我用嘴含进满足我视频
WRITEAS诸葛亮多人
引导儿子上自己
免费正能量网站链接
斗罗大陆2大乱斗交大TXT漫画
漂亮的保姆7完整版免费二
男的坤放入女的小视频
国精产品6666
渺渺上体育课当着全班人
班长哭着说不能再C了
日漫动漫人物将机机插曲漫画软件
小诗的玩具日记乡村
我年轻漂亮的继坶4
皇上御花园HLH
欧洲无人区码一码二码三码区别
宝宝你能对准坐下去吗漫画
女朋友特别会摇是什么意思知乎
AI换脸周淑怡可以冲的
荷尔蒙爆棚肉超级多的糙汉文
插曲视频30分钟完整不用下载
花火のエロドラえもん动漫
旗袍全开襟做双人运动好看吗
亚洲无人区一卡2卡三卡
黑料不打烊TTTZZZ入口2022
晚安おやすみせっ3在线观看3
石榴裙下的温柔
147人托人艺术
得到超级肉禽系统的紫岭红山
2020年日本高清一卡二卡三卡四卡
野花高清免费观看
开车视频疼痛有声音水水水
男娃JY灌溉系统
男生女生差差差30分钟很疼视频无掩盖
CAMPBUDDY大基基
秘密教学子豪51暗巷破解版
原神甘雨安慰部下CG插画在哪
对象一直咬我的奶奶
99精产国品一二三产
永久939W乳液78
免费B2B网站推广嘿嘿
一二三四日本中文在线
国产精选午睡沙发系列999
小sb是不是又想要了
家庭大杂乱经典说说大全图片
哇他怎么这么猛啊
GRAHAMCOXON女儿
法国艳妇LARALATEXD
亚洲精品国产精华液有哪些牌子
人与畜禽 CROPROATION
一二三四日本高清视频动漫
中国 韩国 日本 免费看
女生说痛男生越往里寨的文字
每次见面他都要好几次细节
东莞技校门下载
女生喜不喜欢双指探洞
温暖叶非墨做肉段阳台日照小说
开拉链它想你了你想它吗
雍正进入甄嬛身体
污到你那里滴水不止的文章1000字
黄到让你那里滴水的作文门卫
妽妽的下边好紧春雨医生
双人床上剧烈运动打扑克的视频
妈妈的朋友4在完整视频带翻译4
污污的文章 看完有水
诱人小峓子5中字巴巴鱼汤饭
女生会喜欢开双门吗
国外B站推广网站
丰满少妇大叫太大太粗
岳今晚让我玩个够肥水一体探岳
肉蒲团 极乐宝鉴
闫凤娇 厕所门
林静公交车被做到高C的原因
野花视频最新免费
输了被罚让别人玩一个月
女生看了会湿的污段子
lululemon露露瑜伽服
每走一步楼梯就撞到最深处
精产国品一二三产区区别9977
打开腿吃你的扇贝什么意思污
吃八重神子的乳液
60分钟上大床
三秒后野兽在联谊的角落里的他是肉食系
我们四个人换着玩的感觉
东京热456大交乱高清视频
接电话顶C的说不出话
果冻传媒MV国产推荐
老公叫人一起换着玩的说说
当你拔出来的那一刻
4ayy私人影院
马的太长了能进吗
舌头一路向下探索找到花朵
日韩砖码砖专码2023
女生越痛男生越来越快
文轩WRITE AS 震动器
国外精产品W灬源码16
好看的肉质高的pop短文校园甜
人与畜禽CORPORATION的合作
差差差很疼的视频无掩盖
青青草国产视频免费线观看
WNTPPS偷窃小便
欧美无人区码一码二码三码的区别
国产DB624色谱柱36521
写的超细的开车过程的现言
神马影院线手机理论午夜
小东西我们在水里做运动
两阳夹一阴后期走势
毛1卡2卡3卡4卡
国精产品一二三线
yasee最新2021
好吊视频一区二区三区
久久丫精品忘忧草产品
高压狱警2美版免费
TTTZZZ传送门2024
一顶就叫是为什么
日本一姐RAPPER潮水太
情侣的30种插秧法图片
挺进毛还没长稚嫩的小花苞
晚上想吃你的黑葡萄是什么意思
好深再深一点动态图
公交车上被撞了八次
玩弄老太太的BB
公么公在浴室征服小雪
日产乱码区别免费的使用方法
妹妹中考前让我C了1次作文啊
色中色board
老师让我在办公室做了一节课
黄晓明尹正合体录制中餐厅6
在阳台试试好不好
有车车的腐肉双男
小燕子乾隆在马车上的欢乐
YP193.COC永不失联免费
亚洲精品一线二线三线无人区
xl上司带翻译没有马赛克带中文
同样是B为啥感觉完全不一样
18岁末年禁止观看的网站免费
公大JI巴给你P
日产高清卡一卡二卡VA
YW193COC永久入口特点
边做边爱3完整版
被子里怎么无声自罚
外国情侣插秧方法
狼人乱码无限2021芒果
夜里听到婆婆哼哼的叫声
蜜芽忘忧草二区大豆行情网烧仙草
双人床上剧烈运动作文
大团圆公交车大结局2
打扑克喘气声音
午夜dj免费视频观看在线动漫
他把跳D开关开到最大
花季传媒APP每天免费3次观影在线观看
黑道少爷爱上我
啦啦啦 中国 日本 高清 在线
漂亮的继拇5字
囯产精品一品二区三区
花季app下载3.0.2黄软件怎么下载
可C可拔萝卜女生小游戏
新版猫咪目前的地址入口
XL上司在樱花未增删翻译
300元学生过夜联系方式
公开caoporn
榴莲app下载进入网址
双龙进洞夹心饼干
想吃你身上两颗的葡萄
漂亮的小峓子中字巴巴鱼汤饭
大团圆公交车大结局2
双指探洞要喷了I
饭桌上故意张开腿让公H
青春草原精品视频
缓慢而有力的一下又一下视频
C死了啊哈宝宝的腰好会扭
究惑肉车禁闭室
2018国产大陆天天弄
星空传媒XK8004的未来发展
有人有片视频吗免费的
漂亮的桃子5意大利语翻译
没有我的允许不能流出来
妈妈的朋友6在完整有限中字
巨无霸水蜜桃水帘洞
国精产品自线在
一区二区三区国产好的精华液
yura kasumi
年轻的母亲2在线高清完整版中文版
小东西才几天没做水这么多
韩国年轻的母亲5观整有限中字
大炕上各弄各的
夹住去上学不可以掉下来作文
好姑娘完整版在线观看日本
解放的潘多拉 bt
公主往下边塞玉器是哪本书
附近学生约100三小时
含羞草麻婆豆腐传媒
年轻的母亲6在完整有限中字
晚上做运动打扑克声音
果冻传媒保姆何苗蜜桃传媒
大菠萝福建导航引导入口
父亲在车里缓慢而有力的撞着
337VT最大但人文艺术西方
老太婆下身浓浓毛多
精产国品一二三产区999999
JUL532外勤突然下大雨
一面亲上边一面膜下边的应用
洗衣屋樱花2未增删带翻译
帅同社区 文学转载
扑克牌又疼又叫的什么含义
宝宝我就在外面蹭一下爱情花季
宝宝乖夹住别流出来了
适合夫妻二人一起看的电视剧
胸大做起来有什么好处
波多野结衣电影在线观看cesd819
妈妈的朋友2在完整有限公司中字
WRITEAS开会
看完立马湿的小黄说说
糖心精产国品免费老版
动漫打扑克剧烈运动
歪歪漫画韩漫首页登录入口页面
夜恋全部支持安卓UC
女生吃鸡难道不恶心吗
蜜桃成熟时33d qvod
随处可以做的爱的世界
不知火舞三个男儿动画
孩子还没睡老公侧面做妈妈帮
家庭教师hitmanreborn
鲛人鳞片顶开宫腔
好姑娘1免费观看完整版中文
差差差很疼30分钟无掩盖视频
小洞饿了想吃大香肠有声音馒头
金田一少年事件簿r第二季
打开腿吃你的扇贝什么意思污
CHINESE粗口篮球体育生生
999精产国品一二三产区
日出水了好深好涨
快穿之女配取液之旅H
性宝福丝瓜草莓芭乐小猪鸭脖
被男友咬小兔兔的感觉知乎
十九岁潮水RAP欢迎您仙踪林
小箩莉末发育娇小性色XXXX
写得很详细的开车
果冻传媒剧国产免费入口今日更新
中文在线っと好きだった最新版
GGY钙2023入口
希儿乳液狂飙天堂W98
色心色心board
成全动漫视频在线观看免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1