有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
年轻老师的滋味5在观整有限中字
我就是要在这里要你
老公生日3Q的开始
星空传媒XK8004的功能特点
免费网站看完你会回来感谢我的
馋你了今晚想吃馒头
漂亮的小峓子5中字巴巴鱼汤
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
水怎么这么多啊我好喜欢喝
胡桃尿道口流出白色液体正常吗
冲气娃娃有什么用
久久一区二区三区精华液使用方法
毛都没有就被开了苞在线电影
甘雨拔萝卜视频素材
男生被男生C哭是一种什么体验
涨精装满肚子上学体育课
娇妻玩4P被3个男子伺候辣文
韩国妈妈的朋友6整有限中字中国
可以随意触摸内部位的学校
BabyCAT98女rapper
9i传媒有限公司
国产AV无码一二三区视频
最近日本字幕免费高清
缓慢而有力的一下又一下视频
宝贝再快一点别停视频
一口一口吃掉胸口的奶油的视频
教授走一步撞一下苏冷韵
宝贝它想你了感受到了吗
被罚把筷子放屁眼里不能掉
用大宝贝帮妈妈通下水道好吗
才三根手指头就疼了小东西
老师的兔子软水好多免费看
一边亲一面膜下
被男生口是一种什么体验
欧美无人区码卡二卡3卡4
最美情侣高清免费观看视频
善良的妈妈的朋友5中字巴巴鱼汤饭惹人
麻花传媒mv在线播放高清MBA
甘雨ちゃんが部下を腿法娴熟
班花哭着说3个一起会坏的
王中磊玩过的女人
中国警察GARY飞机老公
掌中之物何妍被多少人上
在她身上运动了一晚上
仙踪林19岁RAPPER潮水偷轨
B痒了多久没C了
WRITEAS黎朔
学生的妈妈6中韩双字中国
桶三十分钟全教程
公交车舒婷1一20全文
精彩无人区一码二码三码四码
女装正太 my pico1
10岁可以插几支笔
WRITEAS朝俞夹东西
当兵的晚上弄不停
overflow未增删樱花
深夜动态福利GIF动态图900期
小舞你的小兔子好玩小游戏
野花日本HD免费高清版7一
输了让同学玩隐私位置游戏
19禁忌漫画免费阅读
换个地方做吧未增删樱花
老八吃奥利给原视频不遮挡
原神妮露掀起奶盖黄XMAN
老师下面太紧拔不出来怎么矫正
羞羞漫画登录页面免费漫画入口页面破解
免费剧烈运动扑克网站大全
课堂上时间暂停为所欲为在线阅读
爆黑料不打烊传送门
WRITE AS 塞水果
成品网站w灬源码入口
为什么狗狗放我里面就变大图片
校园纯开小黄车长300字
贺朝谢俞完整车 高速
桶三十分钟全教程
坏老人与媳妇天的春天
你看桌子上都是你流的
YSL热门蜜桃色
英语课代表上面好软在线播放
xax was was
乱码一卡二卡新区永久
生姜切成小块放菊花里作文
抽的越快声音越响视频
杨幂哭着说不能深了
高树玛利亚图片
无人区一卡二卡四卡
腿张大点就可以吃扇贝了
贾宝玉在轿中干王熙凤
明星ai智能人脸替换网站
好湿好紧快点再深一点动图
一整夜都连在一起没有退出来
第四色最新网站
无颜之月第五集你会回来感谢我的
男的说女的紧是好的还是坏的
甜蜜惩罚 我是看守专用宠物未删减版百度云
试看免费120秒动态
冰块和棉签弄出牛奶视频
一人吃上面一人吃下
嗯嗯宝宝怎么啦难受吗 疼 好大
泰版 浪漫满屋
在语文课堂上插英语课代表
在公交车上被JB草坏了被轮J了
最近韩国电影片免费播放
失乐园渡边淳一
365天霸道总裁爱上我2免费观看
男朋友咬我的小兔子头会发炎吗
老婆出轨时给老公打电话
缘之空第几集什么时候开的车
pilipili噼哩噼哩最新版黄的
免费国精产品一品二品
好看大但人文艺术
非会员试看十分钟做受小视频
妈妈看清楚我是怎么C你的
坐着轮流提双腿能起到什么效
同校生2中文版
宝宝这才几天没做水就这么多故事
GARY东北打桩机无套2023
2023年免费进入B站
公么大龟弄得我好舒服秀婷
小货SAO边洗澡边CAO你动漫
中欧乱码卡一卡二卡三
男朋友吃我的小兔子头
把头抬起来看镜子里的你
玩弄老太太的BBB
不知深浅PO1V2车
宝宝我们对镜子C好不好
新不夜城 综合
水蜜桃秘密基地
棒棒糖放屁眼里旋转的游戏
女儿就是留给爸爸用的
公孙离去所有衣服床上
做过一次爱的两个人会忘记彼此吗
bgmbgmbgm老妇60
雪臀肉枪玩遍武林美妇
性极强的岳让我满足
学渣含着学霸的写作业
校园春色武侠古典系列
xingshenghuozhinan
朋友妈妈2018 电影
处钕膜被捅烂m图片
同时被两个男人轮流舔
晴雅集免费观看在线观看
哪种BB最好看
YELLOW日本韩国
有没有弄过儿子的吗
把车开到没人的地方做
linode日本iphone奶
成品网站W灬源码伊园百度百科
小东西这才一根你能吃
每走一步就深深的撞一下
早上起床前要抱紧我风车动漫
肮脏秘密俱乐部
182tv观免费现看
张津瑜视频夸克
美空ayaka
大菠萝导航福建APP网站进入404
精品卡一卡二新区仙踪林
草草最新发地CCYY备用
男朋友c的时候都说什么
亚洲无人区码一二三码区别图片
日本正能量不良网址直接进入
鞠婧祎打扑克又哭又叫视频大全
京东天美麻豆果冻传媒
车文超细过程作文
原神八重神子被捅到流口水的游戏
桶三十分钟全教程视频
女教师的荡欲小说全集
家里没人跟奶奶做
蝴蝶传媒视频无限观看三次
女生让男生玩诵自己的游戏
变态生理研究班
写错一道题就让学长干一下的视频
ZLJZLJZLJ水水多多
公主殿下LOVELIVE在线观看
用...用点力一点快到了
放心我只在外面蹭一下文字
吃鸡把是什么口感
妈妈的朋友2在线观完整版看中文字
男人和女人在一起怼怼怼的大全
春雨直播免费直播视频
小米和爷爷和爸爸宴会
公么天天吃我奶躁我
高岭之花必须喝JING续命海棠
精东传媒vs天美传媒合作
软糯小受灌满哭求饶BL道具
老师的小兔子好软水好多动漫
美国ZOOM人狗APP一欢迎你
斗罗大陆女生去掉所有服装
18款禁用软件APP花季传媒
用......用点力快到了
老师的玉足伸进我的喉咙里
你把腿开大点就不疼了
男朋友咬小兔兔是应该怎么回应
我年轻善良的继4
诱人的女邻居9中文观看
ig夺冠了就让草
麻花传MD0174沈娜娜
向着小小花蕾深处前进讲的是什么
俄罗斯VODAFONEWIFI巨大
YSL水蜜桃86
对准了自己动不然不给你下一句
丝瓜草莓榴莲深夜释放自己
半夜装睡配合孩子
猛撞H花液H深
家用摄像头都被盗拍视频集锦
流了这么多还嘴硬这是在车上
purhub入口
国产精华液1区2区区别大吗
麻豆传煤官网APP入口免费
开始妈妈不愿意
男朋友找别人一起上我
以性作为考试的学校
把女朋友弄成小喷泉是什么意思
FRXXEE中国XXEE医生
寂寞夜晚看免费视频
忘忧草.WYC.IA
错一道题就往阴里装一支笔
小诗的玩具日记笔趣阁
没有我的允许你一滴也别想尿出来
斗罗大陆小舞大乱斗交大游戏
腿再开一点我就可以吃到扇贝了
朋友把我玩成了小喷泉
老头猛地挺进她莹莹的体内视频
精产一二三产区别在哪里
不再是朋友的夜晚动画樱花
后营露营无增减
夜晚双人做的扑克视频教程视频
韩国床震无遮掩视频
麻花传媒XK8046在线观看
走路还在体内恶意顶
舌头伸进去添好爽高潮
果冻传媒广告网站入口
两个家庭换女儿玩
人性短片30分钟
雷神ちゃんが部下を麻烦
羞羞漫画破解版免费阅读网页版
GAY大陆年轻帅小伙2022
晚上开车有声音又疼又叫
FREEZEFRAME丰满少妇
ZOOMSERVO兽狗
厨房做剧烈运动视频扑克
男生把自己的qq放入女生的qq里
缅北14may18_XXXXXL56endian
朋友的闺蜜免完整版
李燕刘国栋羞答答的那些事
WRITEAS两根性器
学长教我做题错一题就放一支笔
ed2k 超市
ピースエロじ天堂资源
王者荣耀女英雄被捅的流眼泪翻白眼流口水
中国VPSWINDOWS野外农民工
路虎车内激战2小时
日本牙医赤子板栗免费
久久精品AV麻豆
国模冉冉私拍大r.5
东北大坑原始欲爱
警方调查黄金鲍事件
校园春色武侠古典系列
日产乱码一二三区别免费
世界上最大阳器有多大
动漫RH男1做0车车的车车视频
乳头是软的百分百没怀孕
草莓视频app下载安装免费无限看-丝瓜ios
宝宝这才几天没做水就这么多
拔萝卜怎么才能流出豆浆
儿子一晚上要了我三回怎么办一
迈开腿往里怼冰块双男主微
客厅H伦亲女小芳小雪图片
爆乳家政妇 肉感的身体
日本vtuber在b站的钱
老师你的兔子好大好软水的作文
蜜桃成熟时1997qvod
青娱极品盛宴国产分类细腿
小SB是不是欠c了h
深度开发1v3阅读
yinseyinxiang
王者荣耀黄化网
14岁学腿迈开腿打扑克正常吗
伊援中文日产幕无线码6区
祝英台遇到马文才在哪可以看
你信不信我现在做哭你
brt快速公交
b站免费建网站
把腿再掰大点就能吃到贝壳
大白屁股缝里浓黑的毛
老婆说她想尝试多人怎么回复
新龙门客栈2龙门飞甲
可以教育女犯人的游戏
love可儿的秘密花园
才三个指头就撑不住了
XL上司带翻译免费樱花车
adc影院0adc在线
当兵的一天弄了好几次
夹枪带棒1v2舒明明黎远
51DADOU大豆行情网
电车之狼r完美存档
接了一个30厘米长的客人
日本水蜜桃身体乳的美白效果
晚上开车又疼又叫的声音
黑人荫道BBWBBB大荫道
最近2018年中文字幕手机视频
站着被口是一种什么样的体验
趴窗户上做给对面看
好姑娘7免费高清观看
BGMBGMBGM老太太毛多多视频1
免费3圾片在线观看
国精产品1688在线
甘雨被盗宝团挤椰奶图片
中日韩一卡二卡三卡四卡
青梅不经c1V1玉米
父母儿女媳妇一起来
美丽姑娘高清日本版图片
早就想在公园要你了
破了英语课代表的处视频动漫
爸爸缓慢有力挺送女儿的话
我们三个人搞一个人啥感觉
处处吻全程拉丝舌头
一手抚大 阿司匹林
女生喊疼男生越往里寨的游戏娱乐
2014年5月里番合集
男朋友晚上都是怎么玩你的
外网张津瑜视频在哪里看过
倒插莲花是个什么动作
无码视频专区曝光16人被判刑
魔道祖师大尺寸污图
初次见面4秒就合体
一线产区与二线产区的定义
全身按摩被按摩师添下面
原神申鹤乳液xman天堂
超帅CHINESE直男飞机
精产国品一二三产品区别
外公总是在妈妈身上
两个大兔子抖来抖去的图片
两个师傅一前一后完整版
卫生间6分35秒
我儿子比我老公的大
美国ZOOm人狗欢迎你
赴约际慈 PO
超碰国产视频免费播放
中国小鲜肉GARY网站有限公司
芭乐鸭脖向日葵芭乐鸭脖旧版
4P轮换爽舒服
在体内横冲直撞就是不出来
无人区码一码二码三码图片
japonensis成熟大豆
旮旯村的那些闹春事儿
儿子一晚上要我三回怎么办
一支笔C哭自己
成人免费在线电影
离婚后干前妻什么感觉
C到她乖黑暗森林小说笔趣阁
红酒瓶塞住不准掉下来
xiaav论坛因你精彩
在线观看黄页网站大全电影天堂
坐在根茎写作业好吗
两个吃上面一个人下试看
READ[长弓燧龙] 甘雨 (原神)
把筷子放屁眼里不能掉的作文
ati radeon hd 4350
精产国品一二三卡区别
乱码一卡二卡新区永久
WRITE AS 公共场合
上边一面亲下边一面膜的注意事项
男人喜欢水大还是水小的
梅花三弄多肉的糙汉B1H古文
蜜芽忘忧草二区大豆行情网烧仙草
父母儿女媳妇一起来玩的说说搞笑
野花高清在线观看免费官网中文版
中国帅哥Gary
免费剧烈运动扑克网站
男生和女生污污事视频
装不下了好烫要溢出来了欢迎
娇妻两根一起进3p视频
一层一层剥开你的衣服
坐在腿上吃饭连在一起
男生往下边塞冰棒是一种什么体验
亚洲精品一卡2卡三卡4卡5卡
教官脔到她哭H粗话H
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1