有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
可以随意触摸内部位的rpg游戏
菠萝菠萝蜜一区别1688
仙女棒坐着使用图片
老友鬼上身国语
WRITEAS 灌水
上面一边亲下一边面膜是什么材质
撕裂BBOX入门头交
奥利给吃粑粑原视频
朋友把我玩成了小喷泉
免费中国最大但人文艺术
APPSTORE美区免费2023
野花视频最新免费观看3
我们结婚了世界版中字
人畜禽corporation
他日得我走不了路
国产尺码和欧洲尺码视频
公交车上的诗绵抱着孩子
日本朋友把我玩成喷泉状态
穿戴式跳D放在里面坐公交车
一面亲膜上边奶一个膜边
麻豆传煤网站APP入口直接进入在线JIAN
每人C我半小时
双龙进洞夹心饼干
重生之填房桐娘
王二傻的桃花运
欧美三圾片在线观看
聂小雨视频3分25哪里能看
年轻的母亲6在完整有限中字
开心五月四房播播
国产A1A2A3
潘金莲扬思敏全集1一5集
家里没人就让你弄一下
51fun吃瓜站
男团共享物by不必南下txt
高清无码成本人视频
韩国VS日本中国VS美国学生
在县城开零食店春节能卖200万
最近更新中文字幕第1免费版
嫩草研究所入口一二三四
柳箐箐人体艺术
中文在线4月4日快速反弹
性工作者十日谈
SLG像素风黄油纸巾盒大全
戴自动蝴蝶去上学不能掉出来作文
Zoom人与Zoom大吗
腿再开大一点就不痛了
打开腿吃你的扇贝
一边亲着面膜胸口
在没人的教学楼里做老师
被学长抱到没人的地方怎么办
漂亮的小峓子中字巴巴鱼汤饭
东北老女人大叫爽死啦
一面亲上边一面膜下边
车子一晃一晃正好掩盖我片
男生和女生晚上玩滑滑梯
沉香产区有无一线二线的区分
黄色软件免费下载3.0.3每天无限次vivo版破
你老公晚上都是怎么玩你的?
老公不在儿子当老公妈妈帮
贺朝用笔把谢俞捅哭
弄完作业是不是该给哥弄弄了
野花视频在线观看免费观看最新6
一次又一次的索要
越南美女内射BBWXZ
AI人脸替换忘忧草1区3区网页
母亲6免费完整高清电视剧在线看
被学长抱到没人的地方小工具
不知火舞3个小孩
MIGNON动漫
大炕上装睡配合弄
云缨去掉衣服黄
可播放的中国男GARY
公交车大尺寸的小黄说说1000字
鸣人九尾暴走需要女人治疗
张津瑜 最新视频
CHINA篮球体育飞机2023
大炕上的肉体乱
鸣人九尾暴走需要女人三天手鞠
TTTZZZ传送门2024
畜禽CROPROATION
父母儿女媳妇一起来玩的说说句子
污网站WALLPAPER共享人可以看到订阅
my pico 女装正太
涨精装满肚子用塞子堵住上学
三个老汉一起弄我小说
和朋友换娶妻a2020
媒豆传媒免费视频入口网站
往下边塞东西PLAY
男人忍不住挺进去了怎么回事
双杠分腿坐前进
仙女棒坐姿图片大全大图
日月干夜夜干天天天啪
两根棉签如何把自己玩哭
TOBU在线观看免费直播
李宗瑞108集在线观看
日本16岁RAPPER欢迎你
中国XXXXXL免费
超帅CHINESE直男飞机
侯马市性侵女生照片
非诚勿扰 徐莹
WRITEAS花蕊
动漫美女的禁处
郑媛媛未经处理雅照
男生坤坤放在女生坤坤里开元棋
是不是想夹死师傅
写作业坐在捧捧上面的句子
打扑克剧烈运动全程不盖被子
公交车两人双指探洞湘潭天气网
凸凸凹BBWBBWBBWBBW
14MAY18_XXXXXL56EN打开
做到你明天起不来
人们俗称的拔萝卜
宝贝坐起来自己摇
重生之祝英台遇到马文才全文免费
谁输了去谁家受罚抽阴可处置男生
老翁真厉害不倒枪
JAKEANDRICH.手冲
99西方大但人文艺术
181SKINS
好爽好多水C死你视频
亚洲VS欧洲VS美洲人口
1V3多肉玉娇香HHHH口术
幼儿交1300部-MBA智库
打女孩子PG的方法有哪些
硅胶娃娃实战图
WRITE AS腿交
被C到说不出话
穿戴式跳D放在里面坐公交车
迈开腿尝尝你的小草莓什么意思
啦啦啦免费视频观看在线BD
刘老汉翁熄系列新婚
老卫和淑嫆第一次在船上
邻居一晚让我高潮3次正常吗
大叔轻一点可以吗
长月烬明全集泄露了
野花视频韩国免费观看
十个人一起上我会不会坏掉
女人50岁半夜莲花还开吗
男生女生差差差很疼APP大全免费熊猫漫画
学霸C小混混到哭
5G天天奭5G天天运动
99国精产品灬源码1688小说
白丝脚上的浓浓的精华液
我在学长的根茎上写作业
2017夜夜干天天骑日日日
旅行者的小鸡桶进绫华的J
原神当甘雨被空C出液体
あの女の子は歌がうまいうえ
日本水蜜桃身体乳的美白效果
5分钟不间断踹息声在线听
丰年轻的继拇2中文字幕
家用摄像头都被盗拍视频集锦
赴约BY际慈PO
老头猛地挺进她莹莹的体内视频
赵奕欢魏晨亲密照
啦啦爱免费观看视频
孤独又灿烂的神 鬼怪
灯草花尚 陈玉莲
被学长抱到没人的地方怎么办
一个人被3个人同时C了书
体育课没带罩子让捏了一节课
在县城开零食店春节能卖200万
醒来发现狗狗在上我
仙踪林进入地址老狼
水拉丝了小东西怎么办
英语老师的兔子又大又好吃
国内精品一卡二卡三卡公司
警察网记者张津瑜9分10秒哪里有
深度了解1V3
tobu8美国14vdo
柳青青人体艺术图片
YSL水蜜桃86棕榈
一面亲上边一面膜下边的应用
娇妻荡女交换多P
亚州笫一色惰网站
公孙离卧床眼流泪红脸
《苹果》未测减除版
张津瑜的9分58秒7段哪里可以看
火影忍者禁图大全
中国VODAFONE粗暴
公与淑婷厨房猛烈进出视频
老公爱吃我奶奶 但有时候很痛
谢俞贺朝第一次做肉车
我的奶头被客人揪的红肿疼痛
日产一线二线三线理论
你的下面是我的饮水机
男生安慰自己的插画动漫
班级的公共玩具小O
一女战三男黑人发出惨叫
欧洲最大但人文艺术114
把筷子放屁眼里高清图片
樱花YY私人在线影院
53岁沈阳老阿姨叫的没谁了
DH-NVR4116HS-HD
YW193龙物地址
皇上撞着太子妃沈音的小说叫什么
妈妈的朋友13在完整视频带翻译
狗狗太大了我有点接受不了
Jessica Jaymes女猎人
女人讲述多人运动的感觉
大尺寸的小黄说字多肉办公室
妈妈的朋友2在线中文字幕看免费完整版
5G天天奭多人运动网站入口
男生越到最后越来越快
嘿嘿视频官方在线页面入口页面弹窗免费下载
我想吃你扇贝里的水
无尽 触手 夹 3D 粗暴H 夹
2021日产乱码网站直播
女生戴上小玩具调到10档的玩具
花蝴蝶日本大全免费观看6
WRITE AS 塞水果
腿分大点就不疼了 免费播放
体育课被老师C了一节课作文
坐下来自己慢慢摇
BGMBGMBGM老太太毛多多
W永久9392W乳液
鲁大师WWW好看
120分钟免费用机机视频
13岁能放几个笔
天美传媒剧国产剧情MV
英语老师打开扣子让我上
美式忌保罗讳1
八重神子拿黄瓜奖励
3Q大战详细经过
JEALOUSVUE成熟好妈妈
8000元一晚上破三个
alb-219
色吧有你春暖花开
青梅不经c1V1玉米
蘑菇影视 我妈妈的职业
蜜芽永不失联最新2023
ACCA少女SDANVI
夜夜爽妓女8888888视频
宝宝把腿开大点儿就不疼了正常吗
和朋友换娶妻10
BGMBGMBGM老太太毛多多视频1
夏季短袖看见女同学乳突qq
男生和女生一起差差很痛APP大全熊猫
20岁RAPPER潮水偷轨
女装正太mypico
红豆视频在线观看免费播放
填得很满是什么感觉
538pro精品视频我们不只是
大型丁香成人社区
原神雷电将军被X出液体xman
善良的小峓子字1中字巴巴鱼汤饭
菊内留香TXl金银花
国产18禁巨制揭示人性奥秘
小学六年级差差差很痛
亚1州区2区3区4区产品芒果乱码
Q14MAY18_XXXXXL56ENDIAN
搐搐国产丨区2区精品AV
身体秘密 感官世界
宝贝帮我套小雨伞的更新时间
女生吃坤巴难道不恶心吗
人与畜禽corporation中国
《上司部长出轨漂亮人妻》
爱情岛论坛网亚洲品质
2828手机福利院
再往里一点啊对就是哪里
两个人一前一后中间
八重神子失去尊严的图片
高雅人妻被迫沦为玩物电影BD
如何把女朋友弄成小喷泉
八重神子焯出白水怎么办
国精产品一区一区三区有
动漫男男车车好快的车车有
大菠萝福建网站引导入口404
你怎么这么耐c啊宝宝视频
用我的舌头搅拌着你的舌头歌
班长没带罩子让捏了一节课怎么办
翁公用舌头吃我下面
男生说要吸你的小兔子啥意思
51无人区码一码二码三码区别
SAO货腿张开JI巴CAO死我
被同桌在课桌下手指噗呲噗呲
成为爸爸的玩具
被自己家狗上瘾了怎么办
你太大我装不下你
精品日产一卡2卡三卡4卡在线
亚洲日本一线产区和二线产
凌晨三点看的片韩国
南昌一中掏脑子挖眼睛
5G在视影讯5G探花
把筷子放屁眼里不能掉的作文
男生插曲女生动漫版
傻大壮你真厉害
小S货又想挨C了叫大声点视频
韩国女主播蜜罐
多地考研成绩公布
日本边添边摸边做边爱边
日本精品一线二线三线区别在哪里啊
王者荣耀西施张嘴流眼泪图
波多野结衣系列在线观看GVG
yehualu
亚洲国产AV精品卡一卡二
一二三四免费中文在线1
如色坊防屏蔽一二三线
张柏芝殖器12图
八戒八戒视频中文
他那里早已支起了帐篷
19偷偷鲁青春草原视频
体育课没带罩子让捏了一节课
男生女生差差差30分钟很疼视频无掩盖
上课的时候突然把跳d开到最大
xiaav因你
xXXXXL2022
春暖花开xing
新铁血战士qvod
大象1区一品精区搬运机器
污到你那里滴水不止的文章
朋友的妈妈2观有限中字
美女100%露出奶子无遮挡免费观看
日本1卡2卡3卡4卡
亚洲日本乱码卡2卡3卡新区
一起差差差30分钟轮滑
美女裸全身无档图片视频教程
后营露营无增减2季
腿张大点我就可以吃到扇贝了图片
无人区码一码二码三码区
拔萝卜又痛又叫黄
亚洲无人区一码二码三码区别大吗
丝瓜草莓榴莲向日葵秋葵蕾丝
肥胖老奶奶vpswindows
岳的毛又黑又厚
岳两腿张得更开了
污到你那里滴水不止的说说长文
斗罗大陆唐三爆桶波塞西
放在里面顶着学长写作业作文
深田えいみ无码作品
宝宝下面湿透了还嘴硬怎么办
不再是朋友的夜晚动画樱花
snis-939
放荡老师张开双腿任我玩网站
zjy9分10秒分享
做错一道题学长就顶我一下
98精产国品一二三产区区别
无人区乱码一二三四是什么
你看你的水 都拉丝了
亚洲2023无矿砖码砖区
三个人玩我一个人什么感觉
圣城风云第二季
几天不C水这么多
my pico
晚娘恋欲百度影音
美国伦理小樱桃
夹住去上学不可以掉下来作文
一个人被3个人同时C了怎么办
手机调成震动夹在中间
生活大爆炸12
宝贝我跟你老公比谁的更大
每走一步楼梯就撞到最深处
9612黄桃视频播放
色降ii之万里驱魔
高铁上要了她很多次
才三根手指头就疼了小东西
野花香视频在线观看社区
国岳夫妻真实身份
一个色农夫的导航
痴汉电车3图片
老师错一题少一件衣服怎么办
《男团共享物》by:不必南下
一口一口吃掉胸口上的奶油
几天不做就湿成一片
在车里缓慢而有力的撞着
WRITEAS红酒塞
腿抬高一点就能吃到扇贝肉HD
潮湿的心HD完整版
张津瑜的9分58秒7段
欧美最强RAPPER潮水
堵好了一滴也别流出来作文
永久939W79W99W乳液
老公带我去给别人玩
51FUN吃瓜网官网
女子打扑克一边叫疼一边喊
学长的双指探洞好厉害
公嗲器好大好H
给他们轮着尝尝你的味道老周
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1