有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
王者荣耀阿离嘴巴里含着口水
欧美人与人动人物2020
课堂上时间暂停为所欲为
边做边爱完整版3
女生男生一起差差差差带疼声
哥布林洞窟SANA未增删带翻译樱花
农场ZOOM与人性ZOOM
樱井莉亚电影下载
JEALOUSVUE50成熟MAOFF
开车视频疼痛有声音免费软件APP教育网
优质RB灌溉JY系统海棠初一
下雨天留客天留我不留
国精产品一二三区传媒公司
儿媳妇夸我比她老公大古言
同学带几个人来玩我的作文
乳液狂飙vx网站
WNTPPS偷窃小便
CEKC妇女毛多啊BN
怎么小SB又痒了
亚洲尺码和欧洲尺码区别
剧烈运动扑克网站免费
元歌和西施拔萝卜拔出血拼音
日产精品一二三四区气温
宝贝看我怎么破你的初试视频
adc欢迎您的大驾光临
免费b站推广网站入口202
宝宝乖夹住不要流出来
acome玫瑰
和老板在办公室BD 中文
宝宝在把腿敞开点一会儿就不疼了
顶的速度越来越快越
后厨剧情分集介绍
WRITEAS太大了
宝宝腿开大点就不疼了在线视频
TOBU8SKX
好诱人的搜子未删减在线观看
带闺蜜出来玩被她老公说怎么回她
开车污的 女生越疼男生越来越快动漫
在无限游戏里花式挨CH视频
美国队长3票房
顾氏双生子的玩具2V1
5G在视影讯5G探花
无颜之月我花未增删带翻译
老司机带带我高清版
妇与子乱小说目录伦
学长在地铁里怎么可以这样呢
30秒不间断踹息声音频下载
还想结婚的女人
小SB是不是又想要了H
缓慢而有力的一下又一下视频
我把英语课代表抄哭了
北北北砂王者天堂
麻豆网神马久久人鬼片
差差差很疼30分钟无掩盖视频
尝尝老师的大扇贝
怎么玩自己的r头
心动时刻简简单单的爱
HAIJIAONET海角社区论坛
塞跳d开最大挡不能掉出来作文
传闻韩国电影免费观看
日本厉害的RAPPER网站
有效投资持续扩大
情侣做运动的动态表情包
永久939W78W78W乳液
READ[长弓燧龙] 甘雨 (原神)
69精产国品一二三产区区别
51无人区码一码二码三码四码
JEALOUSVUE孕妇熟50MAOF
大叔你好坏大叔摇起来是什么歌
B越小越过稳图片
小东西几天没做水这么多
水乳交融HPO
为什么越叫他越快视频
日本朋友把我玩成喷泉状态
国产一二三四2021精字窝
快穿之女配取液之旅H
怎么样吃女朋友小扇贝
韩国妈妈的朋友观整有限中字
今日小鸡庄园答案
得到超级肉禽系统的小说
资源你懂我意思吧
扒开粉嫩小泬直接进去
男朋友几个朋友一起上我
试看体验区60秒
帐篷里的秘密未裁剪哪里有
果冻传媒广告网站入口
品色堂永久免费论坛
99精产国品一二三产
吉泽明步种子下载
欧产日产天香区
他趴在两腿中间添我私密有事吗
朋友的母亲在完整有限中字
男生说想在你身上做俯卧撑
日产乱码一二三区别免费
学长上课吃我的小兔兔作文
啊别插了视频高清在线观看
原神甘雨安慰部下CG插画
妈妈的朋友12完整视频有翻译
麻花豆传媒剧在线MV免费版特色
ekdv-273
麻豆果冻传媒新剧国产杜鹃
嬢王virgin
冰冷总裁带玉势上班
5g天天奭5g天天运动破解版
抱着公主走一步撞一下
写作业写着写着就插起来了
张津瑜视频链接1080P
漂亮的继拇5字
云缨用枪躁自己
HBFAXIA
歪歪漫画登录页面免费漫画破网页
137VT最大但人文艺术
八重神子被焯出白水图片
hm因虚假宣传被罚
岳的毛又黑又厚
附近人100元一次服务
塞跳D不能掉出来上学作文
适合夫妻看的哔哩哔哩电视剧
小东西几天没做怎么这么多水作文
天美传媒果冻传媒国产电影
漂亮的小峓子5中字巴巴巴鱼汤
俺去啦怎么打不开
浓毛BGMBGMBGM老太太
甜蜜惩罚樱花未增删带翻译
607080老太太AW
怎样把自己C到哭
在无限游戏里花式挨CH视频
津渝视频6分钟
中国小鲜肉GARY2022飞机
写的超细的开车小黄车片段
mide-007
免费体验120秒视频
天美传媒国产电视推荐
全部都在那个地方在线观看
坐在上面做的视频
被吃兔兔的感觉
2021歪歪漫画画漫画
12岁PG可以塞下多少根棉签
adc影院最新入口确认
母亲女儿女婿三人混战闹元宵
在线天堂おなあちゃんなにか
超速绯闻女主角
小格式自压原创区
秘密教学暗巷内激战
龙泽罗拉第三部
henhense
翁熄系列欲仙欲死
白丝高中生被C到爽哭视频
爷爷总是趴在妈妈身上睡觉
成年动漫3d无尽视频
97夜夜澡人人爽人人模人人喊
中国人免费高清的视频大全
CHINESE体育生东北露脸TUBE
男生的坤坤放到女生的坤里动漫
晚上坐大巴车和陌生人坐一块
人间小喷泉1V3HL慕深
jmcomicron.mic2天堂传送
老师的兔子好软有好多水
亚洲尺码和欧洲尺码区别
HD2linode iphone69
日本一卡二新区无人区
俄罗斯大18但人文艺术
免费雷电将军乳液VX网站
被抱起来C是一种什么体验知乎
深度开发1V3全是1
一二三四高清日本视频电视
男朋友在没人的地方脱我
把娇妻借给朋友泄欲
三门齐开女人疼苦吗
日本水蜜桃身体乳的美白效果
王者荣耀公孙离被捅的流眼泪
by1259改哪里了
王副军长怎样日田雨细节
看着我是怎么吃你的水
最近韩国电影片免费播放
麻花豆传媒剧国产MV的特点
夹看学长的巨大的几把写作业
梁医生再往下一点就可以吃肉了
班长哭着喊不能再C了视频作文
淑芬两腿间又痒又疼的原因
胡桃ちゃんが部下をさせて
双男主有车车的腐肉动画推荐视频
男生摸和咬小兔兔
晚上激烈打扑克
おやすみせっくす2在线观看
往下边塞玉器见客人啥意思
空庭寂寞春欲晚
打扑克是怎么塞进去的部位
徐若瑄魔鬼天使
国内精自线一二三四2021
双人床上做剧烈运动纯开小黄车
宝我想你了胀的好难受啊说说
把女朋友弄成小喷泉是什么意思
荔枝app在线汅api在免费
旗袍全是开襟做运动
ed2k 超市
国产馆麻豆天美果冻星空
王者荣耀伽罗爽上天的表情
VPSWINDOWS另类极品
为什么舞蹈生下面都是突出的
666西方最大但人文艺术
亚洲无砖码砖专区2023公司
免费网站在线观看人数在哪儿
三门齐开有多痛
姐姐说家里没人的时候可以做
XL上司带翻译
小婷又软又嫩又紧水又多
麻豆精品传媒一二三区
男生口中的滑滑梯是什么意思
公交车两人双指探洞湘潭天气网
把整瓶红酒倒入下面喝掉
你对象晚上怎么玩你
被压在玻璃窗边C
中国韩国日本在线看高清
新红楼梦艳情版
被学长抱到没人的地方
灵魂战车3王者归来
mitao123
兰州老肥熟全程露脸
2019朝国免费理论
女子半夜莲花开的表现
人与畜禽的交佩的APP
四川传媒学院情侣
丰满的女房东6剧情
火影忍者小樱强禁照
韩漫歪歪漫画登录页面免费漫画入口页面
寂寞夜晚视频观看
扒开粉嫩小泬舌头伸进去视频
老师带着跳D上课的感受
天美传媒MV在线看免费下载安装
最大但人文艺术
腿开到最大真的就不疼了
英语老师的兔子又大又好吃
你的太大我的装不下
宝贝把腿抬高一点就不疼了
696969c大但人文艺术作品
147人托人艺术
免费国精产品一品二品
燕子717新浪微博
两个男的是怎么开车的
日本漫画工囗全彩内番漫画
男朋友说要吃我的妹妹啥意思
日产无人区一线二线三线乱码蘑菇
我睡过的横店女演员笔记
小区老王的春天
伪装学渣电动猫尾巴PLAY
对象吮自己小兔兔的感受
老师下面太紧拔不出来怎么矫
日本无人区码卡二卡三卡四卡
麻豆画精品传媒2021免费观看
遇到一个会夹会摇的女生什么体验
Zoom与人马性Zoom的区别
最近中文字幕MV在线视频2018
韩国演艺圈qvod
白天躁晚上躁天天躁的治疗方法
天美蜜桃传播媒体有限公司
没有我的允许不能流出来
如何用一根棉签玩哭自己
十大B站不收费
TESTFLIGHT男人必备什么意思
圣ヤリマン学园援交日记
林静公交车被做到高C的原因
巜班长哭着喊着不能再C了
菠萝菠萝蜜视频在线3
一个人看的免费WWW高清
国产传媒果冻传媒天美
亚洲无人区码二码三码区别
贪婪洞窟H5流派攻略
班长没带罩子让捏了一节课怎么办
小SB是不是欠C
夹心饼干1V2H
小东西这才一根而已
野花视频最新免费观看3
几天没C你是不是痒了好多水
WRITEAS两根性器
八年级隐私能塞几支笔
小兔兔被男生咬着的图片
乱码一二三乱码又大又粗
自W到高C的25种图
WRITE AS 夹东西出门
桃花在线观看免费观看手机
EUTOPIA无删减版网盘
老地方在线观看免费资源
HULUWA官网在线入口IOS
两个人一前一后的动了起来
妈妈说带套可以让我做
三个媳妇一锅烩大团圆婚礼
顶开妈妈的生命之门阅读
暖暖高清视频免费
穿戴式跳d放在里面坐公交车7P
差差差无掩盖视频30分钟
叔叔帮我看看是不是有虫子咬我
今日蚂蚁庄园正确答案
最近日本MV字幕免费高清
S货水都这么多了还装教官
妈妈的朋友10在观完整有限中
放课后的职员室未增删带翻译选集
无人视频免费观看免费直播下载
百合做运动视频教程
IGAO网站在线观看
无人区一码二码三码是什么
腿再张大点就可以吃到扇贝了视频
两个月不见老公跟疯了一样
坐在振动器上写作业的感受作文
おっさんとわたし天堂
变形记化不开的网
被拉到学校没人地方C
5g天天奭多人运动 最新网站
张警官和吕总视频
三个人我是怎么C你的
爷爷夜里压着妈妈在叫疼
将界2第3集大尺视频
瑶遇见神鹿喷白水软件
CSGO暴躁小阿姨
青梅不经c1V1
双人床上剧烈运动打扑克的视频
一二三四日本高清无吗
成为人视频免费视频免费观看
客厅大伦交侩h
被好兄弟上是一种怎样的体验
丁香花大型成人社区
51cg1.fun怎么打开
哈尔滨70岁丰满老熟女
湖南高中秋千门事件
差差差不多视频30分钟轮滑
宝贝腿张大一点就不疼了
小东西几天没做水这么多作文
亲爱的老师4韩国西瓜影音
25cm坐上去感觉是怎么样的
还想结婚的女人
破数学课代表的处
福利姬液液酱流奶喷白浆
成都4片p高清完整版视频
阿娇被实干20分钟视频
欧洲无人区码一码二码三码区别
橘梨纱コスプレ连続激イキ
美女裸露双奶头屁股无裸体
菊内留香金银花原文开车
坐在学长鸡上面写作业作文
undertaleのエロ
无人区码一码二码三码图片
妈妈的朋友8观完整有限中字木瓜
一面膜上边一面吃下边免费看
大菠萝18福建导航
张津瑜 VS吕总卫生间
斗罗大陆人物黄化3d漫画
老师好涨水快流出来了说说
男生越到最后越来越快
教练把车开到没人的地方淦我
儿媳妇夸我比他老公厉害怎么办
坐公交车最后一排轮
公交车上两个人一前一后攻击
警方调查黄金鲍事件
在公交车上被蹭流水了怎么办
色翁荡熄500篇
star 424
女班长给我看她小积积作文
国外精产品W灬源码16
一下子接5个客人疼死了
同桌的手探到我的衣服里怎么办呢
皇帝往下边塞玉器见客
国产9麻豆剧果冻传媒
日本妈妈厨房与子交
七夕织女潘甜甜资源
成绩不好成为全班的坐便器
把班主任C了一节课
无人区一码二码三码区别在哪
办公室的交易HD日本
男生女生一起差差差带痛声30分钟
在裙子里面运动
为什么B越小越好玩
宝宝的棍棍可以捅捅我的下水道吗
好满射太多了装不下了短视频
同桌没带罩子让捏了一节课怎么办
写着作业写着就插起来了
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1