有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
数学课代表趴着让我c
当兵的一天弄了好几次
缓慢而有力的往里挺送作文
精东传媒vs天美传媒合作
宝贝我不想带小雨伞了
香草乱码一二三四区别
他缓慢而有力的往里挺送文字
色心色心board
麻花传媒网站永久入口视频
学长缓慢而有力的撞着图片
高清人和猪又细又长像钻头
不知深浅PO1V2车
同学带几个人来玩我的作文
羞羞网页入口页面登陆
6月6日蚂蚁庄园答案
近親五十路六十被亲子中出
家里什么可以当阳具用
上边一个日下边一个非念啥电影
成全视频在线观看时间
张津瑜和吕知樾照片
好儿子妈妈的身体是你的生日礼物
一区二区无码精品AV
粗大的内捧猛烈进出老师下载
斗罗大陆唐三爆桶波塞西3
当着别人的面要了我
快喵app短视频无限看
小草观看免费视频播放
无颜之月我花未增删带翻译樱花
桃花社区 在线播放
可以随意触摸内部位的软件叫什
免费体验区试看120秒
俺去啦最新地址
花季app下载3.0.2黄软件怎么下载
性VODAFONEWIFI另类老少性
男人的坤坤穿进女人的甜甜圈
重生之斗破后宫
妇乱子伦交野战小说
女朋友技术太好舍不得分手
人狗锁在一起的原理是什么
妇乱子伦精品小说网
大地日本韩国电影免费看
AI人脸替换白鹿造梦喷水WWW
一个人看的高清WWW哔哩哔哩
老师您的兔子好软水好电视剧
14岁学腿迈开腿打扑克正常吗
日产日产自线一二三四2021
数学课代表趴下让我桶视频
电车之狼 攻略
男孩子淦哭男孩子视频免费
JAGNEXSMAX在日本
他疯了一样在她身上
如何引导狗狗上自己春雨医生
剧烈运动扑克牌
B不就是用来C的
糖心出品VLOG一区二区
嫩草研究所入口一二三四
抱着公主走一步撞一下
亚洲一码二码区别在哪里
小SB是不是欠c了h
差差差很疼30分动漫免费
一个人吃上面一个吃下
エロワンピースエロじ
秘密教学83话田里开机SVIP
被两个男人绑着玩
亚洲无人区码一二三区别在哪
艳娒1一6全集无删减版
暴躁CSGO妹子
随时随地都能干的学校教师
丰裕纵满杨玉环
双指探洞要喷了I
一女战三男黑人发出惨叫
久久精品一卡二卡三卡四卡
14MAY18_XXXXXL7777
公交车售票员按尺寸大小20cm
撑起伽罗的腿疯狂输入游戏
只要使点劲不行就再用点力
绝对丽奴漫画下载
欧美人与人动人物2020
日本一卡二卡三卡四卡无卡高清视频下载
日产乱码一二三区别免费公司
25岁的女高中生樱花未增删翻译中文翻译哪
王者荣耀西施嘴巴里含着口水
好男人资源在线观看高清播放免费
猫尾WRITEAS
舌绕指探洞深深下一句是什么?
军婚不知节制地索要小说
欧亚专线S码和M码的区别图片
中国XXXXXL17免费
剧烈运动扑克牌
漂亮的保姆在完整5视频带翻译
最近的2019中文字幕MV
老狼信息网仙踪林 - 八零婚纱摄影工作室
GaryWayne男男
忘带罩子让他吃
桃花社区在线观看视频播放
厨房往下边塞冰棒
公主殿下的LOVE动漫全集播放
国精产品w灬源码1h855.c
五个人一起会坏掉的小说
女装正太 my pico1
一亲二膜三叉四强五注射30分钟
白天是狗晚上是狗老公
人皇skyvs兽王grubby
他把跳D开关开到最大
蜜桃日本MV免费观看
兔子好软水好多h15
公交车一摇一晃双指探洞视频
年轻的母亲2在线高清完整版中文版
怎样用一根棉签弄自己
美国ZOOM人与ZOOM欧
137最大但人文艺术图片
让人看了想要做的文章1000字
小货SAO边洗澡边CAO你动漫
19岁RAPPER潮水偷轨
几天没C是不是又痒了网站
喜爱夜蒲1国语版
换个方式做吧未增删樱花
人与畜禽CROPROATIO一
凌晨三点看的片WWW小说
车文详细描写文字
免费中国最大但人文艺术
分手那天我们做了八次
生物老师上课亲自给我们展示自己
初中女生说疼男生继续往里寨游戏
茄子视频无限看-丝瓜IOS苏州晶体公司红
月光在线观看免费
日产2021一二三四免费
不知火舞外星人
输了让对方随便弄隐私一个月清清
欧洲无人区码SUV
波多野结衣哪部好看
青梅被从小摸到大H补课1视频
女儿的男朋友是妈妈的爱豆
免费日产区乱码2021软件
小S货又想挨C了叫大声点小
おっさんとわたし天堂官网
我尿在肚子里好不好
心动的信号4免费观看西瓜
漂亮妈妈4高清中字韩国
夹枪带棒(1V2)
欧洲最大但人文体艺术
我被开三门痛晕了
儿媳妇夸我比他老公厉害怎么办
ZO2O女人另类Z020男男
数学课代表趴下让桶我rh网站
家庭大杂乱经典说说大全
我们4个人换着玩春雨
我的好妈妈 蘑菇理论
666西方最大但人文艺术
公主殿下微臣馋了玉U势灵犀
春暖花开x吧有你
年轻的阿姨1在观整有限中字
3根一起会坏掉的好痛
坐在硬邦邦的东西上面写作业
爷爷吃我的R头
王爷扣腰撞入体内
好满射太多了装不下了
14MAY18_XXXXXL56ENDIA免费
强行挺进朋友漂亮的娇妻
上体育课课用跳D的感觉
没有我的允许你一滴也别想尿出来
野花视频最新免费观看3
男男车车好快的车车啊哈哈视频
福利卡1卡2卡3精品推荐老狼
极品教师高清免费观看中文
小蓝全球最好的钙片AG
翁止熄痒苏钥第9章
仙女棒坐着使用方法图片黄
伽罗躺床流白色分泌物怎么回事
JMComicios官方地址
当着全班人的面做到高
同桌的手探到我的衣服里知乎作文
帅气体育生GARY网址MV宏翔
涨精装满肚子上学体育课
国产mv果冻传媒
深度开发1V3梁医生不可以限
和教练在车里C了我三次怎么办啊
可以随意触摸内部位的软件叫什
你男朋友都是怎么上你的
日产精品一二三四区气温
色母UN2025
坐在硬邦邦的东西上写作业
醒来发现男人某物还在身体里
老师上课突然把跳D开到最大
国精产品一二二级
我的乌龟要进入你的扇贝翻译英文
tobu8美国100
跳D放在里面走路什么感觉
把棒棒糖放屁眼视频
沉香一线产区和二线产区的区别
4399看片HD免费
羊急了也跳墙完整版
在车里就迫不及待要你
成都4片p高清完整版视频
原神雷电将军18襟网站
荒野大镖客暴躁老太太
韩漫歪歪漫画登录页面免费漫画入口页面
GAY2022
小扫货水能么多叫出来
女生戴自动蝴蝶去上班的注意事项
亚洲一线二线三线品牌精华液
他缓慢而有力的往里挺L
无码视频专区曝光16人被判刑
不顾一切地进入
WRITE AS 尿口
开小黄车的详细描写
老卫和淑嫆第一次在船上
爸爸妈妈为什么夜里摇床还叫
老师的兔子好软水好多樱花一
男生说把你填满了怎么回答
蜜芽忘忧草768.mon.二区老狼大豆
我和公GONG在厨房日本电影
男人把j放进女人的下面的视频
写的超细的开车片段推荐
随时随地都能干的学校教师有哪些
朋友换娶妻当面
女儿的朋友3中汉字
一同看亿同看GTV
年轻的嫂子3韩版带中译
小东西把它夹住去跑步不能掉
妈妈说家里没人我们可以做
哔哩哔哩床吻戏大全
从客厅到卧室一路上做
小学六年级差差差很痛带声音
凌晨三点免费WWW
公嗲嗯啊轻点公大JI巴给你视频
WRITEAS吊带
贺朝谢俞c到哭
在被子里怎么自己玩自己无声
依依社区最新网站
男朋友吃我的小兔子图片
校园纯开小黄车长300字
在英语课上插英语课老师
大女小娟二女小妍
又疼又叫打扑克视频声音
老湿影院里面的视频免费观看
整篇都是车的文章校园
4399国语高清完整版在线播放
扣自己的正确手势图9个
吉泽眀步torrent
好先生在线观看免费完整版TV
日本美国中国韩国产
化学实验室学霸做哭学渣试管
野花视频在线观看播放在线观看6
枫牙 夏天的约定
父母儿女媳妇一起来玩的说说
年轻的母亲2在线播放中文版
原神凝光肉身待客抬腿
老师你的兔兔子好软水软件
结婚晚上怎么吃女生的小兔兔
都是同学C一下怎么了
台湾swag是什么
男朋友进入的那一刻你的感受知
长泽梓白衣浴室
一边做饭一边狂躁怎么回事
被绑在男厕所供人享用
换个方式做吧未增删动
亚洲码与欧洲码区别一二三
离婚回娘家满足爸爸
鲍鱼最新地域网名是什么2022
寂寞护士中文字幕 mp4
在车后面和岳坶做第一章
FARMSKINS进不去
类似第四色的网站
旅游和父亲开一间房间做了
VPSWINDOWS另类极品
妈妈的桃花源生命之门
张津瑜聊天记录截图
野花日本手机观看大全免费3
我的妹妹需要牛奶才能变聪明
老板等不及了在车里做文章
春潮烂漫海棠红下载
久久国产亚洲精品AV麻豆
他趴在两腿中间添我私密有事吗
黑料不打烊痞幼照片
小草观看免费视频播放
宝宝好会夹啊拉丝了
色网址大全导航
免费雷电将军乳液VX网站
14MAY18_XXXXL56ENDIAN
学校的公共公用便器
小东西他想你了给他好不好
用毛笔蘸下面洞里的水写字作文
王者荣耀云缨咬着铁球流口水
ZOOMSERVO兽狗
被男生抱着啃脖子的感觉
试看30秒做受小视频
你的小缝想吃我的大香肠
女孩子奖励自己的视频素材高清
公天天吃我奶躁我的
蜜芽miya188.mon牢记无限观看
开车越往下越疼的那种作文
将界2第3激烈视频
俄罗斯大转盘多人运动
另类极品VPSWINDOWS
描写地很细致的DOI过程
王者荣耀女英雄去掉所有服装流口水
喜爱夜蒲2 粤语
xl上司带中文翻译
9i传媒有限公司
国模李莉私拍超大尺度
宝宝放松一下进去就不疼了
嫩草研究院2021隐藏网址
星空无限传媒XK 8027我的妹妹
老板办公桌下口亲的书叫什么
肉丝库水柚子猫link管理平台
宝贝坐起来自己摇
弱点漫画21话一次够吗
男人晚上睡不着觉偷偷看b站
在车里两个男人舔我
可以看张津瑜视频的浏览器夸克
12岁女孩拔萝卜总叫痛
亚洲videosgratis.tv0.
4p被三个男的舔全过程
0adc影库年龄确定
99精产国品一二三产区区别
5G在视影讯5G探花
最新ZOOM俄罗斯
无人视频免费观看免费直播
欲望之翼完整版在线观看
是不是年轻一些水就多一些呀
花蝴蝶日本HD免费完整版高清版
吃瓜网最新官网地址
韩国风俗媚娘全套下载
在英语课上用鸡插英语课代表视频
19岁辣妹图书馆
老公朋友的媳妇给老公送生日礼物
十九岁韩国HD免费完整版
化学实验室学霸做哭学渣
接着更是发了狠的弄
清纯校花系列h文
老扒和三个熄妇
免费雷电将军乳液VX网站
双人打扑克剧烈运动视频大全
东北speakingathome
附近学生约100三小时
一二三四中文字幕
走路还在体内恶意顶
你这S货老子C死你
女人私密唇突出
教练在车里C了我三次怎么办
开车污的 女生越疼男生越来越快 段子动
语文老师塞着跳D讲课
在大街上打开遥控器开关
啊做错一题学长插一支笔
japonensis成熟大豆
三个搞你一个好不好
好老师的小兔子好软水好多
亲爱的老师6中文版完整版网盘
桃花视频在线观看完整版
一前一后三个人轮换的
小东西我们三个一起上你
夹一天不能掉晚上我检查若若
不知火舞和三个孩子之森林公园
艳阳门无删照片1400还有视频
婉莹满足了十几个农民工
什么软件可以看打扑克
没带罩子让他C了一天怎么办
人妻无码AV中文系列
人成乱码一卡二卡三四卡五卡六卡
顶级大但人文艺术视频 音乐
老狼忘忧草二区大豆
隐身在课堂里为所欲为的游戏
用手指轻轻按着小扇贝并来回移动
年轻母亲3线看完整版2019
柳岩十二星座离奇事件
跑步机上边跑边顶
自w时该看的页面
亲爱的老师4中字BD
24小时韩国免费视频高清
真人打扑克的免费软件
大香伊在人线国产中国
洗衣屋2樱花未增删带翻译樱花
他的手探到我的衣服里作文
妹妹中考前让我C了一次作文
三妻四妾完整版播放
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1