有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
李宗瑞性侵视频全集
瑶遇见神鹿喷白水软件
斗罗大陆txt全集
CHINESE小鲜肉飞机
熟妇人妻中文字幕无码老熟妇
旗袍全开襟双人运动
丁香花美女社区
JAPONENSISFES东北
年轻的女职工在线观看
妈妈的朋友5线观高清
我女儿的朋友3在完整有限中字
妈妈的朋友在完整有限中字
IG夺冠了就让草什么梗
仙踪林入口视频 欢迎你
麻花传媒1800在线观看免费
刘嘉玲被强奸视频
国精产品999永久中国有限公司
甜蜜惩罚2樱花未增删版
正确的进入的图片
白丝同桌让我随便玩
温暖叶非墨做肉段阳台图片
19偷偷鲁青春草原视频
孤男寡女干柴烈火类似的词语
秘密教学93话恩爱久等了免费阅读
绯闻男友发长文力挺张靓颖
小草在线观看免费视频播放
糖心LOGO免费观看甘雨
咬住下唇动漫在线播放完整版
往下边塞冰棒感觉
打烊后仅剩二人的沙龙
jmcomicron
天美传媒剧国产剧情MV公司
每次见面他都要好几次细节
我的好妈妈8中字播放
宝贝你夹得我好舒
吻胸摸腿办公视频大全
按摩师坐在两腿中间按摩
迈开腿打扑克没有马赛克
原神申鹤开襟乳液狂飙
带闺蜜出来玩被她老公说怎么回她
贪欢电影在线观看
涩涩屋草莓丝瓜秋葵
宝宝把腿分大点就可以吃到扇贝了
宝宝你能对准坐下去吗漫画
你们四个一起上我会坏掉的小说
从后面抱着妈妈突然脸一红
一线高清在线观看完整版
黑人缓慢而有力的往里挺视频
腿张大点我就可以吃到扇贝了
亚洲国产一卡2卡3卡4卡5公司
女教师二十三歳
妺妺第一次啪啪好紧WWW
忘带罩子了让他弄了一节课
吃自己的丁丁的方法
ed2k柚木提娜
男朋友都是怎么做你的
仙踪林 老狼信息
CHINEAE体育生外卖系列
如何在被子里无声自W
汤姆叔叔tom最新地域网名
夜夜爽妓女8888888视频
台湾SWAG官方网站进入方法
原神ちゃんが部下を腿法娴熟
男朋友一晚上透了我3回还想让透
斗罗大陆黄化网站直接进入
教练在车里C了我三次怎么办
嗯啊快拔出来我是你老师视频
大鱼直播app
最近中文字幕在线的MV视频
另一类ZOOM与人性ZOOM
向涟仓式献上纯洁
交换温柔妈妈的朋友在线观看
坐着震动器写作业的感觉作文
原神雷电将军乳液狂飙APP天堂
麻豆传播媒体网站入口官网下载
中文字幕看成电影乱码
2023麻豆剧果冻传媒
刚结婚每天晚上折腾几个小时
把极品白丝校花啪到腿软
日本在B站直播
售票员用b验票小镇免费阅读
压在窗户上C给别人看窗前
tobu8美国100
欧美1卡二卡三卡四卡免费
天美MD豆传媒一二三区进
yw8827龙物永不失联九幺
XVDEVIOSXVDEVIOS都是正版吗
2022国精产品一二三线
横冲直撞霸王花
残忍cheapwindowsvps风险
果冻传媒在线播放 免费观看
魅力研习社避孕套
新最终痴汉电车
md0065艾秋快递员服务品质
蜜芽域名不定更换 请及时收藏
二人扑克剧烈运动视频
最美情侣高清免费观看视频
他把跳D开关开到最大
各种姿势玩小处皱女
办公桌添的我好爽
多地考研成绩公布
精产国品一二三区别www
穿了内衣却有一半乳晕没遮住
WRITEAS太大了
少妇无码吹潮久久精品AV
春暖花开xing
男生女生一起查查30分电视剧动慢
仙踪林果冻传媒一区
为什么一加速女孩子就会哭
善良的秘书3字巴巴鱼汤饭惹
宝贝我想你用嘴做
晚上婆婆叫的很大声
ed2k 泷泽萝拉
女子高生の腰つき
孤注一掷在线观看免费高清王传君
宝宝腿再抬高一点好不好
适合女生深夜看的污一点的说说
JEALOUSVUE少归
郑媛媛未经处理雅照
男人想让你亲他的私下代表什么呢
acome玫瑰
玛雅maya 18永久
体育老师c了一节体育课作文
两个男生开车哭声声音视频
被他从身后撞得浑身散架了说
小泽玛利亚种子下载
双人打扑克剧烈运动视频大全
男生的坤坤放到女生的坤里游戏
亚1州区2区3区4区产品乱码
成品网站灬源码杏花
B站菊花PROJECT BGM 仙踪林
含羞草实验室2023隐藏入口(已更新)
宝我想你了胀的好难受啊说说
迈开腿让我尝尝你的扇贝安装
4438x最大人情
核子基因创始人张核子弟弟发声
公交车最后一排被多人C
草莓视频app下载安装免费无限看-丝瓜ios
三叶草M码和欧洲码区别
亚洲一线产区二线产区精华液
月光在线观看免费
女的越疼男的越往里寨的视频游戏
英语班长要看我的小积积
你的棒棒真的好大用了什么料
火辣辣app福引导大全内江市
江疏影2分28秒
一男一女在房间里打扑克是什么梗
善良的小峓子中字巴巴鱼汤饭视频
液体收集器系统hh的工作原理
漂亮妈妈6未删减
你终于长大了可以做了
魏晨破赵奕欢密照
善良妈妈的朋友9完整有限中字木
快手王多鱼被C视频
被公司领导C了很多次
拔萝卜全程不该盖被子
VPSWINDOWS另类极品
小船摇曳大船h
茄子 香草 草莓 丝瓜 榴莲污
玩白嫩少妇小泬高潮18P
母亲dna和儿子dna一样不
我的奶头被客人揪的红肿疼痛
江疏影口大佬照片
做得你三天起不来
把腿开到最大就不疼了真的吗
ed2k2分28秒江疏影
小东西底下都是你的水
1980美式保罗与雪莉
Zoom与人马性Zoom的区别
我朋友的妈妈9完整有限中字木
打扑克牌的剧烈运动视频真实
想吃你身上两颗的葡萄
免费BGMBGMBGM胖老太太东北
爱情岛线路推荐线路2
黑料正能量 张津瑜
体育老师C了一整节课
啦啦啦中文日本免费高清完整版一
雷电将军的乳液狂飙图片
学霸C小混混到哭
黑色的很粗很大的蘑菇头
一支笔c哭自己从自w到高c视频
仙踪林入口欢迎你老狼
花蝴蝶HD免费高清
给你下水好多下水道
麻豆传煤网站怎么下载
youjizz在线电影
实时观看双人床上做的运动扑克
污到你那里滴水的句子文案
宝宝你好会夹在车上
推荐一款污的app
同时和两老师双飞
maya确认您已年满
八重神子被捅到流口水的游戏
涩涩屋草莓榴莲绿巨人秋葵的特点
老师上课突然把跳D开到最大
hdool高清在线
啦啦啦影视韩国电影
51CG今日吃瓜热门大瓜
迈开腿让我看一下小鸡蛋视频
同时被几人C是一种怎样的体验
野花视频手机免费观看完整版
120秒免费体验试看5次
japonensisJAVAHDTV公交车
剧烈摇床运动免费观看
我的妹妹需要牛奶才能变聪明
最近日本韩国高清免费大全
男男GARY2022
少妇WWWB搡BBB搡BBB
忘忧草实验室研究所网页入口
linode日本iphone强汉视频
欧亚专线欧洲s码wmysnh48
接电话故意做加快速度故事
家有三个媳妇陈淑蓉结局是什么
日韩中文字幕推理大片
漂亮妈妈5韩国2019
鲍鱼网名区域2021
媛媛和老赵在厨房做
污到能让你滴水600字作文
感官世界下载地址
寄宿日记37你也想做吧秋蝉
老板那里是XL樱花动漫
野花免费观看高清在线观看6
男朋友压着我说想进去
把腿开大点儿就不疼了正常吗
迈开腿给我尝一下你的味道
情侣之间100种插秧法
梁医生再往下一点吃肉
C到哭不止水好多视频
梁医生 再往下一点
朋友把我玩成小喷泉了
老师办公室狂肉校花H寝室视频
男生插曲女生身全过程
打开扇贝就可以吃火腿肠
翁公半夜吃我下面
日本raPPer潮水太多
主人我错了请把它关掉角色介绍
c人入门视频教程
精东传媒剧国产MV的特点
18款禁用APP网站进入口
可以随意触摸内部位的游戏
嗯啊桌子下抽插NP
品色堂免费论坛
潘甜甜果冻传媒 在线观看
差差差很疼30分动漫免费
和平精英中女性的乳液
肥胖BBMBBMBBMBBMC
胡桃ちゃんが部下をさせて
家里没人叫大点声干湿你小说7
做错一题进去一次C
年轻的母亲6兔费线6
我要拥有你的全部下滑
老师您的兔子好软水好多
404黄台软件免费下载大禁用APP游戏
英语课代表的胸好软的作文视频
yeezy380蜜桃粉和白色
公与憩小说姚瑶大结局2020
太捧了几天没C水就这么多吧
幸存者第二十三季
老婆和别人刚干完我又干可以吗
日本工口里画番全彩
废旧工厂被流浪狗涨精装满肚
仙踪林19岁RAPPER - 八零婚纱摄影工作室
宝贝儿 是不是欠C
好儿子妈妈要快谢了
俄罗斯VODAFONEWIFI巨大
晚上睡不着想看点大人
打扑克牌的剧烈运动视频不盖被子
年轻的保姆3线观
插太深肚子凸起来了
与我同眠下载地址
打扑克激烈运动竟然不盖被子
宝贝腿张大一点就不疼了
干了幼儿园的小朋友
寒假自罚表要残忍必动隐私
あざらしそふと官网
把腿张大一点我要吃你的小扇贝
chengrenwenxue
国内精品乱码卡一卡2卡
张书记不戴套杨雨婷
Chineseboy军人
妈妈的朋友12完整视频有翻译
清清成了班级的发泄玩具的作文
S货是不是又欠C了公交车
AI换脸JENNIE向上射水
老公和他朋友上我该怎么办
魔道祖师大尺寸污图
公交车撞到最里面去了视频
淑芬两腿中间痒的厉害
404黄台软件进入网站
maya成人论坛
动物胶配方视频高清大全
男生说捅爆你的甜甜圈
男朋友问我要不要玩3个人的
中国windows野外
无限免费观看在线直播
新手自W到高C教程视频
走路还在体内恶意顶
漂亮妈妈7韩国在线观看
GARY大猛男GARY2023
全部都在那个地方在线观看
妈妈说戴了才可以
羞羞首页登录无限阅币免费
老板等不及了在车里做文章
情趣用品9quw
把英语老师按在地上抄了一节课
爱如潮水图片高清日本
把英语课代表按在地上C
欠c的玩意sb就是用来c的
多毛小姐BGMBGMBGM胖
女朋友的母亲2语字追剧易
学长能不能换个地方做工作
学渣坐在学霸的鸡叭上作文
小女儿含着巨大写作业
我是你岳...你不能
开过荤的女孩能憋几天
巨年少根与艳妇全文阅读
错一道题就往里面插一支笔作文
一边喘气一边叫疼的扑克
一个人看的视频全免费
涩涩屋草莓榴莲绿巨人秋葵的特点
BGMBGMBGM老妇
l多肉的糙汉b1H
放在里面睡觉一种怎样的感觉
玉渊谭天究竟是什么人
夹心饼干前后夹击
儿媳太美味苏暖的
艳娒1一6全集在线高清
欧美精产国品一二三类产品区别
男朋友在没人的地方脱我
学生的妈妈4中韩双字多鱼1
着迷 阿司匹林
打扑克视频用点力有声音
太大了吧唧吧唧吧唧吧唧吧唧
手不安分的探进她的礼服小作文
舌绕指探洞深深下一句是什么?
施主就让贫僧进去吧什么意思
30cm坐上去感觉是怎么样的
新版金银瓶1一5
新娘无悔的爱第二部
寒假自罚表要残忍必动隐私
国岳的前妻照片
广西柳州莫菁门
男朋友C你时会说什么
无人区码一码二码三码区别图片
日产中字乱码一二三
没做过的能放进几个指节
第一综合会所sis001
女生喊疼男生越往里寨游戏
一直按小豆豆为啥浑身发麻
你能坚持到几张不死射
日韩卡1卡2 卡三卡免费
车里一下比一下撞的狠
51成品网站W灬源码16
CLB3萝卜越勃越有劲萝卜视频
宝宝的好大我都握不住了的说说
亚洲日本一线产区和二线产
林予曦的代表作品MD0044图片
小莹客厅激情46章至50视频
无人区乱码一二三四区别在哪
多人淦一人的车图
大菠萝福建网站入口
考好妈妈随便你怎么弄
国产尺码和欧洲尺码表CCTV
日本一卡二卡三卡四卡网站99
火车上看着娇妻被别人玩
张柏芝艳门照图片
高清观看ZSHH96的视频素材
唐三插曲比比东插的不亦乐乎
为什么越往里越有劲
欧美无mate30pro巨
男生和女生一起差差差得很痛的轮滑
不知火舞被三人围攻
小黄说说1000字污
污到你那里滴水的句子文案
老师你下面好紧夹死了
一抽一出BGM免费50分
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1