有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
把腿抬高点添的才舒服总裁
冷廷遇简夏飞机上做246章
打扑克直播软件APP免费下载安装
三公主babygirl
GAY引诱服务生COM2O22
公交车上要了无数次
国精产品一区二区三区
年轻女教师6在线播放
鲁大师WWW好看
儿子一晚上要了我三回怎么办呢
印尼女性rapper
老湿机影院试看十分钟
二人世界拔萝卜
日产乱码一二三四2021在线
原神甘雨被空C出白色液体
精产国品一二三区别9999
CEKC老妇女CEA0
超污的开车过程句子描述作文
原神八重神子被捅出乳液
快手王多鱼被C视频完整版
日本HDMI2.0高清线339933
WRITE AS 导尿
中字乱码一二三区别视频
人物动物交互第ll0集
樱花味仙流白浆福利姬
得到超级肉禽系统的小说作者
粉色视频APP下载安装无限看丝瓜苏州
甘雨ちゃんが部下を腿法娴熟
原神ちゃんが腿法娴熟を
情侣打扑克做运动
亚洲videosgratis.tv0.
17一18俄罗斯een
精产国品一二三产区999999
我们三个人一起要你行吗
开车视频疼痛有声音水水
棉签和冰块弄出牛奶视频
激战2奶玉组合技
解放的潘多拉 bt
45岁沈阳阿姨喷了好几次
泰国淫乐园实录
女人扒开双脚让男人捅了
水蜜桃文化传媒有限公司
网站你知道我的意思的www正能量
麻豆传播媒体网站入口官网下载
甘雨去内布料开襟XMAN
羞羞漫画登录页面免费入口页面
无人区乱码与二码通的区别
rosi视频001
喷泉H1V3HL慕深
艳娒1一6全集在线高清
9uu.cm有你有我
ZOOMSERVO兽狗
放学被几个人拉到没人的
槽溜2021入口一二三四绿巨人
单身男子俱乐部
无人区乱码三卡四卡
女头部位大胸头像
国亚洲一厂区二厂区三厂区
国模露露客厅沙发
FLUFFINGADUCKKEVINMACLEOD
言教授要撞坏了第二季笔趣阁
扣自己的正确手势图9个
来自俄罗斯的美国女RAPPER
金瓶瓶之爱的性奴2
草草最新发地CCYY备用
freex性欧美xvideos
我成了班级的发泄玩具的作文
无人区码一码二码三MBA智库
魅力研习社避孕套
日本精品一线二线三线区别在哪
日本一姐RAPPER潮水
地下室偶像SANA未增删带翻译
用注射器打水放屁眼里的视频网站
艳娒1一6全集无删减版
88369游戏
果冻传媒MV免费观看大全
把跳D放在里面跑步不能掉作文
张津瑜再次狂轰6分29秒
另一类ZoomVCR
男按摩师用嘴亲我下面口述
我早就想在公司要你了视频
萌白酱JK白丝喷水视频在线
孕妇RAPPER潮水偷轨
幸福宝8008app隐藏入口
哈妮克孜18秒烧毛
多人WRITEAS
hdool高清在线
打扑克视频用点力有声音
三根一起会坏掉的好痛红梅
见一次面做3次超详细
日韩欧洲亚洲SUV
三个人一起玩3Q详细经过
高清观看ZSHH96的视频素材
伦理在线看年轻的母亲4
撩到女生下面流的句子优秀80句
张津瑜 VS吕总卫生间
男朋友压着我说想进去
好男人视频社区2019
济宁郑媛媛ed2k
中国XXXXXL免费
精产国品一二三区别
宝贝儿你看看它有多想爱你观后感
MD0076沈芯语老师
前一个后一个会撑坏的
麻豆传煤网站入口直接进
中国XXXXXL19
吃女朋友的扇贝细节
黑暗正能量INDEX.PHP
爸的比老公大两倍
吃饭时某处紧密连接
丰年经继拇中文2特色介绍
极品Y荡人生白柔柔
无翼乌老师漫画漫画全集
男车车好快的车车视频真人
AAA国产大陸片
和搜子同屋的日子2国语中字
《着迷》 阿司匹林
我可以触碰你深处的樱花吗
濡湿的车站未增删带翻译
母亲とが话しています第一
坐公交车日了两个小时文章
男朋友C你的时候怎么说你
咬住下唇动漫在线播放完整版
漂亮妈妈6未删减
XZL仙踪林中国大陆
97ai蜜桃欧美图片
95w乳液78wyw永久
仆人犯错把筷子放屁眼里不能掉
魅力研习社吹避孕套
为什么把腿开到最大就不疼了呢
美女扒开尿口让男人桶进
又是母亲又是老婆
精密导航agv
疫情期间日老妈
宝贝怎么还没适应我的尺寸
国色天香精品一卡2卡3卡老狼
抖音C人版奶片7028
女生戴上小玩具调到10档的玩具
王爷扣腰撞入体内
M惹主人生气后该做什么
狗狗的大东西在人里什么感觉
幸福花园 纤细的爱
幸福宝8008隐藏永久入口
糖心VLOG小桃内射频网站
太凶猛了快撞烂了
老公和兄弟一前一后攻击
宝宝我们去阳台做一次试看
八尺大人动漫在线播放无码
日本无人区码一码二码三码四码
甘雨ちゃんが人気の原因
蜜桃麻豆天美星空传媒
办公室的交易HD中文字幕
JAPONENSISJAVAHDTV360
男男车车好快的车车真人免费网站
没做过的能放进几个指节
胸大的姑娘播放动漫视频
腿张大点就能吃扇贝了
王者荣耀瑶嘴巴里含着铁球流口水
精产国品一二三产区区別
帮英语老师疏通下水道
魔弹之王与战姬漫画
动漫人物去掉小内打扑克A
一个人偷偷看B站
cf孙尚香正能量视频
一个一个轮着CNP
仙踪林进入地址老狼
5G天天奭多人运动最新 网址
黑料网独家爆料免费吃瓜
在落地玻璃窗前插
你们对象都是怎么扣你的
刚开荤的女孩子是不是收不住
爱唱歌的大姐姐
51精产国品一二三产区区别
魏晨破赵奕欢的处图
国产一线产区二线产区
一面亲上边一面膜下边打扑克
OG日产精品一卡2卡三
离婚了前妻还让搞她什么意思
公交车最后一排被群C的文章
性能之巅第2版和第1版差异
小东西你是想绞断我吗
中文字幕 日韩 无码 在线
最近更新中文字幕
一码卡与二码卡的区别
第16话想进来就努力吧欢迎你
快猫5.25最新破解版.APK
妈妈的朋友7完整视频有翻译木瓜
善良的妈妈2观整有限中字
小东西才几天没做喷的到处都是
my pico 女装少年
成品人和精品人的区别
美国十次啦超级大导航
小泽玛利亚 种子
国精品产品推荐
迈开腿让老师尝尝你的森林
张津瑜和吕知樾事件
WNTPPS偷窃小便
公交车撞到最里面去了视频
欧美RAPPER潮水一欢迎您
妈妈的朋友6整视频有翻译木瓜
JEALOUSVUE成熟50MA欢迎光临
叔叔说我体内有虫子
嗯啊乌龟蹭你的扇贝
姐姐的朋友中线字
体育课没带罩子让捏了一节课
离婚后和单身父亲做
电车之狼r完美存档
迈开腿让我看看你小草莓
10tpu色母与pa6色母
宝宝把腿开大一点就不疼了
让男人硬起来的网站
chunnuanhuakaixingba
妈妈的爱第一章
诱人的女邻居BD在线观看
无限免费观看在线直播
火影忍者禁图h大全
双指探洞感觉要飞了
情侣做运动的动态表情包
俄罗斯ZOOM与人性ZOOM
暴躁老阿姨csgo攻略大全
色母u6与pA6色母区别
闫凤娇厕所门事件
列车上的小黄说说1000字
课代表没带罩子给我抄了一节
离婚跟儿子搞过吗
男生说想吃我的扇贝是什么意思
大象W灬源码1688
涩涩屋草莓榴莲绿巨人秋葵
北北北砂王者荣耀完整系列
捧小伙人帅吊大GAY
女朋友在上方会摇是什么体验
W永久939W乳液66
把跳D放在里面跑步不能掉
china中国青年gary外卖抖抖
细讲男朋友是怎么c你的
YW.8827.龙物视频永不失联是多少
傻大壮长着驴一样的东西
校园纯开小黄车小短文300字
野花视频免费手机版
日本一线产区和韩国二线产区区别
西施的乳液怎么样
含羞草卡1卡2卡三卡2021精品
云缨巡街北北北砂禁温漫天堂网址
各种姿势玩小处雌女TXT视频
无人区码一码二码三
小婷又嫩又紧又滑又多水
赵玉梅在灶间放弃抵抗
英语老师给我吃她的小兔兔
引导狗狗干自己哪里
YEEZY700好硬
proumb18
47最大但人文艺术摄影
JEALOUSVUE进不去
W永久9392W乳液
等不及了先做一次
国精一二二产品无人区
班级公共玩具叶渺渺
闫凤娇厕所门事件
精产国品一二三区别9
老师家里没人你用点力好好快软件
我女朋友的母亲15完整视频有翻译
桃花社区在线观看
你看你的水喷得到处都是若若
肉多车速快的推荐
27报女上男下动态图GIF图
男女性杂交内射女BBWXZ
三年片大全在线观看免费观看大全
98精产国品一二三产区区别
办公室娇喘的白丝老师在线看
第四色网站主页
法国艳妇LARALATEXD
门卫老头吮她的花蒂的导演是谁
我被当成发泄玩具一天的作文
极品家丁百度云
麻豆精产国品一二三区别
群臣在朝堂上c皇上
把棉签放屁眼里一个晚上
我尿在肚子里好不好
污网站wallpaper共享人可以看到订阅吗
AIRMAX97杂交
被窝里可以怎么玩自己处
为什么把腿开到最大就不疼了
51漫画免费页面看漫画弹窗
儿子一晚上要了我五回怎么办呀
健身私教弄了好几次
中国日产乱码无线码
草榴新时代的我们
汤姆影院TOM转入接口
宝宝把腿开大点就不疼了
老师家里没人你用点力视频
在女生身上滑滑梯是什么意思
今日小鸡庄园答案
迈开腿尝尝你的草莓是什么味道的
99精产国品一二产区在线
对象给我看他的鸡
chinesefree普通话对白
男生插曲女生视频完整
ssni 409
一口一口把奶从胸口吃掉B站
不再是朋友的夜晚樱花网
南京交通职业技术学院刘梦亿
性工作者十日谈
丰满年经的继拇9M
小芳乱目录伦7
清恋 seiren
我坐在学长的鸡上写作业作文
秘密教学10话我需要灭火
YIN荡公交嗯啊校花蒋舒涵
张开腿我尝尝你的草莓
王者李白吃王昭君的下面
丝瓜 草莓 秋葵 榴莲
无翼乌无漫画3d无遮
19岁潮水RAPPER欢迎您
不顾一切地进入
日本高清哔哩哔哩视频
麻豆传煤网站入口直接进
中文精品一卡2卡3卡4卡国色
一边面膜一边燥的视频
和闺蜜一起出门带电动玩具
我和小堂妺的第一次
横冲直撞霸王花
爱情鸟免费论坛一
麻豆我精产国品一二三产区区别
欧亚专线s码和w码入口
bbox撕裂bass后门
c了一节课体育课渺渺
网站你懂2018
云缨拿枪奖励自己图片
坐在爸爸的JI巴做作业
pinsetangluntan
三公主babygirl
SB就是用来C的
老师不行太大太长了漫画
成都4片P完整版免费视频
怎么自己自W教程
亚洲卡2卡三卡4卡2022老狼
医疗室play道具走绳结
把女的弄的第二天走不了路
日本漫画工番口番全彩免费
狗狗又烫又大又长
原神人物黄化网站
冷廷遇简夏飞机上做246章
亚洲XXXXXLMEDJYF邻居
哎呀哎呀在线观看视频高清国语
差差差很疼无限在线观看
年轻的母亲5 免费完整版中文版
甜蜜惩罚未增删带翻译整集带翻译
岳故意装睡让我挺进去的视频
三个弟子合力弄师父
手机调成震动夹在中间
晚上睡不着偷偷看B站晚上睡不着
精品亚洲卡一卡2卡三卡乱码
好满射太多了装不下了免费看
海角HJ9DB5免费进入
我妈妈的朋友8在完整有限中字木
6080伦理线 2019
聂小雨黑皮衣5分多钟视频原版
岳把我用嘴含进满足我视频
苍老师最后一次
班长是全班的玩具第三章
虫虫漫画页面在线阅读弹窗
白俄罗斯RAPPER潮水
精产国品一二三区别9977
家里没人我哥把我做了作文
一面亲上边一面膜下边文字表达
麻花传媒MV一二三区别在哪里看
XZL仙踪林一区
法国高压监狱灭火宝贝是谁
邻居把我弄的高潮三次面舞
樱桃视频首页在线观看
新疆女RAPPER18岁RDFJFTTIK
打扑克视频又叫又疼
妈妈的职业中语版在看
宝贝乖张腿疼你
冰块和棉签怎么弄出牛奶视频
女子初尝黑人巨嗷嗷叫
同桌上课打开我的腿放震动蛋
输了让对方随便处置作文1000字
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1