有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
第4色最新地址
浓毛BGMBGMBGM照片
阿岘洞夫人国语版
肥胖BBMBBMBBMBBMC
麻豆传播媒体网站入口官网下载
WINDOWSCHANNEL孕妇
宝贝把腿抬高一点就不疼了
宝下面都湿透了还嘴硬疼咋回事
腰不自觉的往前挺
北北北砂禁慢天堂
嫩小槡BBBB槡BBBB槡
公交车上荫蒂添的好舒服小说
搡BBBB搡BBB搡
葫芦里面不卖药千片万片你需要
没带罩子让他C了一天作文
怎么奖励自己的隐私位置
含着睡觉是一种怎样的体验
情侣房交椅使用方法图片
王者女英雄去掉所有服装不遮挡没有烟雾
为什么对象吃完奶头会变大吗
姥姥今晚都是你的
欧洲最大但人文艺术5788
每天被C醒是一种怎样的体验
行吧有你春暖花开cc
老板等不及了在车里做文章
好涨停下来要坏了
深度开发1V3全是肉
日产精品二线三线区
两个师傅一前一后上
父母儿女媳妇一起来玩的说说搞笑
仙踪林company Limited19
动漫人物不遮掩的扑克视频
才进了个头就开始哭了
MD豆传媒一二三四区入口
黑土ちゃんが腿法娴熟を视
叫女生捏自己的小兔兔的视频
什么是主题公园
我把语文课代表做哭了网站
嗯啊用力插我舔我的
BGMBGMBGM多毛老太太
日本windowsphone
去姥姥家进入妈妈身体的说说
侯府荡女H叶凝欢H
润色红叶吻蛇枝
9612黄桃视频播放
两个人的视频全免费高清
对象吮自己小兔兔的感受
国内精品自线在拍大学生
几天不见怎么这么湿
软玉娇香多肉大结局
小东西好几天没弄你了若若视频
撑起伽罗的腿疯狂输出的视频
精产国品一二三产品区别视频
二十四种阴性外貌形状
公交车上荫蒂添的好舒服口述小说
控制全校女生听从自己
日本动漫扑克牌动画片免费观看
联谊对象是肉食系警官末减版
仙女棒坐着使用方法图片黄
性一交一无一伦一精一品
女人的玉露是什么意思
一边做饭一边躁怎么回事
好儿子妈今天就是你的人
把筷子放屁眼里图片
青苹果未删减版
快四十了水还是特别多
成绩不好成为全班的坐便器
你弄得人家里都是水的
翁与小莹凌晨欢爱回乡下
xanxus霸史录
小东西慢慢感受我
无颜之月哪一集开车了
国产传媒蜜果冻天美传媒
妈妈的朋友2在完整有限中字
51cg9热心的朝阳群众
日产乱码区别免费
宝宝把脚叉大一点就不疼了
歪歪漫画登录页面免费漫画入口首页漫
十九岁RAPPER潮水偷轨
bbox撕裂bass
差差很痛app大全免费软件安全
最近中文字幕国语免费高清4
初次见面4秒就合体
LINODE日本IPHONE大全
我在游戏里被各种H
喂完大嘴该喂小嘴了
12岁女孩拔萝卜叫痛怎么办?
DASD-759
慢慢褪去了她的内衣
淑芬两腿间又痒又疼的原因
俺也来俺也去俺也射
爆乳JUFD492汗だく肉感
巨年少根与艳妇
墨燃把楚晚宁按着c
中文字幕无限乱码不卡2021
原神胡桃lsp去衣服
缓慢而有力的一下又一下
大菠萝18福建导航
男的说女的紧是好的还是坏的
做错一题就往下面插一支笔
男生说想在你身上滑滑梯
妈妈说带好套可以给我视频
亚洲VS欧洲VS美洲人口对比
男男车车好快的车车cp
淑容四次上船张开腿
双乳被一左一右吃着的
荧被丘丘人繁衍后代
一龙二美妇观音坐莲
日产精品二线三线
痞子戏子厨子下载
我的我的风流岳每2
把自己训练成小喷泉
秘密教学103我需要灭火
午夜dj免费完整在线看网
特别漂亮的媳妇和当官的朋友什么
没带罩子让他捏了一节课怎么办
男生把坤巴扎进女生的坤巴里Q
男生和女生一起差差差很痛的声音
ssni 409
迈开腿让你尝尝草莓是什么
无限挑战130406中字
男朋友把我腿打开了
吃瓜爆料黑料网站
搡BBB搡BBBB搡BBBB
英语老师没带罩子让捏了一节
每当我看见她的jk慢慢脱离
迈开腿尝尝你的草莓是什么感觉
小东西我们在水里做运动图片
永远免费的论坛
仙踪林果冻传媒一区
下面一直湿漉漉的是怎么回事
做完以后放在里面睡觉的效果
父母儿女媳妇一起来玩的说说句子
王者荣耀西施嘴巴里含着口水
朋友的母亲3有限中字木瓜
亚洲一二三无人区分别是哪
公交车被弄得走不动路走不说说
精产国品一二三产区区别9977
夹看学长的巨大的几把写作业片段
高岭家的二轮花
公交车上两人双指探洞天气网
女人能进入20厘米吗
ekdv 273
狗配人怎样配马配人呢
小莹客厅激情46章至50章视频
GOGOGO大但人文艺术
在英语课上用鸡插英语课代表
月落归林 BY萝卜药
性VODAFONEWIFI
正式告别一段感情的话
YSL千人千色AE86V10
学长突然将遥控器开到最大
第一次挺进苏雨萌
中国XXXXXL 17
在教室伦流澡到高潮HGL动漫
搞机TIME的恶心软件10分钟APP不用下
夜趣福利必上官方导航
三千美男爱上我
ピースエロじ天堂资源
她忘了蛇是有两根的
初中女生喊疼男生往里寨游戏
一边伸舌头一边快速喘气音
在线观看2022GGY钙同网站
班长是全班的玩具第三章
倒插莲花是个什么动作
小黄文水多肉多推荐
X姓女RAPPER的首次亮相
唐朝豪放女百度影音
Zoom与人性Zoom1区别
C够了没有三根一起会坏掉骨科
免费网站你知道我的意思的
胡桃尿道口流出白色液体正常吗
YW193龙物新地址
亚洲无人区码一二三码区别图片
怎么玩自己的r头
又疼又叫哔哩哔哩
性VODAFONEWIFI另类
如何吃到自己的小鸡够不到怎么办
年轻漂亮的老师2中文版
最强RAPPER女潮水仙踪林
虫虫漫画在线看漫画免费弹窗页面
在教学楼里和学长
国精产品1688在线
甘雨被焯出白水视频在线看
史莱姆ドラえもんの胡桃免费
悠悠爱情药草香
我年轻善良的继4
30秒不间断踹息声
sqte-046
小S货又想挨C了叫大声点小
家庭大杂乱经典说说
夜晚睡不着看B站
漂亮的桃子5意大利语翻译
c到哭不止高黄
年轻水嫩的漂亮大学美女酒店
装A刺头怀了禽兽校草崽后
迈开腿让我亲亲你的小森林
两个男人玩一个女人
tpu色母能与pa6色母通用吗
小小水蜜桃视频高清在线观看3
我把数学课代表捅哭了
麻豆传播媒体网站入口官方
黑料正能量 张津瑜
小东西几天没做喷得到处都是
津渝视频完整版9段视频
99精品和95优品
女儿儿媳陪自己玩的心情说说
黑料网-独家猛料-曝光揭秘
悠悠爱情药草香
FREEZEFRAME丰满老师
18款禁用APP网站进入口
tttzzz传送门2023网页版
暴躁老姐的csgo心得分享视频
YELLOW片完整版高清百度网盘
男的说女的紧是好的还是坏的
深田咏美的抖音号
会夹会摇是什么意思
国产乱码免费卡1卡二卡3卡
二指探洞感觉要喷了
趴玻璃上做给别人看
女生说疼男生越有劲的APP
成品网站源码入口隐藏通道
男生和女生一起错错错30分钟电视剧
野蛮的索取1V3冷亦寒
女星被大佬哄去多人运动爆料
寂寞夜晚看免费视频
我的乌龟要进入你的扇贝翻译英文
在体内横冲直撞就是不出来
把荔枝一颗一颗往里堆
我得到了妈妈的桃花源
无人去码一码二码三码区
大尺寸的小黄说字多肉小学生
小东西几天没做水喷的到处都是
公交车双指探洞
祺鑫河马的秘密河振动棒
暖暖视频日本版免费完整版
日本精品无人区卡1.卡
我们换个方式做吧未增删樱花
色中色board
数学课代表趴下让我桶RH网站
内衣柜办公室未增减
男神插曲女生的视频完整版漫画
939W乳液78WYW55523
一面亲上边一面膜下边美国
国产开嫩苞视频在线观看
区3区4区产品乱码芒果
羞羞首页登录无限阅币免费
《言教授要撞坏了》
被子里怎么无声自罚超疼
TOBU8美国7TOBU
打扑克又叫疼又叫痛
一码卡与二码卡的区别
在公交车上到高C
全身按摩被按摩师添下面
学霸坐在学渣的棒棒上写作业
777米奇影院影音先锋
刘氏家族内乱换全章
没做过的能放进几个指节
憋尿按压小腹肚子不让尿出来
次次到肉杆杆到底
好涨太粗进去用力快好深
他缓慢而有力的撞着王爷
能让下面滴水到爆的说说
中文字日产幕码三区的做法大全
花蝴蝶免费版高清版
桃花视频在线观看免费
线上游戏的老婆不可能是女生?
王者荣耀貂蝉喝自己的液晶视频
剧烈运动扑克牌
如果这叫爱情感觉会很恶心
走一步撞一下连在一起
全国能源工作会议
开车污的 女生越疼男生越来越快
妈妈的朋友完3电影
《玉蒲团之西厢艳谈》
用...用点力快要到了视频
女人洗澡沐浴露全身
在线国内永久免费CRM
3D姐弟关系第三集动漫
爸爸说家里没人可以C
在没人的地方被C
幸福宝8008app隐藏入口
渴了就喝水别扒拉我腿啥意思
班长哭着说不能再抠了游戏
51吃瓜热心张津瑜
最近韩国动漫HD免费观看
一个男孩子顶哭另一个男孩子图片
混乱小镇公交车售票员用
被男生抱着啃脖子的感觉
XRK1_3_0ARK无限观看IOS网站
深度按摩BY鸦鸦吃肉不吃是素笔
疯狂厨房2双人35视频
star-424
公主车上荫蒂添的好舒服
裙子底部的视野
WRITE AS 轮
XZL仙踪林精品幼儿999
俄罗斯人与ZOOM人的区别
我的年轻继坶7中字
某科学的触手姬
啊哈哈哈好长啊
写的超细的开车过程的现言
黑帮大佬和我的365日2第二部
精品AV国产一区二区久久小说
冷廷遇简夏在车上做
伊春园2023入口直达
全程车的百合推荐短篇
跳蛋使用方法图解
无人区一码二码三码区别
腹黑王爷喜当爹2
女子扒开腿让男生桶爽
国精产品一区二区三区有限公司
润色红叶吻蛇枝小说
奶一被揉和吸就想挺起来怎么回事
男朋友一晚上透了我3回还想让透
女生看了会起反应的段子
精灵の森へようこそ2
把腿开到最大就不疼了吗
深夜动态福利GIF动态图900期
把腿长开学给你吃草莓
3分25秒痞幼
女生棒棒糖放屁眼里不能掉
东北老女人高潮大喊舒服死了
2021王者荣耀天堂图集
野花视频最新免费观看3
荧被焯出白水图片
红色一片免费版
再见前任4在线播放免费观看高清
睡醒发现还在C1V1
二十四种阴性外貌特征是什么
纯情罗曼史3 动漫
yellow动漫网
精产国品一二三产区999999
动漫人物剧烈运动打扑克视频
被自己家狗狗C了
台湾无人区卡一卡二卡三乱码
两个黑人大战娇妻的小说
坐在上面怎么晃教程动画图片
车文超多描写具体
女士不遮阴内搭图片高清大图大全
4480新热首播
狗狗速度很快又大又烫
男孩子淦男孩子的网站
国产传媒果冻传媒天美
YW193龙物新地址
抽搐一进一出gif无遮挡
51吃瓜今日吃瓜入口
奶头自从被对象摸过就容易有感觉
YELLOW高清视频
WRITE AS干蒙了
美女杀手摧花狂
妈妈的朋友4线在完整有限公司中字
往下边塞玉器见客人啥意思
国产天美传媒一起又看流星雨
父子骨科多r车推荐
晒晒16岁孩子立起来的照片
中中文日产幕无线码一区
不再是朋友的夜晚樱花网
宝宝S里面好不好
俄罗斯人与ZOOM人的区别
两个男孩子开车细写
自W到高C方法
内射在线观看者也
女子学校储物柜3.0
一边喘气一边叫疼的扑克
三个人每人C我半小时的故事
年轻的朋友5中文字幕
女的越疼男的越往里寨的应用
水蜜桃秘密基地
心海ちゃんがを腿法娴熟部下
趴在办公室被老板们C
用牙齿轻吸咬小豆
日本一品和二品区别
一支笔c哭自己从自w到高c漫画
939W78W78W乳液特色
漂亮的小峓子5中字巴巴鱼汤
最近韩国免费观看HD
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1