有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
YS千人千色T9T9T9T9
他缓慢而有力的撞着内容
俄罗斯zoo weeklyXXX
好男人看在线视频
斗罗大陆txt全集
美女脱个精光露出奶头和尿口
文轩WRITE. AS车肉教室
男人喜欢让你亲他私下代表什么呢
用注射器打水放屁眼里故事
宝宝我想吃你胸前的大白兔奶糖
亚洲卡3卡4卡5卡乱码精品
日韩一卡2卡3卡4卡仙踪林
淑芬大腿中间又痒了L
公交车后车座的疯狂的做细节
宝宝腿抬高点坐下来自己动
人狗ZOOM欢迎你
李z瑞事件图片
PRISON HIGH PRESSURE
为什么男生抽的越快声音越响
麻花传媒XK8046在线观看
善良的老师3完有限中字木瓜
新龙门客栈2龙门飞甲
半夜装睡配合孩子
宝贝怎么还没适应我的尺寸
放学后的优等生1未增删有翻译
亚洲卡2卡三卡4卡2022老狼
艳姆1到6集转码在线观看1
把腿张大点就可以吃到扇贝了视频
喝了酒跟我家的狗狗做了
狗狗的东西又硬又烫
一亲二膜三叉四强五注射30分钟
进入了母亲的生命之门
200hh情艺中心
CHINA中国东北GARY2022
用注射器打水放屁眼里的处罚视频
18款禁用软件APP花季传媒
狗头萝呼啦圈视频26分钟什么梗
品色永远免费堂论坛
妈妈从拒绝到迎和合
蜜芽MIYA188MON牢记永不失联
WRITE AS 轮
肮脏秘密俱乐部
春暖花开 有你cc
学校的公共公用便器
我就在外面赠一赠
18may19-XXXXXL民族
300元过夜联系方式
男女倒插莲花是什么意思啊
宝贝儿 是不是欠C
走一下撞一下深深咬合总裁漫画
班长是全班的玩具第三章
学霸坐在学渣的棒棒上写作业
maya已确认满18我们严重反对
国外产品W灬源码1688
bbass巨大
又疼又叫打扑克视频声音
车上做运动视频原声
女儿就是用来给爸爸用的
张婉悠厕所门快播
肮脏秘密俱乐部
解放的潘多拉 qvod
黑料网-独家猛料-曝光揭秘
美国VIDEOSCRIBE
欧美年轻RAPPER潮大豆行情
荡公乱妇第1章方情公憩系列大
索多玛的一百二十天
4HU四虎永久在线观看
刻晴被盗宝团捅的叫个不
乱码一卡二卡新区产品入口
老师你感受到它变大了么视频
TOTAKKAHAYAKIRIX77777
日产中文幕无线码8区
皇上御花园HLH
FULAO2官方网站进入在线观看
姬小满无限奖励别人的英雄
差差差很疼视频30无掩盖
年轻的母亲在线视频HD中文字幕
幻音 腐 肉补钙
张津瑜 6分35秒
斗罗大陆黄化图片
一个上面吃一个面吸
好诱人的搜子未删减在线观看
冷廷遇简夏飞机上做246章
小东西好几天没弄你了若若
国产无人区一卡2卡三卡4卡仙
亚洲精品国产精华液怎么样
51吃瓜热心张津瑜
玫瑰 acome
9612黄桃亚洲品质
朋友的妈妈2观有限中字
henhense
果冻传媒七夕 免费观看
BGMBGMBGM老妇视频
橘梨纱コスプレ连続激イキ
我十四岁可以放几支笔在里面
免费B站推广网站入口2023
空姐前规则高清观看韩国
人与畜禽共性关系美国
公交车最后一排被群C的细节
野花韩国视频观看免费高清8
办公室车多肉多的1V2
申鹤流眼泪翻白眼流口水应用
最近韩国日本免费观看百度
边做饭一边躁狂怎么办
你的东西比老公大得多
把腿再张大点就可以吃到扇贝了
孩子玩着玩着就进去了怎么回事儿
自w时该看的页面
抖音奶片故意走漏15秒
美国VODAFONEWIFI巨
爱情岛永久免费线路二
故意让儿子上自己
双人打扑克剧烈运动视频大全
异地见面插上两天不下来
瑶被淦的生活不能自理图片
三十种B哪个好图
男男车车好快的车车真人免费网站
为什么女的干一炮就老实了
前夫6天要了我25次
黄色软件下载安装3.3.0华为会不会泄露
WRITE AS 医生X患者
最近新韩国日本免费观看
校园纯开小黄车小短文300字
精品一卡二卡三卡四卡兔在线
马斯克回应领高薪酬
女朋友的妈妈4完整有翻译
国模嫣然生殖欣赏私拍图
三个rapper玩一个女的
金花瓶双梅花5
中文在线5月16日快速反弹
残忍cheapwindowsvps风险
缠着腰不让退出
打扑克视频用点力
桃花在线观看免费播放动漫
VPSWINDOWS另类乱
秘密教学82这次换我来教你了
吃瓜网最新官网地址
如果这叫爱情感觉会很恶心
如何弄到自己喷泉
国精产品一区二区三区有限
女自卫慰方法48图
男生把坤坤放女生坤坤里蘑菇
不知火舞3个小孩
年轻的母亲4 剧情
最近最新中文字幕MV高清在线
看了会滴水的段子
涩涩屋草莓榴莲绿巨人秋葵的特点
亲胸揉胸膜下刺激长时间时间
迈开腿让我吃一下你的小草莓
日本无人区码卡二卡三卡
平胸舞娘的隆胸日记
草棚canopen国产
半夜好用的网站
夜里100种禁用视频
9612黄桃亚洲品质
色即是空2电影下载
八重神子去内奖励旅行者
美国电影无法满足1980
30多种和合大定的姿势
女生越说疼男生越往里寒
精产国品一二三产区别手机
西施流眼泪翻白眼咬铁球图片
被同学捡到遥控器折磨
班长奖励我吃她的13的作文
三公主babygirl
日本工口里画番全彩
中国ZLJZLJZLJZLJ喷
无人区一码二码高高
99无人区码一码二码三码四码
我朋友把我玩成了喷泉
国色天香一二三期区别2023
gransremedy老太太
冰块和棉签是用来干嘛的(黄)
无套内射GIF舔B吃奶
啦啦啦WWW免费高清
漂亮妈妈5韩国2019
离婚久了和儿子睡在一起
亲爱的老师4韩剧中文字幕
妈妈跟外公在做什么
巨年少根与艳妇全文阅读
往下面一颗一颗塞珠子的故事
漾出overflow2未增删带翻译
狗狗进到里面变大了
大尺寸的小黄说说推荐
学生的妈妈双字10字
黑人大荫道BBWBBB高潮潮喷
CHINESE男男体育生腹肌网
输了下面随便处置一天
任你玩人免费视频
WRITE AS 两根
睡醒发现还在C1V1HHH
性工作者十日谈粤语
WRITE AS打哭
打扑克的剧烈运动没有马赛克
30秒不间断踹息声音频下载
2021最新一二三四五六三
老卫干淑荣完整版
怎么玩哭自己的隐私位置
扒开未发育的小泬视频
亚洲卡3卡4卡5卡乱码
伦理片妈妈的朋友中文2
俄罗斯人与ZOOM人的区别
宝宝把腿抬起来靠墙上C
51吃瓜爆料黑料官网
麻花传媒MV一二三区别在哪里
生物老师拿自己做学生的奖励
丰满大爆乳波霸奶
宝宝这才三根手指就流
在镜子面前看我是怎么爱你的
儿子好厉害妈妈要来了的说说心情
用我的手指搅乱吧2未增删翻译
彩虹男孩GARYMBA入口
麻花豆传媒剧国产MV免费版特色
我的儿子比我老公大
法海终于把白素贞日服J
开小黄车的详细描写
青梅不经c1V1
为什么舞蹈生的裆部都是湿的啊
亚洲和欧洲一码二码区别
在课上用鸡插英语课代表视频
一根筷子怎么玩哭自己
艳姆1到6集转码在线观看1
迷情娇妻第104章
日本对澳大利亚
将界2第3集完整原创
秘书的兔子好软水好
宝宝我就在外面蹭一下爱情
妈妈的朋友5线观高清
欧美无人区码一码二码三码的区别
男生说跪射是什么意思
二次元人物桶动漫人物免费
污草莓丝瓜榴莲深夜释放自己
汤加丽露生殖147图片
从校服到婚纱1H柠檬
她忘了蛇是有两根的
tpu色母能与pa6色母通用吗
里面也请好好疼爱漫画更新时间
剧烈运动摇床打扑克运动视频免费
女教师二十三歳
女闺蜜扒开腿让我CAO她
电影性的欲求在线观看
小泽玛利亚 种子
男女一边摸一边做爽爽的免费文字
追黄神器免费版
搞机TIME恶心直接打开的网站不用下载嘉兴圈
老公总是吃我的奶奶
外公抱着妈妈一起去了
麻花豆传媒剧国产MV出差
顶的人家水流的到处都是
杨思敏1一5集国语版下载地址
AI人脸替换白鹿喷水とらぶる
桃花在线观看免费高清动漫
WRITEAS骑马
电车之狼r完美存档
宝宝两根就哭男男是不是太早了
无人高清视频免费观看在线动漫
我们结婚了20131026中字
无翼乌口禁全彩漫画
人与马是怎么交流配的
市长大粗了我受不了了
前夫见我一次上我一次
傻大壮你真厉害
无翼乌邪恶全彩无挡遮
我顶开妈妈的生命上之门目录
一面亲上边一面膜
原神雷神ドラえもんのエ网站
作的女朋友叫的快哭了
三个人C同一个
如何把自己玩到喷泉视频
迈开腿让尝尝你的小鸡的视频
坐公交车最后一排让别人弄
女朋友把筷子放屁眼里不能掉
Helen McCrory三级
金瓶双梅2房奴试爱
年轻的母亲5中字巴巴鱼汤饭
国产精品果冻传媒呆梦梦
ati mobility radeon hd
TPU色母与PA6色母的区别
农场主三姐妹美国1976
cf孙尚香正能量视频
9612黄桃网站
糖心VLOG产精国品免费老
镇远螺丝桥凶宅
德国女子突击队
双指探洞过程描述文
搡BBBB槡BBBB
张津渝三部曲都在哪看
精品无人区卡一卡二卡三
全世界最好的你免费观看
儿媳妇夸我比她老公大怎么回复
一整夜没有从你身体里退出来
声声入魂hifi女声cd
善良的秘书5中字巴巴鱼汤饭
网站你懂我意思吧
孩子玩着玩着就进去了怎么回事
缓慢而又坚定的撞着
小坏蛋别带套了今天是安全期
爱情岛论坛首页推荐
男男车车的车车网站推荐真人
男生和老师一起差差差作文
黑人双人RAPPER美国大豆
日剧先生!我可以上你吗
迈开腿男人往里怼女人的做法
老师你感受到它变大了么视频
エロゲ母爱如山动漫免费观看
666西方最大但人文艺术
14MAY18_XXXXXL56ENDIAN印
YW193COC永久入口特点
年轻的妈妈观有限中字
插桶30分钟一卡二卡三卡四卡
用我要灬我要灬我要灬造视频
女儿初长成爸爸来尝鲜食品
狗狗又烫又大又长
欧亚尺码专线欧洲B1B1
坐着震动器写作业朝俞WRITEAS
无人区一码二码高高
温远温行之洗手台上做
野花视频免费手机版
最近2019中文字幕免费版视频
硕大粗长撑裂了 小龙女
上体育课课被捅了一天
略国精产品W灬
芳芳的性幸福生活18 章
忘记带罩子让他摸了一节课作文
939W乳液78WYW55
疯狂母亲在线播放
jy浇灌系统公交车
早就想在公司把你给办了
老师洗澡让我吃她胸视频
王阿姨IPHONE13
开车视频疼痛有声音水水
寄宿日记是83用深喉咙帮充电
14MAY18_XXXXXL56ENDIAN中国
同学的妈妈2中韩双字
公交车女子上演疯狂2
乳液狂飙天堂W98
至尊宝用金箍棒桶女娲
小洞饿了想吃大香肠什么意思
美国XAXWAS9977777
99精产国品一二三产品区别
品色堂永久的免费论坛
696969大但人文艺术主题
年轻老师的滋味5在观整有限中字
交警用菊花检查酒驾的文章
vodafonewifi性
几个师傅一起干徒弟
陈淑芬的两腿中间又痒了
差差差很疼视频30无掩盖
黑人荫道BBWBBB大荫道
日本1卡2卡3卡4卡
离婚姐姐说想做可以找她
插曲视频30分钟
交换朋友夫妻客厅互换4韩国
魔鬼部队完整版的播放
被抱起来C是一种什么体验
妇少水多17P密泬18P
打开腿我想尝尝你那里的水
动物和人的交配
《菊内留香》TXL金银花
爸叫我替他让妈快乐
八尺大人动漫在线播放无码
tobu7tobu8学生18
原神ちゃんが腿法娴熟を视频
公交车轮换CH
麻花豆剧国产MV在视频
三十分钟让你桶
啊灬啊灬啊灬快灬深视频直播
全美超模大赛第十二季
写得很细的开车秒湿的作文
大尺寸的小黄说说1000字
脱色摇床的视频大全
漂亮妈妈5韩国2019
丰裕纵满杨玉环2588演员表
你弄得人家里都是水的
四虎永久地域网名2023知乎
夜晚睡不着看B站
人物动物交互狗片段
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1