有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
体育老师在单杠C了我一节课网
日本精品一线二线三线区别在哪里
脱色摇床打扑克全身不盖被子
13岁PG可以塞下多少根棉签
囯产精品一区二区三区线
班级公共玩具叶渺渺
搞机TIME恶心网
三秒后野兽在联谊的角落里的他是肉食系
善良的妈妈5中字巴巴鱼汤饭
王者荣耀女生去掉小内皮肤无烟雾游戏
最大BBWBBW
同学故意把我的校服当抹布用作文
GC突然抽出来
ZOMBIE视频SUPREME
高清人和猪又细又长像钻头
在教室里把跳d开到最大
小舞你的小兔子好玩小游戏
虫虫漫画免费页面窗口
女朋友的母亲9中语字追剧易
八重神子雷神P图全光图片
免费B站视频推广网站2023
韩漫免费漫画入口官方
免费国精产品一二二三
ゴブリンの洞窟游戏特色
男女无遮挡吃奶gift动态图
王者荣耀瑶嘴巴里含着铁球视频
男孩子都会夹住女孩子头发
森林里的熊先生正在冬眠无打码
c够了没有三根1起会坏掉的
抖音故意走漏视频7028集百度云
燕子717新浪微博
一抽一出BGM免费50分
王者荣耀白色粘液溅到脸上图片
一二三四韩国免费观看
无人区免费一二三四乱码
成为了全学校坐便器
厨房里两只乳头被吸肿了
潘金莲高清DVD碟片
老狼卡二卡三卡四卡视频
打扑克牌又疼又叫的视频
美国队长3票房
无限挑战130406中字
穿成小团子后萌翻全世界系统
讲讲你们doi最舒服的一次
我在英语课上强干英语课代表
打开腿让我添你下面小污文
9i传媒有限公司
BBOX残忍BASS
甘雨安慰下部CG漫画在哪看
欧洲最大但人文艺术666
儿子你比你爸爸的大多了
几天不C水这么多
讲讲是如何c自己女朋友
羞羞的漫画官方入口页面弹窗秋蝉
丰满圆润大胸在线
日本一卡二卡三卡四卡在线观看免费软件
仙女棒坐着使用的仙女棒视频
男人想让你亲他的私下代表什么呢
国内精品一线二线三线区别在哪
爆乳JUFD汗だく肉感
《帐中香》txl金银花
冷潮1v3骨科
前男友又大又长我忘不了了
他的炙热在我那不肯退出
能让你流水的故事1000字
一个人高清观看日本完整版视频
年级老师的滋味4
爸爸缓慢有力送女儿的句子
吸和夹有什么不一样
宝宝是我撞进入还是你坐上来
两个人的视频全免费高清
浓毛BGMBGMBGM胖
夫妻成长日记二
拿我的妹妹做实验V2.0无病毒
好紧好湿太硬了我太爽了文字
让我们俩一起轮你好不好视频
黑料不打烊TTTZZZ入口2022
BMGBMGBMG毛太多乱码
对象给我看他的鸡
中文在线3月23日快速反弹
原神八重神子被注射不明白色液体
把腰抬一下不然我没法动
和老师C了一节课
同学的妈妈3中字巴巴鱼汤饭惹
老公弄我的时候婆婆看到了怎么办
腐烂水蜜桃NPC
王者荣耀瑶白色液体喷到脸上
4p被三个男的舔全过程
黑料不打烊最新地址入口
亚洲卡3卡4卡5卡乱码
旗袍全是开襟做运动
日韩天码砖区2022
娇吟公车系500章
最近中文字幕MV免费高清视频7
YELLOW日本官网
性情中人中文网bt
好满射太多了装不下了A
挺进绝色老师的紧窄小肉六视频
男生晚上睡不着想看B站
天海翼家庭教师qvod
他趴在两腿中间添我私密有事吗
污的你下面一直滴水的句子
WRITEAS太大了
我尿在肚子里好不好
麻豆传播媒体入口下载免费版官网
国产无人区码卡功能齐全
鹡鸰女神第1季
国产精华液一线二线三线
国产卡一卡二卡3卡四卡精品
王者荣耀瑶嘴巴里含着铁球视频
2023男男钙GGY钙站
野花视频在线观看免费观看最新6
掌中之物坐上来自己动
合欢椅PLAY春风凤鸾椅
半夜家里没人妈妈就是你的人作文
你们一个一个来我好痛
东北大坑原始欲爱
男男车车好快的车车有点污网站
男人喜欢水大还是水小的
中国体育生GARY飞机XXNN
车文doi超多描写具体
你的舌头搅拌着我的那里
金鳞岂是池中物 候龙涛
47147大但人文艺术欣赏
体育老师把渺渺C了一节课作文
宝宝把腿抬起来靠墙上就不疼了
破了新数学老师的处
喵绅HCMOIC士18
女看了会流污水的段子
秘密教学90话以后绝不再压抑秋蝉
山东龙口护士门
练瑜伽的时候进入
破数学课代表的处
女生输了给对方玩一个月的游戏
父母儿女媳妇一起来
诱人的小峓子BD中文字幕
差差差不多视频30分钟轮滑
在线高清电影理论片4399
JEALOUSVUE成熟五十
凌晨三点看的片www动漫
迈开腿让学长吃尝尝你的
免费夜间做运动视频扑克视频网站
天美传媒国产电视推荐
被同桌扒开腿用震蛋器折磨
言教授要撞坏了!
原神角色被淦网站
psp太鼓达人dx dlc
《菊内留香》TXL金银花
嘉木(1V1婚恋)
成品大香煮伊在20
张津瑜本人回应
tobu8-HD68
美女护士献身取精
日本卡二卡三乱码新区
无耻家庭凯伦和老爹的导演是谁
国产无人区码卡二卡3卡4卡网站
感受到我了吗大不大烫不烫
善良的妈妈5中字巴巴鱼汤饭
得到超级肉禽系统的
939W乳液78W78W永久73H2GA
多人强伦姧人妻完整版BDRV一
无人区乱码1区2区3区网站
跳D放在里面坐公交
做AJ的姿势视频教程大全
邻家有女韩国4
人成乱码一卡二卡三四卡无卡六卡
WRITEAS两根性器
你的东西比老公大得多
我被三门齐开了事后走不了路
男生为什么越到最后越快
亚洲和欧洲一码二码区别在哪儿
我和黑帮老大的365天第3季
当着全班的面做到高C
十九岁日本韩国免费完整版高清
女生奖励自己的视频素材高清版
年轻的保姆3线观
linode日本iphone乱子第1次
往下边塞东西PLAY
儿子你比你爸的都大
43417大但人文艺术图片
亚欧乱码卡一卡二卡新区
抖音成长人视频B站
去部队探亲一晚上很多次
新版猫咪地域网名入口下载
秘密教学第75你可以帮我吗SVIP
公交车6人轮换CH被一堆人看
老翁真厉害不倒枪
青梅竹马是消防员第一季未增删
我的兔子好软水好多樱花视频
与我同眠下载地址
国色天香卡2卡三卡4
鲍鱼网名区域2021
WRITEAS分腿
又大又长又租高湖免费
x69老师x日本
大型大巴车最后一排被轮
邻居的夫妇交换3
秘密教学90话以后绝不再压抑秋蝉
中国RAPPERDISSSUBS老大妈
chunnuanhuakaixingba
刚开始是拒绝的后来太舒服了
すん止め亀头ふたいと的含义
可以随意触摸内部位的游戏手机版
女子日系裸妆视频
优质JY灌溉系统
沈阳48岁老阿姨叫的没谁了吗
奇米四色7777中文字幕
涨精装满肚子公交车
在卫生间里打扑克
老师的手指在里面转动的写作业呢
我的妻子的姐姐2观整有限中字
道具PLAY冰块全指
漂亮老师 2韩国完整版
考的好妈妈就给我一次
53岁沈阳老阿姨叫得没谁了
免费30款禁用黄台网站
爆黑料不打烊传送门
班长哭着喊不能再C了视频作文
3DNAGOONIMATION_HONKAI
B不就是用来C的
夸我比她老公大
免费做运动扑克视频网站大全
日本1卡2卡3卡区
エロゲ母爱如山动漫免费观看
AI换脸周淑怡可以冲的
性孕交大肚子孕妇
国精产品无人区一码二码三M
王多鱼被C视频
公嗲器好大好H
厨房里两只奶头被吸肿了怎么办
雷电将军乳液voiux
讲讲第一次吞J的感受知乎
双人床上做剧烈运动
GARY大猛男GARY2023
宝宝我们去阳台做一次试看
原神胡桃N开襟乳液狂飙视频
怎么玩自己的r头
年级老师的滋味3中字视频
谢俞被贺朝站着捅哭
BBOX残忍BASS
linode日本iphone强汉视频
国精产品W灬源码1H855.
小蓝彩虹男GARY1096
男女差差差30分视频
侍卫把贵女怼树干PO
宝贝我们去卫生间做吧
洪晓芸夜半思乳时
王者公孙离爽到流泪流口水照片
ZOOM人牛OKZOOM俄罗斯
Rapper国内女rapper
GaryWayne男男
Zoom另一类ZZO0
小雪要撑破了黑人好大
在车里被撞了八次高A
刘氏家族内乱换全文
精东影业精一禾传媒观看
最美情侣高清免费
日本乱码卡新区
没有罩子的瑜伽老师叫什么
日本卡一卡二新区乱码
哪吒顶进敖丙里面
王者荣耀黄化网站入口安卓
JIIZJIIZ亚洲女人水多
玩朋友漂亮娇妻
二人世界拔萝卜
丰年经继拇中文2特色介绍
S货是不是想C叫大声点儿
穿戴式跳D放在里面逛超市的感受
小龙女只感觉那只巨大的火龙
西方47大但人文艺术
早晨起来发现下面还连在一起
吻胸摸腿办公视频大全
我朋友的年轻搜子2在线播放
美女裸露双奶头屁股无裸体
丰年轻的继拇2中文字幕
一面亲上边一面膜下边文字
男孩子淦哭男孩子视频免费
果冻传媒七夕在线看
又有一批人开始高潮了
拔萝卜 全程不盖被子拔萝卜
被拉到学校没人地方C知乎
和搜子居住的日子4
欧洲最大但人文艺术666
3是不是欠C很久了H
能让下面滴水到爆的说说
毛都没有就被开了苞在线电影
成绩差成为全班发泄用的玩具
韩漫漫画登录页面免费漫画入口弹窗
无收费看污网站完整
老阿姨在CSGO中的经典比赛
等不及了在车里就CH
性妇VODAFONEWIFI精
父母儿女一起上!
女人50岁半夜莲花还开吗
mide-007
考试没考好当全班的便器
大神同学想吃掉我 樱花
18岁末成禁止观看
母亲女儿女婿三人混战闹元宵
两个奶头被吃得又翘又硬动态图
班长趴下让我C了一节课作文
污草莓丝瓜榴莲深夜释放自己
缘之空无删减资源在线
在公交车上被JB草坏了被轮J了
欧洲无人区天空码头IV在哪在线
舞蹈区卖肉精选
仙踪林网站入口欢迎您婚纱摄影
一个人高清观看日本完整版视频
人与畜禽corporation怎么读
把极品白丝老师啪到腿软
国精产品一区一区三区有限在线
60分钟上大床
漂亮的保姆7完整版免费二
杨思敏1一5集手机版
久久这里只有是精品23
日产2021免费一区
聂小雨视频3分25哪里可以看
HAIJIAONET海角社区论坛
日本打扑克克又叫又疼
蜜源在线观看视频在线观看
全在DOI没停过的电影叫什么
公交车最后一排被群C的细节
老师在办公室被躁得好爽
芭芭拉ゃんが腿法娴熟を
和女婿发生了不应该发生的事
真三国无双bt
麻豆精产国品一二三产区别
双杠分腿坐挺身前进H
BT天堂网在线WWW最新版官网
男男GARYWAYNE
blued片在线观看高清免费
365dni百度云网盘
张柏芝的毛太茂密了
男男车车好快的车车长图
二指探洞好像要喷了一样的水
被大叔C哭是一种怎样的体验
别人玩自己隐私位置玩到哭
污到你那里滴水的说说细节
岳一夜被你要了六次
小鲜肉GARY2023飞机小蓝
把老师玩到怀孕
伦理中文字幕 - V3.2.8
没带罩子让校霸C了一节课网站
接待了一个30厘米长的客人
污草莓丝瓜榴莲深夜释放自己
中国rapper潮水孕妇
老公弄我的时候婆婆看到了怎么办
肚子里全是jy鼓起来了好难受
小蓝视频GARY2023入口
牙医姐妹赤子板栗
老阿姨哔哩哔哩b站肉片入口
爸爸的好大我都握不住了的说说
疼插30分钟一卡二卡三卡四卡
10款禁止下的软件
成品网站W灬源码伊园百度百科
我今天接了一个三十CM长的
同学故意把我的校服当抹布用
野花视频韩国免费观看
亚1州区2区3区4区产品
最近最新中文字幕MV高清在线
エロワンピースエロじ
售票员用b验票小镇免费阅读
2023钙GGY钙网站免费观看
原神雷电将军被X出液体xman
麻花传媒免费观看版特色介绍
把老师按在地下做了一节课
亚洲无人区码一二三四区别
伦理电线在2018
star-369
抖音小姐姐脱身全衣服
麻花视频V322纯净版
女教师二十三歳
男孩输了让对方随便处理自己
一本大道香蕉大无线吗
女医生私密诊所
原神八重神子草出乳液
中文字幕无线在线视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1