有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
被黑人伦流澡到高潮HNP动漫
公交车6人轮换C白月
天美果冻星空国产剧情
海角社区母亲为儿子高考解压
岳故意装睡让我进去
404黄台软件进入网站
13一14处出血视频
段嘉许把手指探了进去是什么
年轻的母亲在完整的有限公司
车文详细描写文字
成人网小儿不宜
原神胡桃去掉所有服装不遮挡
秘密教学83话田里开机SVIP
免费做运动扑克视频
老公弄我的时候婆婆看到了怎么办
整篇都是车的文章
处钕膜被捅图片
5G年龄确认永久有效
解锁情侣在床上的N种姿势
强伦姧人妻三上悠亚中文字幕
欧美三圾片在线观看
亚洲精华国产精华精华液网站
玛雅wang 发信到
西方最大但人文艺术摄影
当着全班人的面做到高
妈妈先是拒绝后是迎合的句子
一前一后的动了起来
双龙进洞夹心饼干
疯狂母亲在线播放
激荡瑜伽1V2
警方调查黄金鲍事件
WRITEAS洛温塞东西
差差差很疼30分钟无遮掩
夜里十八款禁用粉色APP
椅子一前一后都有一个木棒
合欢app下载汅api免费秋葵
迈开腿让我要吃尝尝你的草莓
今天晚上我控制不好速度
头埋在两座山峰之间
韩国女主播 ed2k
秘密教学60话好像可以照我的
宝宝把腿开大点就不疼了视频
妖精的尾巴oad7
啪啪啪视频大全高清
小乌酱百合系列黑白双丝
可以随意触摸内部位的软件叫什
被男生口是一种什么体验
妈妈的朋友8观完整有限中字木瓜
还想结婚的女人
抱着她健身房疯狂冲刺
东北老女人大叫爽死啦
哥布林的窑洞百度云资源
看着领导挺进娇妻的体内电影
安迷修被雷狮C出液体图片
11岁下面能放几支笔
怎样把自己玩出很多水
5g天天奭多人运动绿色视频在线观看
双人游戏BY春雨惊蛰
宏翔小蓝视频GY2023
日本iphonepromax70
刘氏家族内乱换全文
儿媳妇夸我比她老公大
母亲女儿女婿三人混战闹元宵
777米奇影院影音先锋
老师没带罩子让我吃了一节课
漾出over flower第二季剧情简介
我妈妈的朋友8在完整有限中字木
GAY2022空少被体育生暴菊
嫦娥去掉衣服裤子
女生给男生看自己的秘密是为什么
上课捡到一个遥控器按了一下
三夫妻进行多人运动
胸大的姑娘好看视频
999精产国品一二三产区
小东西几天没做怎么欠c了
日产乱码一二三四区别免费播放
富二代APP软件下载安装
花蝴蝶免费直播
韩国演艺圈悲惨qvod
少妇BBB搡BBBB搡BBBB
白雪公主STOYA
他缓慢而有力的往里挺送文字
去阳台试一试好不好
无人区乱码二线三线
被当成发泄玩具的一天作文
外网9分10张津瑜链接
半夜妺妺叫我满足她
哥布林的窑洞全集百度云资源
中国夫妇hometown
爱的阴暗面 百度影音
18YEARS中国
太大了小喜涨死了
国内精自线一二三四2021
最近韩国免费观看视频
jm漫画战争与和平
一晚上被高潮了八次
把腿开到最大就不疼了免费播放
撞击声和黏腻粘连的水渍声
国岳夫妻真实身份
聊斋之玉壶春瓶
欲望之翼完整版在线观看
成都4片p视频
天美传媒MV免费观看软件的特点
这两个球球一直摇晃个不停
张津瑜VS吕总视频MV完整版
一边亲着一面膜下奶53分钟
儿子比老公大晚上故意到儿子
叔父的大还是爸爸的大轶事
羞羞漫画入口页面在线登录
片多多看电影免费吗
激战2奶玉偃师带啥法印
野花视频免费高清观看
11K妈妈的朋友
小乌酱黑白双丝脚足在线看
用手指轻轻按着并来回移动的词语
88369游戏
JMCICON网页版
两个人融为一体的过程图片
黑料网-独家猛料-曝光揭秘zztt
adc影院欢迎你大驾光临
打烊后仅剩二人的沙龙
雨后小故事动态图片
明星造梦49区
女生暑假自辱下面30天计划
新兵给老兵吃鸡把照片换了
迪丽热巴AI人脸替换造梦
老扒抱着淑蓉进房间第八集视频
胸前两只白白的小兔子跳出来
皇帝往下边塞玉器见客
免费无人区码卡二卡3卡4
日漫动漫人物将机机插曲漫画软件
荔枝视频app男人影院在线观看
车速快多肉的百合
日韩天码砖区2022
玩R头的100种方式
精品手机在线1卡二卡3卡四卡
吃到自己丁丁最简单的方法
12岁PG可以塞下多少根棉签
4399看片在线看动漫
麻花豆传媒剧国产MV瑜伽垫上
前女友活儿太好一直忘不掉
丑女图片越丑越好
高嫁柳家动画片1-4
在落地玻璃窗前插
三十分钟让你桶个够
几天不C水这么多
果冻传媒MV逃亡的兄妹
不遮阴的小内搭
欧美VPSWINDOWS极品
公交车被两个人一前一后攻击
家里没人半夜就和妈妈搞
去医院面试被院长弄了
高辣H第三荷包网
爷爷总是趴在妈妈身上睡觉好不好
大菠萝福建导航进入网址
恋夜院影全部视频列表2
离婚前再做一次爱可以挽回吗
谁可以给我新版猫咪的地址
人与牲囗性恔配小说
如何用一根棉签玩哭自己
一个好妈妈2水母中字老虎
迈开腿让尝尝你的森林视频叫什么
妇女被深耕过后有哪些表现呢
老师把腿抬高我要添你下面
学渣坐在学霸的棒棒上写作业视频
讲讲第一次吞J的感受知乎
亚洲码与欧洲码区别一二三
儿媳妇以为我是她老公是什么书
中文在线4月4日快速反弹
戴自动蝴蝶去上班感受
生姜切成小块放菊花里作文
vodafonewifi喷浆
老湿机影院免费观看十分钟
污到爆的巨细文
欧美无矿砖一线二线三显卡
撕破我的奶罩 猛吸奶头电影
甜蜜惩罚带翻译
三个徒弟C一个师傅
迈开腿让我看看小草莓
国产乱码卡二卡三卡4W
朝俞塞跳d开最大挡不能掉车
免费网站看完你会回来感谢我的
男生和老师一起差差差的作文
掌中之物坐上来自己动
打扑克牌又疼又叫视频原声免费
黑人双人RAPPER剧情介绍
高铁上要她了好几次
小洞饿了想吃大香肠有限公司
错一个题就往阴里装一支笔的小说
夹枪带棒1v2舒明明黎远
迈开腿让尝尝你的小鸡的视频
tobu8美国14
南昌一中掏脑子挖眼睛是怎么回事
acome玫瑰
明星ai智能人脸替换网站
浏览器正能量网站
乱码一乱码二乱码三新区
xl上司第二季樱花未增删翻译免费
抖音故意走漏视频7028集百度云
菊内留香TXl金银花车
我和黑帮老大的我365天第二部
成品人直播大全2023
青苹果未删减版
老丁的退休生活
温暖叶非墨车内做
看我是怎樣把你C的叫出來的
丰满的女房东6剧情
小洞饿了想吃大香肠怎么办
疯狂守寡多年的的肥岳
菊内留香金银花原文开车
晚上喝酒回来和狗狗做了
tobu8美国100
2015年4月里番
丫头刚开始会有点疼
他走在街上用遥控器要我
乱辈通奷XXXXXHD猛交
安迷修被雷狮C出液体图片
自w时该看的页面
中国老太太WBBHD
学生的妈妈7中韩双字中国策
女生越喊疼男生越往里寨的真人
大尺寸的小黄说说1000字男生
餐厅小镇漫游记
品色论坛最新网址
雨后的小故事gif图
老阿姨看到小鲜肉心动幽默说说
林予曦的代表作品MD0044图片
黑料不打烊肾虚十八连入口
公交车后车座的疯狂做
迈开腿尝尝你的小扇贝
男人又大又硬又粗图片
羞羞动漫在线入口免费阅读
教学生瑜伽的时候进入
把英语课代表按在地上一顿C
快拨出天我是你母亲歌词
房奴试爱的运动
淑荣二次上船开到湖中间去
大连护士门照片
奇怪的美容院沙发
李宗视频全集下载
英语老师给我吃她的小兔兔
公交车里抓着摇曳的手环诗情
狗狗射速好烫太怕了春雨医生
我在无限游戏里花式挨CH
一支笔C哭自己
班长哭着说别再继续了
压在女朋友身上是件很幸福的事
美女护士献身取精
跟狗做被婆婆发现后拉下水
两个奶头被吃得又翘又痛
zhangjinyu视频网盘
色达天藏分女尸全过程视频
岳两腿之间白嫩的小缝
前男朋友特别大我忘不了他
4438x全国大免
高N车多肉多办公室
男生插曲女生视频完整
冰块一粒一粒往下边塞什么感觉
个子矮的女生那里也很很浅吗
爱与欲望之学园
最短的JK裙子
性VODAFONEWIFI另类
污开车作文500字有过程
精产国品一二三区别9999
每天都是被C着醒的
日本全彩绅士邪恶帝邪恶木
麻豆一区产品精品蜜桃的广告语
用电动牙刷自W到高C
夏季短袖女生乳突图片
一支笔C哭自己
只要一顶嘴就会被主人扇巴掌作文
为什么做完下面是打开的
丁香花成人论坛
第一会所sis001论坛
春天之光老周赵青
开小黄车详细描写
没带罩子让他C了一节
人曾乱码一二三四
摇床和喘气声音音频一样吗
日本rapper潮水RaPPe
歪歪漫画免费弹窗被爆出
日韩中文字幕推理大片
班长是我们班的存精器
蜜桃麻豆天美星空传媒
伊春园2023入口直达
快穿之肉糜蜜花(H)
桃花社区视频在线观看免费完整版
桃花视频在线观看完整版
和教练在车里撞了我三次怎么办啊
WRITE AS 灌满
无人视频在线观看完整版高清视频
日本插槽X8插槽怎么用的
十九岁RAPPER潮水偷轨
WRITEAS红酒塞
けんじゃたいむ八重神子
《着迷》 阿司匹林
刘嘉玲被强奸视频
最新浮力影院地扯公布
WRITEAS棉签
跟他做了1V2
开会被塞跳d开最大挡不能掉
夫妻成长日记二
刘涛下面的毛好长好长
宝玉车内玩平儿第六回
精品手机在线1卡二卡3卡四卡
催熟po1v2阿司匹林
大白屁股缝里浓黑的毛
被魔尊圈养的仙尊
抖音成长人视频B站
仍想结婚的女人
最近中文2019字幕第二页
为什么越往里越有劲视频
小蓝视频GARY2023入口
姐姐说家里没人我们可以在一起吗
和同学一天弄了好几次小作文细节
津渝视频完整版1哔哩哔哩
男朋友说要吃我的妹妹啥意思
宝贝叫的再浪点射给你
羞羞漫画官方登录页面免费漫画弹窗破解版
海角社区母亲为儿子高考解压
FREEZEFRAME丰满少妇
儿媳妇夸我比他老公厉害怎么办呀
国产无人区码一码二码三码区别
沈芯语天美传媒免费看
0ADC大驾光临未满十八岁5G
中文字日产幕码三区的做法大全
雨果 百度影音
亚1州区2区3区4区产品国色天香
仙踪林19岁大陆RAPPER潮水偷轨
扬思敏全集1一5集正版
彩虹男.2022小蓝
福利500免费导航
老师你的好软水好多的
在火车和后妈妈谁在一起是什么书
国产一卡2卡3卡4卡影视果冻
用电动牙刷放在MM位置是什么感觉
日本适合十八岁以下的护肤
男男GARY2022
抖音奶片故意走漏15秒图片评论
大菠萝福建网站引导入口404
够了够了已经满了c了
接待一个20厘米长的客人
上官婉儿的乳液狂飙视频
肥胖BBMBBMBBMBBMC
双人床上剧烈运动打扑克
糖心VLOG产精国品免费入
桃花社区视频在线播放
旗袍全是开襟做运动
不再是朋友的夜晚2
门卫老头吮她的花蒂在线观看
男朋友说你真是越来越耐C了
善良的英语老师3
京圈公主 多人运动
人狗大战JAVA代码
我的奶头被客人吸的又肿又红
最近2018免费中文字幕1页
污到你那里滴水的句子文案
原神雷神ドラえもんのエ网站
品色永远免费堂
晚上剧烈运动视频
女生吃鸡难道不恶心吗
少妇白 全 洁高义
墨燃把楚晚宁按着干
扒开粉嫩小泬舌头伸进去视频
FRXXEE中国XXEE医生
善良的妈妈2观整有限中字
我在写作业叔叔从后面
棉签play是什么东西
GARYWAYNE男男视频
青青草国产视频免费线观看
埋在体内恶意地顶了顶
果冻传媒天美传媒麻豆传
高铁上要了她很多次
一姐rapper潮水太多
高岭家の二轮花动画
如何一支笔搞自己
善良妈妈的朋友10完整有限中字木
一边伸舌头一边快速喘气图片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1