有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
求你把跳d遥控器关了
太鼓达人dx dlc
女生越喊男生越要塞视频
h动漫美女图片
彩虹男GARY2023入口
上课时突然把跳D开到最大
缓慢而有力的往里挺送作文
他的手抓住了我的小兔子动图
韩剧二人扑克剧烈运动
顶的越来越快越来越重
上课跳D突然开到最大视频
大孔雀和美丽姐
大陆女人内谢69XXXORG
贺朝在谢俞里面塞棒棒糖
年轻的阿姨1在观整有限中字
王者荣耀黄化视频网站入口
WRITEAS 教室
被子里怎么无声自罚隐私方法
整部剧都在真做的剧韩剧
亚洲一卡一卡二新区迎热烈讨论
快穿之c死你h
生物老师的兔子好大
SLG像素风黄油纸巾盒大全
装A刺头怀了禽兽校草崽后
果冻传媒保姆何苗蜜桃传媒
京东传媒精品jd009
原神雷电将军把乳液喂给旅行者
三个媳妇一锅烩大团圆
品色堂 永远免费
原神角色黄化网站视频下载
苏家有女2V2一蓑烟雨
书桌下的快速顶撞
我父亲的女保姆是我的首选评价
朋友把我玩成喷泉状态
魅力研习社 避孕套
吉泽明步高清种子
凌晨三点看的片免费
咬住下唇动漫在线播放
迈开腿让我看下你的小
天美传媒剧国产剧情MV
果冻服务是怎么进行的
一起差差差30分钟轮滑
毛1卡2卡3卡4卡免费
最爽的乱惀200短篇小说
双男主有车车的腐肉动画推荐视频
几天不见怎么这么湿
你的深度刚好是我的长度
APPSTORE美区免费
男朋友吃自己兔兔图片
清宫性史之名妓风流
日本14MAY18XXXXXL
坐公交车上日了2小时
晚上睡不着看点害羞日本
对镜子看我们的结合处
三个rapper玩一个女的
段嘉许把手指探了进去是什么意思
丫头放轻松让我进去
两个人的免费HD完整版直播
迈开腿尝尝你的草莓汁的作文
没带罩子让他捏了一节课怎么办
喜爱夜蒲1国语版
4个人互换着做苏霞
10种禁用的漫画软件
一次又一次的索要
一亲二膜三叉四强五注射30分钟
变态生理研究班
拔萝卜软件APP软件开发大全
精产国品产品的推荐
2016年2月里番
迈开腿让我亲亲你的小草莓
对你上瘾1V3不清水PO
我才上六年级就C过了作文
国产啪视频在线播放观看
老公老说想睡我妈
看完立马湿的小黄说说
红色一片www在线
小B就是要用来C的
97精产国品一二三产区区别
老板的办公桌BD
车子一晃一晃的就进去d
2012日本中字免费
大雨天和驾校教练在车里
乡村大尺寸的小黄说说1000字
公孙离眼流泪红脸咬铁球
父亲的东西又长又黑
md传媒免费观看在线 小说
トイレの花子さんVS屈強退魔師
我的小乖乖徐韵婷5
天降女子第一季未增删带翻译樱花
换个方式做吧未增删樱花网
被子里怎么无声自W
大陆一姐RAPPER潮水太多
对象一直咬我的奶奶不嫌脏吗
日本无人区1码2码区别
人曾交互MOUSE
5g影讯5g探花网址
把她送上快乐的巅峰
朋友的妈妈6在观整有限中字
美式1984雪莉和保罗谁厉害
三个徒弟强占师父
老公老说想睡我妈
精品一卡2卡三卡4卡三卡免费
嬢王 virgin
宝贝是不是到最里面去了
2828dy日本伦理电影
大尺寸的小黄说字多肉医生
苏家小媳妇1V3小说
我的奶头被他吸的又红又肿
宝宝把腿开大点儿就不疼了正常吗
忘忧草在线影院www日本
939W乳液78WYW55523
51精产国品一二三产区
刘耀文在宋亚轩里塞TD
WRITE AS 女生
言教授要撞坏了第二季笔趣阁
苍老师最后一次
中国vodafonewifi性
老师下面太紧拔不出来怎么矫正呢
一二三四韩国免费观看
write as 哥哥
我得到了妈妈的桃花源
一面亲上边一面膜下边的日志
昨晚太想要了就和我家泰迪
4HU四虎永久在线观看
晚夜免费禁用十大亏亏
M必做自虐羞耻行为
坐在学长的根茎上写句子
白晶晶MV果冻传媒妻子的谎言
老板的办公桌BD
什么软件可以看打扑克
优质RB灌溉JY系统海棠初一
扣那里的手势图
伦理在线看年轻的母亲4
中国VODAFONEWIFI粗暴最新版
9uu.cm有你有我
精产国品一二三9977
B级文件中文翻译完整版
宝宝的扇贝真会夹
深入交流1V3
把英语课代表做哭了视频
把你的香肠放入我的甜甜圈的
人与马是怎么交流配的
我坐在学长的鸡上写作业长篇文字
坐在学长的棒子上写作业
白BBBBBB嫩BBBBBB
蜜桃传媒天美传媒京东传媒DO
你看你的水 都拉丝了
公交车上最后一排的爱
写作业的时候和男朋友弄
天美传媒剧国产MV网站入口下载
满18点此安全转入2023
你怎么这么耐c啊宝宝视频
日产幕无线码1区
98精产国品一二三产区区
夏娃的诱惑中文版
95W乳液78WYW永久YW1129CM
中国XXXXXL 17
家庭教师剧场版
晚安おやすみせっ3在线观看3
班长笑着手灵活的调着遥控器作文
VPSWINDOWS另类乱
一边被学长撞一边写作业作文
欧美无人区码卡二三卡四卡
欠c的玩意sb就是用来c的h
疯狂的肥岳原始
比赛输了任对方看和玩部位一个月
含羞草传媒隐藏入口免下载
3个人同时玩一个人视频
美女扒开腿让男生桶白浆动态图片
三客优理论全新版
没带罩子让他C了一天作文
精品国内片67194
男生淦男生的部位
抽的越厉害声音叫的越大声音
外公抱着妈妈一起去了
班长哭着说不能再C了视频
脱mm内衣游戏
马总喜欢我的两颗小葡萄
无翼乌邪恶全彩集
换个方式做吧未增删动画樱花
刘涛下面的毛好长好长
为什么女的干一炮就老实了
我和公么中字日本电影
把它堵住不能流出来下周检查
张津瑜三部曲都在哪看
和搜子同屋的日子2在线观看K8
一边吃饭一边和爸爸
国精产品三区四区有限公司
公孙离眼流泪红脸咬铁球
69无人区码一码二码三码区别
回娘家每次他都搞我怎么办啊
真人打扑克的免费软件
18 19macbook airHDo
激战2奶玉组合技
亚洲一卡2卡三卡4卡 127
日本VTUBER在B站直播的钱
一面膜上边一面膜下边53分钟
AI换脸JENNIE向上射水
潘甜甜果冻传媒 在线观看
体育老师拉着我做了一节课视频
猫咪国外永久地域网名是什么
朋友的母亲6有限中字
公与淑婷厨房猛烈进出视频
能看到女生所有部位的头像
亚洲无人区码一码二码三码四码
亲爱的老师6中文版完整版网盘
女的说疼男的越往里寒
免费VX雷电将军乳液网站
人丑B不丑是真的吗
聂小雨视频3分25是什么内容视频
张津瑜七段视频1080P
你好我的对面男友
适合俩人运动前看的电影
伽罗ちゃんが腿法娴熟をM
甘雨哭着让刻晴停下来
坐在学长的根茎上写作业
宝宝你在车里好会夹
晚上睡不着偷偷看B站2022
做得你三天起不来
西西顶级艺术人像摄影
东北speaking
WRITEAS丁程鑫性器丰年
没带罩子让他C了一天怎么办
aeroflot
茄子 香草 草莓 丝瓜 榴莲污
被爱豆们翻来覆去1V7
椅子上放一根很光滑的木棍可以吗
后车座的疯狂运动
BGMBGMBGM日本XX
日本漫画工囗全彩内番漫画
略国精产品W灬源码1688网站
民工把我奶头掏出来了怎么办
迈开腿让学长尝尝你的森林作文
孙尚香站在板凳上给刘禅辅导作业
同桌上课打开我的腿放震动蛋
为什么越往里越有劲视频
日产无人区一线二线三线小
宝贝感受到它在爱你吗
巴西女人与禽2O2O性论交
乳液狂飙开襟网站MIMEI
照着镜子看我怎么C你
最刺激的乱惀小说合集
公交车最后一排被C
最大但人文艺术
打扑克剧烈运动软件
冯仰妍完整版在线看
一个人看的免费播放完整版
李宗视频全集下载
久久久文化传媒有限
两男一女两根同进去舒服吗
2013年3月里番
老何在船上弄雨婷
品色堂 永远免费
出嫁前让父亲体验了一次
忘忧草768mon二区
麻花传媒剧在线MV免费观看
OG日产精品一卡2卡三
比比东吃唐三的棒
放进去岳就不挣扎了
野花高清在线视频免费观看720
坐着震动器写作业是什么感觉
干的你走不了路SB
14MAY18_XXXXXL56ENDIAN美V
姬小满的乳液狂飙天堂W98
娇妻被几个黑了玩的惨叫
pinsetangmianfei
疯狂主妇无删减版
适合俩人运动前看的电影
今天晚上我控制不好速度
雍正睡了自己女儿是真实的吗
带着跳D上课的感受
3q大战的经过
动漫人物将机机插曲漫画小说
被爱豆们翻来覆去1H
抱起来加速会哭是什么意思
龙口护士门事件
亚洲人一卡4卡5卡6卡7卡
新禁室培欲之爱的俘虏
学长不行这是地铁
在车里被撞了八次高AO视频
野花免费观看高清视频6
overflow带翻译无马赛樱花中文翻译
冰块和棉签弄出牛奶(黄)视频
把腿开到最大就不疼了吗
to love第二季
两对夫妇在野外帐篷交换
校长体育老师共玩校花
伽罗躺床流白色分泌物
不用付费的打扑克的直播软件下载
696969大但人文艺术主题
外网张津瑜视频在哪里看过
贺朝谢俞c到哭车
浏览器正能量网站免费
免费看桶机三十分钟不用会员
大尺寸的小黄说说1000字
CHINESE东北女人舒服
从厨房一路顶撞到卧室好吗
老公吃我的奶奶该怎么回应他呢
粉嫩小缝太窄了进不去怎么办
贺朝谢俞完整车 高速
棉签play是什么东西
小棉签是用来干什么的
公咬着小娇乳H边走边欢视频
老卫和淑嫆第一次在船上
冰葡萄一颗一颗往下体塞
撕破我的奶罩 猛吸奶头电影
游戏输了让同学玩全部位置
榴莲app下载进入网址
1区2区3区4区产品不卡码
白嫩白嫩BBBBBBBBB-
4人个人换着玩感受
我们四个人换着玩的感觉
精品无人区一码二码三码四码
精品成品国色天香卡一卡二卡三
雷电将军の罚ゲーム视频
两个男生是怎么做的
草莓视频释放深夜的自己
麻豆画精品传媒2021一二三区
16MAY20_XXXXXL56ENDIAN
嘉木(1V1婚恋)
把红酒倒入b里温酒
宝贝儿 是不是欠C
分手那天我们做了八次
福利姬液液酱高潮喷水白浆
迈开腿让学长尝尝你的草莓是什么
宝宝我要把你顶哭了
电动牙刷怎么惩罚自己
亚洲乱码一卡2卡3卡
一面亲上边一面膜下边打扑克
爱情鸟视频论坛在线观看
骨王OVERLORD第四季免费观看
外网张津瑜视频在哪里看过
爱情岛线路推荐线路二唯品会
精产国品一产区
把车开到没人的地方做
爱情鸟论坛免费观看大全在线
国精产品zzlg77777
黄色软件免费下载3.0.3每天无限次vivo版破
24种男女插秧法
唐朝豪放女百度影音
被学长抱到没人的地方
免费网站在线观看人数在哪儿
国精产品水蜜桃
宿舍三攻一受肉双
一二三四高清日本视频电视
老人船上弄雨婷第12章
想吃你身上两个黑葡萄
免费正能量网站链接
歪歪漫画韩漫入口
三个人对我又舔又摸
同桌的手探到我的衣服里知乎免费
侯马市性侵事件
当兵的晚上太猛
国产精产国品一二三产区区别
埃及猫没有衣服跳舞视频
人与猪CROPROATION
坏老人的春天敏静九章21一30页
无限动漫网在线观看免费视频
上边一个日下边一个我的字的意思
原来这才是春秋5
免费网站你知道我的意思的
爱情岛论坛网亚洲品质
刺激妇乱子伦短篇
看了让人起反应的文章
老师哭着说不能再继续了
加满1箱92号汽油多花15.5元
公交车两人双指探洞LH
男朋友说你真是越来越耐C了
残忍cheapwindowsvps风险
冷廷遇简夏在车上做
北北北砂禁慢天堂
在大街上打开遥控器开关
房奴试爱未删减完整版
妈妈的爱第一章
两种进入狂野式的方法有哪些
网站你懂我意思吧在线观看的视频
打扑克喘气声音
坐着震动器写作业
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1