有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
天天想你视频免费观看西瓜
麻花视频V322纯净版
蜜芽737.mon.忘忧草大豆网
不知火舞和三个小男孩儿
海角社区hj4bb
日本潮水rapper超多
晚上玩自己的100种方法
我和大佬的365天
腿再开一点我就能吃到扇贝了
日漫动漫人物将机机插曲漫画视频
两个男用舌头到我的蕊花
tokyo hot n0727
男男车车好快的车车长图
YY4480高清影院播放器
学长的手指在里面转动的写作业
晚上睡不着看B站
ed2k柚木提娜
情侣插秧的100种方法
想吃你身上两个的樱桃
一二三四日本高清视频动漫
强宠 失宠皇后
爱情鸟论坛com高清免费
放课后の优等生未增删有翻译
WRITE AS 讲台上
涨精装满肚子上学公交车
女式襟开免费地暖网站
双指探洞手势图片
媲美欣刘老师56部密码
开车小黄车小片段详细描写
胸大的姑娘视频播放动漫
大团圆结亲情会目录
精产国品一产区
你就可尽的弄我们娘俩
精东影业JD0045妈妈咪呀
24小时视频在线观看免费观看
歪歪漫画登录页面免费漫画入口韩漫
暖暖直播日本高清更新
言教授要撞坏了!
成长视频在线观看免费
天美传媒MV在线看免费下载安装
二指挖洞的手势技巧
国内AI明星造梦网址是多少
在家不准穿衣服想做就做
99精产国电影品一二三产区区别
女生和男生一起相差差差
为什么一加速女孩子就会哭
宿主被GUAN满的日常自走棋
津渝视频完整版百度云
细讲男朋友是怎么c你的
软糯小受灌满哭求饶BL道具
体CHINESE大学生宿舍飞机
国内女RAPPER大全
妈妈的爱第一章
FULAO2粉色标原版本下载地址
淑芬两腿间又痒痒的预防方法
乱VODAFONEWIFI
猫咪地域网名入口639cf
芭芭拉ゃんが腿法娴熟を
9分10张津瑜盘
精产国品一二三区别9999
在公交上跳d突然开了
双男主有车车的视频w
男生和女生 打扑克
为什么黑种人的性能强大
旅行者把甘雨咬出乳液
适合俩人运动前看的电影
小雪的L3又嫩又紧又多水图
传闻韩国电影免费观看
大巴车轮轩诗歌摘抄
十字架与吸血姬
腿再开大一点就不痛了
王熙凤贾宝玉轿中大战
啦啦啦在线观看免费观看7
人多一起换着玩
轻轻剥开你的罩子一口咬上头
不伦纯爱在线观看
红猫大本营点击进在线看
韩国电影办公室3免费完整版百度
青梅竹马是消防二季未增删
英语课代表上面好软在线视频
整篇都是车的百合推荐校园
原神雷电将军掀开衣服看副乳
两个人的视频免费WWW
如何拿一根筷子玩哭自己
生物老师的兔子好大
输了被罚让别人玩一个月
JAPONENSISFES
韩国VS日本中国VS美国学生
公憩止痒 小说
含着睡觉是一种怎样的体验
老公朋友的媳妇给老公送生日礼物
JEALOUSVUE进不去
无人区码一码二码W358CC
吕瑶门事件完整照片
男生女生一起生猴子怎么办
歪歪漫画登录入口免费
边吃饭还和爸爸连在一起
日韩欧美中文字幕送别
精产国品一二三产区9977
免费30款禁用黄台网站
埃及艳后 电影国语
腿再分大点就可以吃到扇贝了
孤男寡女免费观看电视剧
两个奶头被吃得又翘又肿怎么办
教练在车内撞了我三次
宝贝儿你看看它有多想爱你观后感
百合做运动视频教程网站
老师变成全体同学的玩具作文
sis001评论推荐区
开车越往下越疼的那种作文
麻豆传煤官网APP入口免费
BGMBGMBGM老太太80岁毛多多
涨精装满肚子用塞子堵住上学
描写doi过程的文章
漂亮的小峓子5中字巴巴巴鱼汤
国内精品一卡二卡三卡抖
王者荣耀嫦娥翻白眼流口水的表情
小舞你的小兔子好玩小游戏
野蛮的索取1V3冷亦寒
四个人换着玩的过程叫什么
BGMBGMBGM日本XX
宝宝好涨水快流出来了微信
女生戴一天仙女棒的感受
打开腿让我添你下面小污文
天媒蜜桃传媒在线观看
YW1639永不失联
国产无人区码一码二码三MBA
甘雨安慰下部CG漫画在哪看
美女爆乳裸体WWW免费应用
动漫男生的坤坤放到女生的坤里
女装正太mypico
老师白妇少洁高老师43章
你们四个一起上我会坏掉的小说
精品卡一卡二卡三免费
嬢王virgin
老公和他朋友一块上我可以吗
2023钙GGY钙站入口
粉色视频网在线播放视频
淑芬二腿间又痒了
美国VICTORYDAY妇女
濡湿的车站未增删带翻译
雷电将军乳液voiux网站
深田えいみ禁欲后被隔壁人妻
我女朋友的母亲5整视频有翻译
一码卡与二码卡的区别
水怎么这么多啊我好喜欢喝
好老师的小兔子好软水好多
被套上自动挤奶器性能怎么样
被拉到学校没人地方C知乎
猫咪MV最新永久地域网名叫什么
WRITEAS花式PLAY
henhenshe
怎样用两根棉签玩哭自己
污到你那里滴水不止的文章1000字
山东体育猛1打桩小蓝网站
激战2奶玉组合技
麻豆传播媒体网站入口官网下载
冲动的惩罚完整版动漫
妈妈的职业K8s经典
精产国品一二三区别9
宝宝才两根手指就疼哭了怎么回事
WRITEAS椅子
VODAFONEWIFI另类
深一下浅一下深深浅浅来一下
外公总是在妈妈身上
开车疼痛有声音 免费网站
年轻的老师滋味在观整有限中字
麻豆传播媒体APP官网在线观看
两个人怎么搞才能生孩子
原神雷电将军18襟网站
交警用菊花检查酒驾的文章
OV我最喜欢的母亲的第一个转变
钙GGY钙站男男
9i传媒有限公司
桃花社区 在线播放
俄罗斯19girl video9
JY灌溉系统游戏唐小米笔趣阁
怎样弄到自己喷泉
捅伽罗是什么东西
一体验区试看120秒
性生20分钟性生20分钟
精产国品一二三产品区别在哪里呢
韩国妈妈的朋友2020整有限中字
老友鬼上身国语
女生喊疼男生越往里寨的游戏
一支笔怎么C哭自己
朋友把我玩成了小喷泉
中国XXXXXLMEDJYF
用你的舌头搅拌我的舌头是什么歌
张津瑜吕总1080P网盘
仙踪林19岁RAPPER
最近2018免费中文字幕4
ssni229
林静公交车被做到高C的原因
中国XXXXXLMEDJYF
哔哩哔哩大尺寸床车视频
公交车上要了我无数次
一亲二膜三叉四强五注射大象图片
妈妈的朋友2中语
美女扒开尿口让男人桶进
男生的坤坤放到女生的坤里游戏
男娃JY灌溉系统
我们高清日本免费观看
红猫大本营点击进在线看
嘿嘿视频官方在线页面入口页面弹窗免费下载
漂亮的小峓子中字HD电影
无尽画廊Naruto小南
缘之空全集高清在线观看樱花粉车
我的很大你要忍一下是什么
WRITE AS 吸蒂器
跳D放里面开最大是什么感觉
亚洲AV片不卡无码久久尤物AV
小区电工老周赵美娜
精品日产高清卡1卡2区别在哪里
和老爸睡觉没控制住
97精产国品一二三产区区别电影
51CG.吃瓜特色
疯狂守寡多年的的肥岳
原神甘雨安慰部下C插画
五月丁香五月伦理
宁荣荣把腿抬高让我进去
么公在浴室征服了小雪小说
抖音小姐姐脱身全衣服
孩子还没睡老公侧面做妈妈帮
midd-962
my19777换哪了
王者荣耀瑶脸红享受流眼泪
雨后的小故事gif图
楼梯每走一步就用力往上撞
二次元人物桶动漫人物免费
兽王ZOOM CLOUD MEETINGS
亚洲日本一线产区和二线产区
一二三四免费中文在线1
10种禁用的漫画软件
一个人免费播放在线观看视频
我们去楼梯间做好不好
HONGKONGDOLL看片黄
51DADOU大豆行情网
白妇少洁高义全文阅读
宝宝才两根手指就哭了
品色堂永远的免费论坛
最美情侣中文观看完整版高清
老奶奶BGMBGM
娇妻被几个黑了玩的惨叫
学生的妈妈6中韩双字中国
如何用枕头高C不断
缘之空无删减资源在线
你是我的荣耀全集泄露
玩小雪跪趴把腿分到最大影视频
对镜子看我们的结合处
三个弟子合力弄师父
宝贝坐起来自己摇
为什么越往里越有劲视频
他缓慢而有力的撞着内容
男子吃冻土豆后拔牙
金鳞岂是池中物 候龙涛
一区二区三区国产好的精华液
腿分大点就不疼了 免费播放
WRITE AS 产卵
无尺码精品产品
公交车上开了两个小女孩的包
兄妹方程式多R车多1V3
长城小队(上)(中)(下)
2012手机在线看免费观看
WRITEAS震动器
小东西你要负责灭火
用......用点力快到了视频
在恩爱时发出嘤嘤的声音视频
娇妻被领导抱进卧室
100元一次附近人
女儿的男朋友是妈妈的爱豆
poduoyejieyi
喷泉1V3HL慕深
精品乱码一卡2卡3卡
家里没人叫大声点干湿你
班长哭着说不能再C了视频
把女的弄的第二天走不了路
美女爆乳裸体WWW免费应用
我把美女日出了白将
妈妈用身体做儿子生日礼物
一亲二膜三叉四强五注射免费应用
黑人30厘米全部进去了乌木
我十二岁就做了不干净的事
肚子里全是jy鼓起来了好
妈妈说只要爸爸不在家就可以大武
刚开始妈妈不愿意后来就配合
压在窗户上C给别人看
用玉器养大的公主么么
维多利亚一号未删减版
拉开拉链它想你了给他好不好视频
如何将自己隐私玩到哭
双人床上做的运动打扑克的软件
我们高清日本免费观看
国产又黄又硬又粗
舞林大会棒棒糖
老师两个大兔子抖来抖去视频
主人把棉签放屁眼里不能掉视频
两人在车里疯狂打扑克
后营露营第一季无增减
Zoom人与Zoom大吗
成都影院手机观看免费观看
女人半夜莲花开很难受怎么办
嘿嘿视频官方在线页面入口页面弹窗免费下载
黄到让你那里滴水的作文门卫
我老公想玩我妈怎么办
国产色母和进口色母区别大吗
啦啦啦视频在线观看免费高清5
ig夺冠了就让草
《苹果》未测减除版
八重神子焯出白水怎么办
男人最后一下为什么要叫
黑料社TTTZZZ入口2023
国产无人区一卡二卡3卡4卡在线
男生吃小兔兔的细节描写知乎
美女爆乳裸体WWW免费应用
糖心LOGO免费观看甘雨
卵蛋网gif动态图出处
高压狱警2美版免费
男车车好快的车车视频真人
猫咪国外永久地域网名是什么
金瓶玉2之性奴
11K妈妈的朋友
第一次处破女18分钟高潮流水
仙踪林COMPANY LIMITED19岁
啊灬啊灬啊灬快灬片免费
绝品儿媳苏暖免费阅读
女生把筷子放屁眼里不能掉图片
ZOOM人牛OKZOOM俄罗斯k9农场
日产欧产美韩系列区别图片
高岭家的二轮花
无人区码一码二码三码图片
濡湿的车站未增删带翻译樱花翻译
和黑帮老大的365天
按摩师坐在两腿中间按摩
顶的速度越来越快越叫的作文
原神旅行者喝甘雨的奶
金银瓶1-5普通话
小洞饿了想吃大香肠的注意事项
XL上司未增删带免费翻译樱花
日产无人区一线二线三线新版
宝宝下面都湿透了还嘴硬疼咋回事
学长让我夹跳d不能掉的作文
人与畜禽CROPROATIO一
一抽一出BGM试看60分
亲亲抱抱举高高蹭蹭的刺激原声
温行之和温远洗手台做
男人大鸟硬起来图片
王者荣耀女英雄被捅的流眼泪翻白眼流口水
国产MV在线天堂MV免费观看
开会被塞跳d开最大挡不能掉作文
如果抱过亲过吃过摸过算什么关系
双人互动插画图片视频
海角精产国品一二三区别在哪
人与畜禽Croproation网站
caopor男频超碰
嗯宝贝叫的再浪一点
两个男孩子开车声音
2D甄姬和两个小孩BBS
国外B站推广网站
女教师二十三歳
精品一线二线三线区精华液
99西方大但人文艺术
纤夫的爱无删减版动漫百度云
国产精品卡1卡2卡三卡四
野花免费观看高清视频6
随时随地都能干的小镇LH
开小黄车的细腻描写
成品网站灬源码杏花
秘密教学60话好像可以照我的
公交车上的诗请晴
15岁macbookpro日本
宝贝它想你了感受到了吗车上
雷电将军乳液狂飙VX网址
潘金莲扬思敏全集1一5集三级
门卫老头吮她的花蒂的导演是谁
哥布林洞窟未增删开车原声视频
年轻的母亲6兔费线6
中国警察网记者张津瑜事件始末
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1