有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
无翼乌全彩集漫画
疯狂试爱的视频
双男主车图无遮挡长图微博
把冰块夹好了不能掉出来的方法
玩哭自己隐私的100种方法
探秘亚洲XXXXXLMEDJYF
八重神子享受翻白眼流口水视频
舌头一路往下探
动漫人物做差差差看视频
聂小雨黑皮衣5分多钟视频原版
王者李白吃王昭君的下面
中国XXXXXL 18
原神雷电将军乳液vx网站进入
老师太粗不行坐不下去
我们换个方式做吧未增删樱花
雷电将军被史莱姆无情注入
坐在父亲紫色大龙上写作业
墨燃把楚晚宁按着干188章
25岁女高中生的相亲对象是问题
被男友咬小兔兔的感觉
接电话插的说不出话怎么办
2021今天沈阳爆炸事件刚刚
快穿之肉糜蜜花(H)
好儿子妈让你爽
日产乱码区别免费
秋葵 茄子 丝瓜 香草 榴莲污网址
董小宛 果冻传媒 麻豆
非诚勿扰张丹丹素颜
安琪拉翻白眼流眼泪流口水
仙踪林2021
撑起伽罗的腿疯狂输入的视频
好妈妈8中汉字
18GaryWayne
原神甘雨安慰部下CG插画在哪
糖心LOGO免费
旧里番肉欲に堕ちた牝たち
撩到女生下面滴水的句子小说
亚洲乱码无人区卡1卡2卡3
新婚教师被调教成母狗
精品一卡2卡三卡4卡三卡免费
把英语课代表做哭了视频
新疆女RAPPER18岁RDFJFTTIK
输了让同学玩全部位置的作文
韩剧我女朋友的男朋友不是我
14MAY18_XXXXXL56ENDI免费
maya已确认满18我们严重反对
绝对控制少x时代
转过去趴好bl
刮伦人妇A极一片
重生之军门狂妻
国精产品一二三线999
张津瑜 VS吕总视频
韩漫漫画页面登录漫画弹窗
最近中文2019字幕第二页
茶杯狐CUPFOX官网浏览器
老婆说她想尝试多人怎么回复
日本19岁RAPPER老狼
最舒服的一次是在哪儿
仙踪林 贰佰信息网
公么大龟弄得我好舒服秀婷
丝瓜草莓榴莲深夜释放自己
富二代国app产下载
三个徒弟强占师父
歪歪漫画登录入口免费
把班长拉去没人的地方
手指怎样自W到高C
国产老狼一卡2卡3卡4卡隐藏版
国产精华液2020
中国bgmbgmbgm老妇和青年交
爱琴海论坛视频播放二西瓜
中国windows野外
被C到走不了路是什么感觉
美美哒免费高清影院在线观看7
双子ノ母性本能
如何把自己玩到喷泉视频
B站大胆人文艺术4K
无颜之月哪一集开车了
宝宝的骚水喷得到处都是
秘密教学93话恩爱
IJGN禁止18岁以下下载软件
原神申鹤开襟乳液狂飙
躺在我跨下的英语课代表
西方47大但人文艺术
百人围观企业高管全裸跳海
我被同学按着做了4个小时
宜家回应商场原版视频
CSGO暴躁小阿姨
色花堂 永久 网站
黑料不打烊TTTZZZ入口2022
迈开腿让尝尝你的森林动画
tokyo hot n0727
2023年免费进入B站
8x8x海外华为永久免费视频
坐着震动器写作业
荷兰少归BVBV
易感期爱哭到脱水
电车之狼r图文攻略
女篮坎贝尔惊艳三部曲叫什么
一面亲上边一面膜下边的应用
儿媳妇夸我比她老公大古言
每走一步就深深的撞一下
最近中文字幕完整视频2019
狗头萝呼啦圈视频26分钟什么梗
开车越往下越疼视频
laojiumen
妖艳女忍者传锷女篇
雪臀肉枪玩遍武林美妇
国产沙发午睡系列999
宝宝坐下来自己慢慢摇视频
随着公交车一晃一晃一撞一下
孟十朵玉女春光图
maya成人论坛
一层一层一层的剥开我的衣服
19岁潮水RAPPER欢迎您
什么样的B型好玩
在体内横冲直撞就是不出来
都生了宝宝了还那么紧
桃花社区在线观看免费观看
A区B区C区D区E区仙踪林
小钰IG夺冠了就让草
WRITEAS天尊被吊着受罚
将界2第3激烈视频
月光在线观看免费
火影忍者禁图片
果冻传媒天美传媒麻豆传
VODAFONEWIFI另类
8008幸福宝卐
宝宝s在里面好不好
小兔兔被男生咬着的图片
23部禽女乱小说
缓慢而有力的一下又一下视频
如何在被子里玩自己无声
WWW.GCRCCS.COM
我一边做饭一边被躁了怎么回事
性情中人中文网bt
里面塞着小玩具坐地铁有什么感觉
各种APP引导网站
亚瑟2021入口
帐篷里的秘密未裁剪哪里有
坐着震动器写作业
一个奶下面一个鼎是什么字
茶杯狐 CUPFOX官方
十九岁RAPPER潮水欢迎你
无人区码一码二码三码四码
小洞饿了想吃香肠有声音作文
sdde318
疫情期间拿下老妈
帅气体育生GARY网站MV肌肉
粉色视频高清免费版观看
金刚杵大战肉莲花
韩国妈妈的朋友观整有限中字
张津瑜7段51吃瓜
考试没考好当全班的便器
原神女角色去掉所有服装不遮挡没有小爱心
哔哩哔哩大尺寸床车视频
啊哈哈哈好长啊
双人床上扑克动作视频
按着我的头给他吃
姜汁撞奶POH
为什么都是B感觉不一样
美丽姑娘高清日本版图片大全
健身教练漫画在线阅免费
对象咬自己小兔兔的感受
csgo高清大片
丰满的邻居2在线观看完整免费版
香草视频app黄板
黑人啊灬啊灬啊灬快灬深
PANSY中老年妈妈
年轻的妈妈的中字巴巴鱼汤饭
品色永远免费堂
最近中文字幕中文7
王中王一肖一特一中
年轻的老师4中文正版
水都流出来了还说不要
三十六种阴阳技图片
春色无边女儿国
三个人弄得我走不了路晚上
永久免费品色堂
扒开粉嫩小泬直接进去
被弄了几次路都不能好好走
在车里要了好几次
张柏芝艳门照照片
我想用乌龟蹭你的扇贝是什么意思
少妇白 全 洁高义
vodafonewifi巨大app粗暴
侯马市性侵事件视频
十大B站不收费
bgmbgmbgm老头野外
无翼乌漫画教师全彩
无人区码一码二码三码是什么
りなとあな里菜的痛
5g影库在线年龄确认
秘密教学60话暗巷免费
两个人一前一后攻击舒服吗
5g天天奭多人运动绿色视频在线观看
两个人一前一后攻击我怎么办
国色天香精品一卡2卡3卡4
王者荣耀姬小满被捅的流眼泪网站
精品成品国色天香卡一卡二
免费看桶30分钟教程下载软件
老板在车里要了七回
大佬的365天无删除中文翻译2000
穿越到兽世不停做元
马的太长了能进吗
为什么做完以后还要顶
原神雷电将军不遮副乳
叶玉卿 卿本佳人
强被迫伦姧惨叫VIDEO
别急晚上老师就是你的人了
情人的东西比老公大怎么办
打扑克剧烈运动软件
中国新疆XXXXXL19学生申中国
男朋友叫了两个朋友上我
炖肉计(是今)海棠
在车里被撞了八次高c视频
错一道题就往里面插一支笔作文
我的很大你要忍一下是什么
八尺大人动漫在线播放无码
国精产品一区一区三区糖心
跳蛋使用方法图解
火辣辣app福引导大全内江市
英语课代表让我c翻了视频
tttzzz传送门2023网页版
肚子里全是JY鼓起来了怎么办
怎样弄到自己喷泉
丝瓜和绿巨人蕾丝秋葵的功效
列车上的小黄说说1000字
mitao123
顾氏双生子的玩具2V1
多毛BGMBGMBGM胖在
B站大但人文艺术
在公交车上被蹭流水了怎么办
快穿之女配紧致h
小诗的公交车日记1一7
老太太VPSWINDOWS45
俄罗斯牧场VIDEOSK9
入禽太深麻花影院
只要两个手指带你体验水上乐园
啦啦啦中文日本免费高清完整版一
粉色视频网在线播放视频
语文课代表的胸软软的作文
公交车后车座的疯狂的做
GC突然抽出来
用手指轻轻按着并来回移动的词语
爷爷总是趴在妈妈身上睡觉
日产2021乱码
YELLOW片高清
情感的禁区电影
国产传媒蜜果冻天美传媒
我的妻子的姐姐6观整有限中字
男朋友吃我的小兔子头
你男朋友是怎么上你的
动物胶配方视频高清
公孙离去所有衣服被捅
10款禁止下的软件
一边说嗯一边喘气的声音怎么形容
3q大战的经过
祝英台遇到马文才在哪可以看
欧美尺码专线欧洲B1B1
怎样把自己弄到喷泉
班长找了好几个人上我
吃女朋友的扇贝的正确方法
WRITEAS强制
37大但人文艺术馆A级
男朋友为什么老是爱吸小兔子
液体收集器系统hh的工作原理
精品国品一二三产品区别在线观看
mignon动画什么时候
男男车车好快的车车cp
年轻女教师6在线播放
小SB是不是欠C流了那么多
宝贝对着镜子CAO好不好
每天肚子里都是主人的尿
写得很细的开车秒是小作文
147女人的阴性部图片
漂亮的丰年经的继拇5字
八重神子流白色乳液
公交车一动就撞一下撞到最深处
一吻二脱三床四吻胸
解脱mm内衣小游戏
从阳台X到卧室边走一步
欧美精产国品一二三类产品区别
王者荣耀黄化网站入口安卓
体育课被班长带到没人的地方
国内精品一卡二卡三卡公司
彩虹男.2022小蓝
离婚回娘家满足爸
花核肿胀无法闭合
日本ZLJZLJZLJZLJ喷液
有没有肉很多的糙汉文
和他在车里好多次
开车视频疼痛有声音水水
同桌上课打开我的腿放震动蛋
男人最后一下为什么要叫
摸硬了体育老师的的大J8
妈妈的朋友2中字巴巴鱼汤饭
女朋友特别会摇是什么意思
坐公交车最后一排让别人弄
长发公主国语版
年轻的母亲5中字巴巴鱼汤饭
没有工具怎么玩自己
あの女の子は歌がうまいうえ
超速绯闻女主角
HULUWA官网在线入口IOS
艳情短篇合集1一160
老婆和别人做完以后再和我做
69无人区码一码二码三码区别
欧洲人物动物交互咬合视频
明星ai人脸替换脸视频
小洞饿了想吃香肠有声音作文
绿巨人推广APP网站
第一会所s001
欧洲无人区天空码头IV在哪一本
温文尔雅1V2H
一卡二卡3卡4卡乱码新区
日本漂亮妈妈7观整有限中
selangwuyue
男生和女生 打扑克
朋友的朋友6中汉字
茶杯狐 CUPFOX官方
WRITE AS蕾丝
片多多3999HCC
秘密教学60话好像可以照我的
被拉到学校没人地方C
菠萝菠萝蜜一区别1688
麻豆画精品传媒2021免费
亲爱的老师5韩国中字完整版
麻豆精产国品一二三产区区农民
bgmbgmbgm老太太毛16
宁柔柔的小泬撑开到极
儿子暗示我想上我
精品一线二线三线区精华液
夜倾情保姆的诱惑
h高辣公憩1v1
谁把黄光裕弄进去的
甘雨脸红享受流眼泪表情
棉签和冰块怎么玩哭自己
黑帮大佬与我的365天
放里面睡觉是一种怎样的感觉
坐在木棒上写作业高V
天美传媒TMY0013在线观看
把英语课代表按在地上C了一节课
大BW毛毛多巨大BW大BW
你下水好多下水道BD
欧洲无人区卡一卡二卡三
年轻的老师2全集
宝宝把腿开大点儿就不疼了正常吗
雷电将军乳液VX免费网站
一起差差差30分钟轮滑
无翼乌漫画全彩集日本漫画大全
Zoom与人性Zoom的区别
bgmbgmbgm胖老太太东北
你的棒棒可以通通我的下水道吗
男生淦哭男生的过程
撞击的速度越来越快公交车
小小水蜜桃8高清视频
我想用乌龟蹭你的扇贝是什么意思
台湾已逐步恢复供电
密桃成熟时33d完整港版
VPSWINDOWS另类精品
金瓶酶全集电影
上课捡到一个遥控器按了一下
两个人一前一后的动了起来
taiyangdehouyi
妇与子乱小说目录伦
女生把筷子放屁眼里
初高中生无套内精
电车之狼r秘籍
1都是怎么进入0的图片
9612黄桃网址进入页面手机端
妈妈看清楚我是怎么C你的
安全套试用员的辛酸
尝尝老师的大扇贝
YSL千人千色T9T9T9T9T9
精品日产卡一卡二卡国色天香
双人床上互动的图片
他不让我断奶他要接着吃知乎
14发刚发育就被破了处
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1