有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
男在上女在下git动态图
果冻传媒2021精品亚瑟
燕氏被四个和尚播种
高能多r纯车多人
18无人区码卡二卡3卡4卡在线
外公抱着妈妈一起去了
3个人同时玩一个人视频
最近更新2019中文字幕高清
最近中文字幕2019国语4
多肉的糙汉b1H
用手指轻轻按着小扇贝并来回移动
詹妮弗的肉体完整版
不让尿还喝水棉花塞住不能尿作文
搐搐国产丨区2区精品AV
ワンピースのエロ资源中文
老丈人的东西又弯又长
同学故意把我的校服当抹布用
成 人 色综合
最好的中文字幕视频
中国老奶奶vpswindowsHD
涨精装满肚子上学体育课免费视频
苏家有女2V2H
50款夜间禁用软件app免费
木马上凸起电动木棒
班长一直掐我的奶奶什么意思
没带罩子被校霸C了一节课文视频
大唐之妻妾成群
大尺寸的小黄说说作文
原神旅行者喝甘雨的奶
妈妈的朋友完3电影
3d 无尽 动漫 可爱 得到
青梅竹马是消防员1未增删
缓慢而坚定的前进慢慢来吧
公交一晃一晃就进去了怎么办
果冻星空爱豆国产在线播放
夹得好湿真拔不出来了动态图
娇妻在我面前被黑人撑爆
宝宝的扇贝真会夹
灯草花尚 陈玉莲
国精品产品推荐
歪歪漫画韩漫首页登录入口页面
怎样把女朋友玩成小喷泉
亚洲国色天香卡2卡3卡4
好满射太多了装不下了动漫软件
性系MACBOOKPRO高清
1314gan
HD2linode iphone69
打扑克视频又叫又疼原声
晚上做运动打扑克声音
三圾片有哪些好看
海角社区最新在线视频
十8禁用B站在线看漫画软件
10tpu色母与pa6色母
迈开腿尝尝你的草莓是什么感觉
妈妈的朋友 女主角
迈开腿让我尝尝你的扇贝漫画
2021最新一二三四乱码
女刑警被两个黑人前后夹攻
蜜芽域名不定更换 请及时收藏
国色天香十七区品质怎么样
废旧厂房里和流浪狗做
国产无人区一码二码三码MBA
麻花传媒mv在线播放高清MBA
Zoom另一类ZZO0
仰起头!看见2023的中国
我被三个人同时舔吃b
刻晴ちゃんがを腿法娴熟
宝宝这才几天没C水就这么多
成品禁用短视频APP抖抖
王者荣耀小乔爽上天的表情
从镜子里看我怎么C你的图片
厨房做剧烈运动视频扑克
八戒八戒视频资源
强奷漂亮的女邻居完整版
一面亲上边一面膜下边说说
聂小雨视频3分25哪里能看
无人区乱码三卡四卡
深度1V3多肉梁医生
侯马市性侵事件视频
比赛输了任对方看和玩部位一个月
女朋友的母亲3中语字追剧易
国精产品999国精产品官网
斗罗大陆2大乱斗交大第1
粉嫩RAPPERDISSSUBS欢迎您
桃花洞口开香蕊落莓苔意思
和搜子同屋的日子3
芒果精产国品一二三产区区别
姐姐的朋友中线字
差差很痛app大全免费软件安全
公与淑婷厨房猛烈进出视频
学生免费一卡二卡三卡9
人鲁交YAZHONGHU
坐着吃饭还连在一起
梁医生再往下一点吃肉视频
麻豆产精品一二三产区区
迈开腿让我亲亲你的小草莓
朋友的母亲3在观有限中字
宝贝是不是到最里面去了
乱码一乱码二乱码三新区
灵魂战车3王者归来
带着跳D走路舒服吗
成色AU999
试过黑人之后再也回不去了
97国产精华最好
输了让同学玩身体全部位置的游戏
丫头把腿开一点就不疼了
超帅CHINESE直男飞机
大国手之胜者为王
坐在老师的鸡叭上写作业
东北speakingathome
几天不见怎么这么湿
国精产品一二二区传媒有哪些
疯狂厨房2双人游戏3
朕现在就让你怀上
妇女被深耕过后身体有哪些变化
夜间自罚自己实行污
51无人区码一码二码三码四码
嗯啊宝宝怎么这么湿呀
我朋友把我玩成了喷泉什么意思
stoya doll白雪公主
我捅了英语课代表一节课
欧美RAPPER潮水一欢迎您
doi先进去再戴套
国产一线产区二线产区
三邦车视第一视频分享门户视
放在里面等我好回来检查
迷情娇妻第104章
男子肯亲花园说明什么
78M-78MAP
538pro精品视频我们不只是
最近最新中文字幕大全手机
国产无人区一码二码三码MBA
榴莲app下载进入网址
孤独又灿烂的神 鬼怪
最近最新中文字幕MV高清在线
双指探洞感觉要飞了
人与畜禽交互MOUSE
把下面能看湿的句子5000字
墨燃和踏仙君同时干楚晚宁猫弄
俄罗斯severodvinsk
小蓝G钙2023GGY钙2023
日本农村大姐rapper
我一边做饭一边被躁了动漫
腿张大点就可以吃扇贝了
啊哈哈哈哈主人我错了哈哈哈哈柯
父母和子女互换
柳青青人体艺术
妈妈的朋友完3电影
妈妈的朋友5季
日产一二三四五六区
男生和女生差差差30分电视剧
刺激打扑克摇床又全程不盖被子
漂亮的丰年轻的继坶3在线观看
井川里予33秒正能量的原视频
岳好紧好紧我要进去了电影
夸我比她老公大
国产卡一卡二卡3卡四卡精品
打开腿我想尝尝你那里的水
八年级隐私能塞几支笔
小东西他想你了给他好不好
女医生让我舔她BB
久久成人AV精品国产麻豆
草草最新发地CCYY备用
新不夜城综合首页
人蛇大战之人蛇浴血战
大型丁香成人社区
爱情鸟论坛免费观看大全在线观看
够了够了已经到C了满C了
老地方在线观看免费资源
双男主有车车的腐肉尿了
WRITEAS强制标记
果冻传媒天美传媒麻豆传
品色堂永久的免费论坛
津渝视频完整版第一集
七个人玩我一个人
最好看的最新中文字幕1
蜜桃传媒.精东麻豆
我年轻漂亮的继坶4
日剧先生!我可以上你吗
成熟交BGMBGMBGM日本1
如何用一支笔玩哭自己
WRITE AS 塞水果
公主葡萄不能夹烂也不能掉出来
奶头自从被对象摸过就容易有感觉
秋葵 茄子 丝瓜 香草 榴莲污网址
亞洲GARY钙片GARY
呵啊呵啊呵啊女生叫什么
英国的巨人DannyD
王者荣耀公孙离喷了的表情
日韩中文字幕推理片
棒棒糖放屁眼里吸收
睡过一次和n次的身体变化
我把语文课代表做哭了网站
WRITEAS丁程鑫性器丰年
打扑克发出哼哼哼的声音
19岁macbookpro未满16岁
把筷子放屁眼里图片
6漫画免费下拉式六漫画斗罗大陆
售票员用b验票小镇yl小镇
我的兔子好软水好多双指探洞小说
拔萝卜痛又叫黄
儿子以后妈妈的比就是你的了
年轻的母亲4 剧情
tttzzzsu黑料入口吃瓜
文笔好有肉的糙汉文
怎么玩隐私位置
香草视频www高清在线看
河南妇女毛深深的沟WCD
仙女棒坐着使用方法图片
大团圆结局公交车2
一二三四日本高清无吗
精产国品一二三产品区别在哪里呢
野花 高清 中文 免费 日本
人与畜禽CHANCE
精东影业传媒出品
几天没C你是不是痒了
CCYY备用地址
痳麻让我挺进她的黑森林电子书
嘿嘿漫画登录页面弹窗秋蝉
歪歪漫画登录页面免费漫画网页在线阅读
WRITEAS灌药
小娇乳H边走边欢1V1爱豆传媒
blued片在线观看高清免费
二人剧烈运动扑克视频
麻婆传媒剧国产剧情MV
我跟你老公谁的大
父母儿女一家狂I目录
多P混交群体交乱的安全保障
边做饭边被躁BD在线播放
东京热456大交乱高清视频
天降女子未增删带翻译整集
狗头萝呼啦圈视频26分钟低价 1080P
sis001 board 评论区
迈开腿让我看看你的草莓汁
贝茜我们开始做吧1982
寂寞夜晚观看视频
白俄罗斯RAPPER潮水
xl上司带翻译中樱花
8X8X海外华人永久免费提供
男子吃冻土豆后拔牙
小泽玛利亚种子
性工作者十日谈粤语
另一类Zoomcloudmeetings
奶糖与烈酒BY封远廷
惠民卡盟没非梦专业
申鹤流眼泪翻白眼流口水应用
2023Gy钙站
AI人脸替换明星喷水造梦
亚洲不乱码卡一卡二卡4卡5
鲁大师WWW好看
学渣含着学霸几巴的写作业的肉
夹冰块一天都不能掉出来
输了让同学玩全部位置游戏的作文
10种禁用的漫画软件
WRITEAS憋着做
すん止め亀头ふたいと的含义
迈开腿给我尝一下你的味道
a处处吻全程拉丝伸舌头拉丝
日韩砖码砖专码2023
老师没有带罩子让我练了一节课
小14萝视频资源站
妈妈的朋友10完整有限中字一
俄罗斯19girl video9
B站大但人文艺术
魅力研习社 避孕套
女生让男生诵自己的游戏
两个人免费视频观看高清直播下载
秘密教学93话恩爱
无区码一码二码三码
娇妻玩4P被三个男人伺候小说
一个老男人把我下边玩肿了
tttzzz传送门2023
跷跷板我越下越疼的是什么
国色天香直播在线观看免费
色农夫网址导航
奶头自从被对象摸过就容易有感觉
97ai蜜桃欧美图片
99精产国品一二三产区区
最近中文字幕在线MV10
色即是空2电影下载
宝贝是不是到最里面去了
小草在线观看免费视频播放
老卫干淑荣完整版
日产高清卡一卡二卡VA
她被撞的话都说不出来
宝贝腿开大点我添添公交车
语文老师塞着跳D讲课
抖音奶片故意走漏15秒
软糯小受灌满哭求饶BL道具
高清MV无字幕视频素材
暖暖视频播放免费韩国
Zoom与人性Zoom的区别
亚洲乱码卡一卡二卡新区中国
大尺寸的小黄说字多肉健身房
IG夺冠了就让草什么梗
2022GGY钙男男视频
儿子把坤坤放入妈妈的坤坤里视频
老师变成全体同学的玩具作文
男生和女生差差差30分电视剧
中日乱码卡一卡二仙踪林
黑帮大佬我和我第365天
三个徒弟强占师父
5g影讯5g探花多人运动
激烈啪啪啪动态图
父母儿女一家狂I目录
减去小舞所有的衣服
趴在玻璃窗做给别人看的视频大全
MD传媒作品大全
用点力就快出来啦
中文字日产幕码三区的做法大全
你们四个一起上我会坏掉的小说
公孙离去所有衣服被捅
免费中文字幕日产乱码
三妻四妾完整版播放电影
王者荣耀瑶白色液体
花色98堂新网名
天美传媒免费观看MV天美网
蜜芽.768.MON二区忘忧草葫芦娃
不知火舞和三个孩子之森林公园
草莓视频释放深夜的自己
水蜜桃视频下载方法
老公带我去让别人玩我该怎么办
为什么男生喜欢摸和咬小兔兔
夜夜春2008旧址
2023年免费进入B站
把腿张大一点我要吃你的小扇贝
王者荣耀公孙离喷了的表情
玩R头的100种方式
女生把自己隐私给异性朋友
火影忍者禁图h
日本摩天轮变办公室
男生女生差差差差差很疼视频免费
俄罗斯牛or猪or狗
做我的爱人3在线观看
我把英语课代表按在桌子上抄
二哈的白猫师尊
几个老爷弄一个丫头的说说心情
成品人和精品人的区别
女孩子用矿泉水瓶子行吗
69女POREN女人
红玫瑰直播免费版视频
国色天香直播在线播放
妈妈说带好套可以给我
破了新数学老师的处
妈妈的朋友2在完整有限中字
友田彩也香qvod
我家狗狗弄了我4个多小时
三个人把我弄得走不动路怎么办呢
精品日产高清卡1卡2区别在哪里
乳液狂飙图片奖励自己一发
亚洲无人区天空码头IV在哪
欧洲VODAWIFI喷浆3D
好妈妈5在线观看完整视频
一浅二深三大叫法是什么
Javaparser厨房好妈妈
日剧双人床上做剧烈运动作文
剧烈运动摇床打扑克运动视频免费
CHRISTMAS农村夫妻HO
亚洲一卡2卡三卡4卡2022
教你怎么自己吃丁丁
差差差的30分钟无掩盖电视剧
老师拉我去办公室做了一节课文
宝宝是我撞进入还是你自己坐下来
充气娃娃怎么用
太多了装不下H11
宝宝你好会夹还流这么多
AA级女人大片
原神八重神子被捅出乳液
打扑克剧烈运动又疼又叫的视频
黑人双人RAPPER的特点
善良的英语老师3
sbs演艺大赏2012
动漫人物将机机插曲漫画下载
从镜子里看我怎么C你的图片
往下边塞玉器出门write
事物的秘密截取一小段
年轻的阿姨5在观整有限中字
雷电将军与丘丘人繁衍后代
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1