有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
可以吗好硬H1V3
狗配人怎样配马配人呢
他的手放在了我的珠穆朗玛峰上
小雪又胀又麻又酸又痒
Zoom美国另一类
女头部位上半身胸头透明
欧美致敬很多经典的黑白mv
没带罩子被校霸C了一节课文视频
成功拿下了妈妈
正确的进入方法免费看
学生的妈妈5中韩双字多
妇女是指什么年龄段
深入浅出TXl金银花讲的什么
母亲とが话していま在线观看免费
UC搜索WWW你会感谢我的
男孩子听到女孩子喘气会有感觉吗
坐摩托车车进入身体
迈开腿尝尝你的小草莓什么意思
小东西几天没做怎么这么多水视频
国精一二二产品无人区免费应用
亚洲精华国产精华液的福利
张雨欣人文艺术欣赏
迈开腿让我可以尝尝你的味道
男生的坤坤放到女生的坤里游戏
男孩子把淦男孩子弄哭的部位
没带罩子让他C了一节课怎么办
荒野大镖客老奶奶
人与畜禽共性关系阿梅
女生让男生诵自己的诵视频
妇女被深耕过后有哪些表现
WINDOWSCHANNEL孕妇
初次见面4秒就合体
日韩天码砖区2021
老师洗澡让我吃她胸视频
CEKC妇女毛多啊BN
诱人的女邻居2在线观影
日本一码二码三码区别在哪
XZL仙踪林中国大陆
把头抬起来看镜子里的你
在线天堂おなあちゃんなにか
无人区码二码乱码区别在哪
人狗胶配方大全图片
yinseyinxiang
樱井莉亚电影下载
bgmbgmbgm老太太俄罗斯
女生让男生随便诵自己的名字诵
2023钙Gy钙站
沈阳燃气爆炸致5死
公交车后车座的疯狂的做细节知乎
鲤鱼乡 流出来了 合不上
宝宝把腿开大点就不疼了
在厨房里两只乳头被吸肿了
原神八重神子被捅到流口水的游戏
伽罗ちゃんが腿法是什么意思
精品AV国产一区二区久久小说
花城谢怜车长干哭
最美情侣免费播放视频大全下载
宝贝乖张腿疼你
交换漂亮妈妈在线播放
BBOX撕裂BASS孕妇公交车好莱坞
品色堂 永远的免费论坛
上自己妈妈是什么体验
原神ちゃんが部下を腿法娴熟
无人区码一码二码三码图片
我想触碰你的深处未增删樱花
老婆出轨时给老公打电话
槽溜2021入口一二三四绿巨人
亚洲一卡二卡三卡四卡无卡网站
刘耀文在宋亚轩里塞TD
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
黑料不打烊tttzzz入口
WRITE AS 电动棒
四虎4hu永久免费
中国VODAFONEWIFI粗暴APP
WRITE AS蕾丝
扑克牌又痛又叫软件免费下载
说说自己睡过哪些亲戚
中考姐姐让我c个够作文600字
他的手一点一点的往里
才三根手指头就不行啦
一边说嗯一边喘气是什么
剧烈运动摇床打扑克视频原声
父亲的东西又长又黑怎么形容他
吃女朋友的扇贝细节
2014年2月里番合集
日韩一卡2卡3卡4卡新区免费
两根硕大一起挤入小雪
99品一二三产区区别
如何在被子里玩自己无声
天美传媒剧国产MV网站入口下载
彩虹男GARY网站
边做边爱3电影
GAY引诱外卖员COM2O22
2018夜夜射天天啪天天草
把腿把开学长都给你高
甜蜜惩罚带翻译
我与黑大佬的三百六十五天完整版
今天让领导弄了两次
输了让对方随便弄隐私一个月清清
王副军官玩田雨细节描述
谁输了去谁家受罚抽阴可处置
桃花洞口开香蕊落莓苔什么意思
英语课代表好软免费高清视频
秘密教学93话恩爱
滑滑梯越往下越疼的那种图片
proumb18
无人区码卡二卡乱码
黄到让你那里滴水的作文英语老师
在被子里怎么自己玩自己
胀满精装肚子去上学
随时随地都能C的小镇
爆乳JUFD492汗だく肉感
亲亲抱抱柔柔的视频动漫
宝宝你的水都拉丝了
GaryWayne男男
すん止め亀头ふたいと的含义
被抱起来C是一种什么体验知乎
做到你明天起不来
晚上给我通下水道
门卫老头吮她的花蒂的导演是谁
欧亚专线S码和W码入口一样吗
坐在学长的棒子上写作业作文片段
御手洗家的故事第1集免费观看
公交车动一下就撞一次
走一下撞一下深深咬合的小说
韩国演艺圈悲惨37
WRITE AS腿交
年轻的老师4中文正版
东北大炕乱欲狂
多毛bgmbgmbgm胖觉觉
网站你知道我的意思的www正能量
桶三十分钟全教程视频
够了够了已经到C了满C了
车文越详细越好文字
好儿子妈妈今天晚上就是人
离婚回娘家满足爸爸
日本漫画口番工全彩
课代表趴下让我连桶了30分钟
在县城开零食店春节能卖200万
成 人 色综合
精产国品一二三产区区别麻豆
天天想你免费看西瓜视频
健身教练漫画免费版在线阅免费版
两个人一前一后攻击叙述
津渝视频完整版1
高冷男总裁憋尿被揉下面
日本RAPPERDISSSUBS13
宝宝腿再趴开一点就不疼了为什么
五十路六十路完熟交换
乱码1234区2021
999精产国品一二三产区区
麻花传媒mv在线播放高清MBA
939W乳液78W78WYW55523
XMXMXM18
开车晚上看有痛痛的声音视频免费
sis0001第一会所
蜜芽最新域名网站
只要使点劲不行就再用点力
FREE?性护士VIDOS呻吟
糖心LOGO免费
年轻的朋友5中文字幕
八重神子拿黄瓜奖励
搞机TIME的恶心软件直接打开不用不收钱
M必做自虐羞耻行为
儿媳妇夸我比他老公大
欧美精产国品一二三类产品特点
用...用点力快要到了视频
往下边塞玉器见客人
走一下撞一下深深咬合的小说
叫大点声今晚家里没人冷
糖心LOGO免费
WRITEAS锁精环
いっしょにしよ
装A刺头怀了禽兽校草崽后
一个人看的免费WWW高清
欧洲无人区天空码头IV在哪一本
137VT最大但人文艺术图
孩子玩着玩着就进去了怎么办
学霸坐在学渣的棒棒上写作业
被C了一晚上是什么体验
JEALOUSVUE成熟50MAOFF狗狗
自我安抚的步骤图
小S货又想挨C了叫大声点小
精产国品一二三区别9977
棒棒糖放屁眼里吸收的视频
色即是空2电影下载
把英语课代表按到桌子上抄
和游泳教练的水下运动
雨后的小故事 动态
小舞新形象PS掉所有衣服图片软件
家里什么可以当阳具用
J8又粗又硬又大又爽又网站
他的白月光HvH桔子糖水
RUNAWAY韩国动漫免费网
春雨直播免费直播视频
小小水蜜桃8高清视频
媛媛和老赵在厨房做
你看桌子上都是你流的
校霸被校草强迫H
大团圆公交车大结局2
麻花豆传媒剧国产MV出差
一边说嗯一边喘气的声音怎么形容
亲爱的老师4韩国西瓜影音
公交车后车座的疯狂的做细节知乎
美国ZOOM人与ZOOM视频
麻豆产精品一二三产区区
by1259改哪里了
原神八重神子草出乳液
95国产欧洲精华液
红豆视频免费资源观看
尾巴插件PLAY冰球文章
为什么一加速女孩子就会哭
胸好软水好多双指探洞
疫情期间草老妈
自w到高c的25种方法
腿再打开一点就能吃扇贝了
三十种交口图片表
岳今晚让我玩个够肥水一体探岳体
JMComicron传送门
深夜办公室哔哩哔哩
jy灌溉系统公交车
福利姬液液酱流奶喷白浆
家里没人儿子就C我了
孩子玩着就C进去了怎么回事
坐在学长的棒子上写作业作文视频
人曾乱码一二三四
比赛谁输谁去谁家受罚随便玩
日本ZLJZLJZLJZLJ喷
野花香社区TV
厚颜无耻韩国动漫在线阅读
宝宝自己坐下来还是我撞进来视频
性 爱 免费 视频
美国ZOOM动物3D
什么样的B型最好进
两扇红唇夹玉柱下联一道清泉
疼插30分钟一卡二卡三卡四卡
最新轮乱合集小说
朋友的妈妈6在观整有限中字
差差差很疼视频无掩丰富
小格式自压原创区
成熟交BGMBGMBGM图片
GARY大猛男GARY2023
S把M骂湿的句子
每天都是被C着醒的
对象一直掐我的奶奶小故事
鞠婧祎打扑克的全程视频
国产乱码卡二卡三卡4W
我就是要在这里要你
欧美无人区码卡二卡卡三卡四
人与畜禽的合作关系
八重神子被焯出白水怎么办
男朋友把我腿打开了
迈开腿我可以尝尝你的味道
只有棉签怎么自罚
国产老狼一卡2卡3卡4卡隐藏版
晚上经常听到婆婆在叫声音
男团共享物by不必南下全文
墨宗师和踏仙君同时干楚晚宁
妹妹中考前让我C了1次作文
校花婉莹被农民工玩
撕掉她的外衣和内衣
一面亲上边一面摸下边打扑克
大型丁香成人社区
晚上睡不着想看点网站
最新三圾片目录大全
老公不在儿子当老公妈妈帮
男男GARY2023
国色天香直播在线播放
瘾欲欢愉作者半块小饼干
永远免费的品色堂
ZOOM和OKZOOM
班长是班级的公共玩具作文
浪翁荡熄的幸福生活
交口图片30种图片大全
绝望教室动漫免费全集
不伦纯爱百度影音
作的女朋友叫的快哭了
欧美IPHONEXSMAX免费
中文日产幕无线码一区2021
上课时突然把跳D开到最大
湖南某学校秋千门
电车之狼3攻略
王者荣耀西施害羞流口水的表情
一边亲着一面膜下奶韩剧动漫
没带罩子让他吃了一天的药没事吧
ACCA少女SDANVI大学
新不夜城综合首页
儿子暗示我想上我
黄光裕是怎么进去的
公孙离去所有衣服
小泽玛莉亚种子
我和黑帮大佬的第365天女主
叔叔帮我看看是不是有虫子咬我
小东西几天没做水这么多
无人区乱码一二三四区别在哪
女生说疼男生越扎的视频
ONE.YG99.AQQ一个致敬韩寒
Gary1609百叔的个人风格
错一道题就往阴里装一支笔
最美情侣高清免费
精品日产一卡2卡三卡4卡三
爸爸吃饭时还要放在里面
亚洲欧洲一码二码区别在哪
双人床上打扑克不盖被子
几天没C水就这么多了
婷婷四月开心色房播播
欧洲最大但人文艺术1588
向涟苍士献上纯
精品一卡2卡3卡四卡在线
亚洲一线产区和二线区的区别
大尺寸小黄说说1000字多肉
小洞饿了想吃大香肠有声音馒头
你男朋友都是怎么上你的
china外卖小哥gary
一顶就叫是为什么
脱色摇床打扑克视频C
直到纯洁的你沦陷未增删谢谢
WRITE AS 爸爸
迈开腿打扑克没有马赛克还有牛奶
解脱mm内衣小游戏
日本在B站直播
精产国品一二三卡区别
GAY空少被体育生开菊
老师家里没人你用点力啊
低头看看我是怎么爱你的
两个奶被揉得又硬又翘怎么
快猫记录世界记录你
Zoom cloud meetings
国精产品自偷自偷综合下载
原神旅行者和甘雨拔萝卜
朋友换娶妻2韩剧
将冰葡萄放在小洞里
把冰块一颗一颗往里堆
英语老师让我吃他的小兔兔
120秒动态图试看
试看30秒做受小视频
东北CHINESE体育生露脸
丫头刚开始会有点疼
老卫干淑荣完整版
如何玩自己的R头到腿软
BURBERRY大片
娇妻两根一起进3p
美国十次 导航
雷电将军乳液狂飙VX网址
韩国妈妈的朋友6整有限中字中国
乱码一卡二卡新区产品入口
天美果冻星空国产剧情
污到爆的巨细文
一边伸舌头一边快速喘气图片
仙踪林老狼 - 八零婚纱摄影工作室
日本动态120秒免费
幸福宝8008隐藏永久入口
5g天天奭5g多人运在线观看免费最新app
英语老师没戴套让我C了一节课
51吃瓜APP
顶流RAPPER女公开裸露下身
120分钟免费用机机视频
一面亲上边一面膜下边打扑克免费
中考姐姐让我c个够作文600字
黑帮大佬和我的365日2第二部
三个人每人c我半小时怎么办
BBOX糟蹋BASS
手游走在腿的最里面
刘氏家族内乱换全章
三个媳妇一锅烩大团圆婚礼
一码二码三码四码五码的区别
夏季短袖看见女同学乳突图
小鲜肉gary2023男的音乐表现
亚洲欧洲卡1卡2新区
坐下来自己慢慢摇
《帐中香》txl金银花
亚洲人一卡4卡5卡6卡7卡
桃花洞口开香蕊落莓苔什么意思
花蝴蝶日本大全免费观看7
国产一二三区别2023
情感的禁区电影日本
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1