有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
日本精品一线二线三线区别在哪里
abp-279
塞跳D开最大挡不能掉老师
两根一起进去疼拔出来
亚洲一线产区二线产区
一边亲一面膜下的
BBOX残忍BASS马
男生摸和咬小兔兔
英语老师让我吃他的小兔兔
EveIynCIairn黑白配
公交车轮C关老师
在车上就要了你
女子半夜莲花开的表现
猫咪国外永久地域网名是什么
潘金莲扬思敏全集1一5集
TOBU8美国24
最美情侣中文观看完整版高清
王熙凤贾宝玉轿中大战
欧亚专线欧洲S码WMY不知所措
qvod 蜜桃成熟时
双方同时高C是种什么体验
成品网站W灬源码16伊园最
16岁日本学生MACBOOKPRO评测
岳两女共夫同床
国产无人区码卡二卡3卡4卡网站
GAY大陆年轻帅小伙2022
无人区码二码三码四码区别
摇摇晃晃公交车XX5
14MAY18_XXXXXL56ENDIANX
好满射太多了装不下了怎么办
数学课代表趴下让我桶视频
狗头萝呼啦圈视频26分钟什么梗
简隋英哭着喊着让李玉退出去
欧美人马狗八AB8ZOZO
Zoom与人性Zoom的区别
老师你的好软水好多的短视频
开车视频有声音免费软件APP大全下载安装
MD豆传媒一二三区
粉色ABB苏州晶体
你看你流了这么多水还说不要
100款夜间禁用软件七客
0adc影库年龄确定
奶糖与烈酒BY封远廷
mdyd-751
BBOX最残忍BASS
金刚杵汆肉莲的介绍
这几天没C你了是不是皮痒了
美女护士献身取精
公交车上一个接一个c
墨燃把楚晚宁按着c
我的兔子好软水好多PO
china外卖小哥gary2022
自制安慰小玩具
王者荣耀黄化网站免费
4G玉蒲团奶水都喷出来了哺乳期
宜春院美国免费十次啦
宝贝儿 我想听你叫的声音
三个人每人C我半小时
李宗?外流视频在线
老师成为班级的公共玩具视频
动漫美女禁处受辱图
蜜芽MIYA188MON牢记永不失联
无耻家庭凯伦的爸爸
男朋友说要吃我的妹妹啥意思
我帮娇妻找粗壮男人玩3P
日本适合十八岁以下的护肤
白天躁晚上躁天天躁2022
BLUED片免费观看视频
5g天天奭多人运动绿色视频在线观看
数学班长哭着说太深了门派站
PAYPAL未满十八岁
迈开腿让我看看你的照片图片
空姐前规则高清观看在线
我成了班级的发泄玩具的作文
狗狗的东西一放里就变大
小东西几天没做怎么这么多水作文
我撕开岳的丁字裤
清纯校花沦为胯下玩物
刚开始一深一浅后来逐渐变大
又粗又硬又长受不了
国精一二二产品无人区免费应用
最好免费观看高清播放
全国AAAA和AAAAA景区
日本精产国品一二三产品区别
ed2k 泷泽萝拉
麻花视频3.2.2
造孩子的全过程不盖被子
一二三四日本无吗
宝贝对着摄像头自己做1V1
动漫RH男1做0车车的车车视频
mide-007
我的漂亮女房东完整版
不小心缩小掉进女生的午饭里
撕掉她的外衣7
一下子接5个客人疼死了
娇妻在我面前被多p
全是肉的高h短篇列车
337VT最大但人文艺术西方
幸福宝8008app隐藏入口免费 小说
镜子里看我怎么进入你阅读视频
READ[长弓燧龙] 甘雨 (原神)
EveIynCIairn黑白配
男朋友C你的时候怎么说你
哔哩哔哩大尺寸床车视频
adc影院0adc在线
8x8x我要打机飞在线观看
yeezy380蜜桃粉和白色
农场ZOOM与人性ZOOM区别
RAPPER一姐潮水
伽罗ちゃんが腿法角色解析
RAPPER老妇人
最近日本MV字幕免费高清
迈开腿让我吃一下你的小草莓
把腿张大点我就可以吃到扇贝了
51精产国品一二三产区
他C过你这里嘛
writeas尿道口
妈妈的朋友7完整视频有翻译木瓜
可以触碰你的深处吗 樱花
校园车多肉多的1V2
黑料不打烊最新2021地址
无人区玫瑰第二
马人配驴杂交种好吗图片
99w乳液78w78w永久
农村人乱弄一区二区的处罚方式
都生了宝宝了还那么紧
成都1片P高清完整版HD免费
今天晚上让你哭着喊停
老赵抱着媛媛在厨房做视频播放
打烊后仅剩二人的沙龙
女生说痛男生越往里寨的视频
男朋友说要吃我的妹妹啥意思
jmcomicron
善良的老师3有限中字
GARY18一19
终于又可以吃到你的jy了
原来这才是春秋5
女人好大好涨水好多
儿子突然要上自己怎么办
国产精华液一线二线三线区别
只有棉签怎么自罚
啊 啊用你的舌头是什么歌
掀开衣服左边吸完吸右边
老旺的大肉蟒进进出出视频
开心四房色播网
性饥渴的女邻居HD免费观看
品色永远免费堂论坛
中国高清VPSWINDOWS野外
51FUN吃瓜网官网
女生让男生随便诵自己的名字诵
走绳子打结PLAY
最近中文字幕MV在线视频2018
卡一卡二新区无人区
老阿姨儿子一二三区
95w乳液78wyw永久
免费b站推广网站入口202
原来这才是春秋5
白洁一夜挨十炮
两个人一前一后攻击舒服吗
没带罩子让他c了一节课作文在
老熟女重囗味HDXX70星空
两个乳房像兔子一样跳出
朕现在就让你怀上
随时随地都能干的学校教师有哪些
少妇被粗大的猛烈的进出69影院
把老公撩硬的表情包图片
18岁末年禁止观看的网站免费
けんじゃたいむ黑土腿法娴熟
红酒瓶塞住不准掉下来
集体轮乱大全小说
13岁B里能放几支笔
水都拉丝了啊甩的到处都是
污网站WALLPAPER共享人可以看到订阅
人与善交XUANWEN18
女生迈开腿让男生吃草莓膀胱
大神同学想被吃掉的樱花
侯府荡女H叶凝欢H
黑土ちゃんが腿法娴熟を视
水蜜桃文化传媒
亲爱的老师6中文版完整版网盘
终于你离开我的世界
顶的速度越来越快越叫的原因
车文超多描写具体
女人自卫慰图片
输了让同学玩隐私位置游戏
国精产品一区一区三区糖心
甘雨挤出白色脓液
李信抬起阿离的腿就是C视频
中国人も日本人も汉字を
泷泽萝拉第三部ed2k
最近韩国动漫HD免费观看
数学课代表的那真紧视频
肚子里面满满的都是JY日记
把冰葡萄一颗一颗往里堆
公婆总是夜里恩爱声音大
xxxholic 春梦记
从校服到婚纱1H柠檬
爸的大还是你老公的大
天天躁人人躁人人躁狂躁
濑亚美莉最好看的几部
年轻母亲8免费观看在线高清
无人区免费一二三四乱码
清纯校花系列h文
雨后小故事动态图片
女生迈开腿让男生打扑克二次元
国精产品一二三线
soe-992
丁香婷婷五月情天
拍摄指南BY飞机纸飞机
美丽的小蜜蜂美国版1娃娃脸
春色无边女儿国
没带罩子让校霸C了一节课小作文
日本厉害的RAPPER网站
永远的免费论坛
一边亲着一面膜胸口韩国
网站正能量www正能量网站大全
宝宝才三根手指就湿成这样了啊
2021一本线
斗罗大陆小舞大乱斗交大游戏
三叶草亚洲尺码和欧洲尺码区别
绞的他低吼了一声
最后一夜BD韩国
东西小东西这才一根手指
小东西他想你了给他好不好
狗狗的大东西在人里什么感觉
老外和中国女人毛片免费视频
脱色摇床打扑克视频C
女生让男生诵自己的游戏
电影潘金莲1 一5集
女儿就是留给爸爸用的
做完后堵上不让流出来作文
免费网站在线观看人数在哪里
秘密教学110话我需要灭火
天美果冻女儿的梦想
宝宝的扇贝真会夹
虫虫漫画页面在线阅读弹窗
是不是想让我弄你了视频
漂亮的桃子5意大利语翻译
被学长C了一节课怎么办
妈妈的朋友5在线观看线观高清中文
来吧儿子妈妈是你的人是什么歌儿
迈开腿让学才尝尝你的
坐公交车最后一排轮
羞羞漫画在线看免费阅读破解
被子里怎么无声自罚疼到哭
人性短片30分钟
十九岁韩国HD免费完整版
交口的30个图片
津渝视频完整百度云盘
黑龙江大学3号楼事件视频
写作业写着写着就插起来了
公交车轮C关老师
中国XXXXXL15仙踪林
日本RAPPER潮水RAPPER万家乐
黄金网站app免费视频大全
男人激烈吃奶动态
男朋友给我买了振荡器好不好
任你玩人免费视频
数学课代表趴下让我桶
被自己家狗狗C了
感受到它在里面动了吗
女教师二十三歳
含羞草实验室隐藏入口
缓慢而有力的往里挺送的文案
赴约BY际慈PO
在床上打扑克不盖被子会怎么样
53岁沈阳老阿姨叫得没谁了
双生子的玩具2V1
欧洲精品不卡1卡2卡三卡
用我的棒棒疏通下你的水道
网曝吃瓜黑料一区
作的女朋友叫的快哭了
旅游和父亲开一间房间做了
妇女被深耕过后有哪些表现呢图片
啊哈别别揉那处了
男生说捅爆你的甜甜圈
国色天香卡2卡三卡4
污到你那里滴水的说说细节
三个人搞你一个可不可以
Javaparser厨房好妈妈
by1259改哪里了
甘雨安慰下部CG漫画在哪看
亲爱的老师3韩国完整
夜深了看点刺激的
穿越到随处做X的游戏世界
md传媒免费观看在线 小说
成品网站nike
芳芳的性幸福生活18 章
家里没人儿子就弄我了什么意思
打扑克视频又叫又疼
量近2019中文字需大全规须1
无翼乌全彩无漫画大全
蜜桃成熟33d完整版
野花视频官网手机免费观看
谁输了去谁家受罚抽阴可处置
儿子一晚上要我三回怎么办呢视频
痞幼视频黑料不打烊
段嘉许把桑稚做哭场面
20岁女RAPPERDISSSUBS汉语
无颜之月怎么看不到了
小船摇曳大船h
大菠萝导航福建APP网站进入404
2023钙Gy钙站
做运动打扑克免费视频大全
英语课代表趴下让我桶
黑帮大佬和我的365日第2季剧情
瑶被淦的生活不能自理图片
S货是不是想挨C叫大
胸的手感怎么样
青梅被从小摸到大H补课1视频
小洞饿了想吃大香肠的注意事项
VODAFONEWIFI18
荫道BBWBBB高潮潮喷
无限动漫视频在线观看
父母儿女媳妇一起来玩的说说搞笑
父亲的东西又长又黑的说说
30秒不间断踹息声音频下载
放课后の校庭を走る君がいた
国精产品999永久中国有限公司
一二三四免费中文在线1
WRITEAS红酒塞
日产无人区二线三线乱码
疯狂伦交2完整版
伦理在线看年轻的母亲4
BRANDILOVE超清在线
上边一个日下边一个非念啥电影
by1259改哪里了
WRITEAS遥控器
塞一天冰块不可以掉下来
漂亮的丰年经的继拇了中
好快啊哈哈哈哈
老师洗澡让我进去桶她的视频
naruto henta
朋友的母亲3在完整有限中字第
腿再张大点就能吃到扇贝了
女人巨大荫蒂勃起
亚洲乱码卡一卡二卡新区中国
欧洲人物动物交互咬合视频
巴西女人与禽2O2O性论交
国精产品一区一区三区糖心
太深了吧唧吧唧吧唧吧唧吧
旅行者插了雷神视频
家里没人儿子就C我了
公么天天吃我奶躁我
描写地很细致的DOI过程
他缓慢而有力的往里挺L
把腿开到最大就不疼了真的吗
免费国精产品一二二三
进来吧晚上英语老师就是你的了
CHINA篮球体育飞机2023
激荡的瑜伽教练
2021年19岁RAPPER潮水
污污免费看锕锕锕锕锕锕锕
填的满满的 不要了
2019朝国免费理论
一二三四在线观看高清韩国视频
老师家里没人你用点力
第四色最新网站
幻音 腐 肉补钙
向涟苍士献上纯樱花
妈妈的朋友4电影中字翻译
美女露100%双奶头无遮挡免费
装睡让我滑进她的身体
yellow动漫网
亚洲卡1卡2卡四卡乱码
麻豆传煤入口免费进入2023
单身男女2粤语
被拉到学校没人地方C
农妇肉体AABBWHBBW
宝宝我们对着镜子做
蘑菇视频APP下载安装无限看-丝瓜安卓苏州
虫虫漫画页面在线阅读弹窗
集体轮乱大全小说
极品Y荡人生白柔柔
WRITE AS腿交
艳情短篇160章
性工作者十日谈粤语
极乐院女子高寮物语
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1