网大论坛

 找回密码
 立即注册
查看: 711|回复: 8

清华、哈工大把大模型压缩到了1bit,把大模型放在手机里跑的愿望就快要实现了

[复制链接]

老战友

Rank: 5Rank: 5

1454

积分

0

贡献

0

奖励
发表于 2024-3-3 16:17:27 | 显示全部楼层 |阅读模式
近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能!
$ J8 o! p' V2 X6 F! y1 L7 ~自从大模型火爆出圈以后,人们对压缩大模型的愿望从未消减。这是因为,虽然大模型在很多方面表现出优秀的能力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示,进而节省空间占用。目前,主流方法可以在几乎不损失模型性能的情况下把已有模型压缩至 4bit。然而,低于 3bit 的量化像一堵不可逾越的高墙,让研究人员望而生畏。
) T8 F) {, D2 L, J/ c- h/ r* Q/ P; s近期,一篇由清华大学、哈尔滨工业大学合作发表在 arXiv 上的论文为突破这一阻碍带来了希望,在国内外学术圈引起了不小的关注。这篇论文也在一周前登上 huggingface 的热点论文,并被著名论文推荐师 AK 推荐。研究团队直接越过 2bit 这一量化级别,大胆地进行了 1bit 量化的尝试,这在模型量化的研究中尚属首次。5 V* @- i% o/ ^/ S; Y  B2 \

青铜长老

Rank: 7Rank: 7Rank: 7

2650

积分

0

贡献

0

奖励
发表于 2024-3-3 16:18:38 | 显示全部楼层
恭喜哈工  哪位教授发的  我去问问想不想来我同

中级站友

Rank: 3Rank: 3

161

积分

0

贡献

0

奖励
发表于 2024-3-3 17:08:45 来自手机 | 显示全部楼层
waldvogel 发表于 2024-3-3 16:18
" W& S' y, p2 y% \, c; b恭喜哈工  哪位教授发的  我去问问想不想来我同
& E1 V$ Y$ |, w$ T6 n! Z2 ?7 y
你同挖清华的更好啊

高级战友

Rank: 4

547

积分

0

贡献

0

奖励
发表于 2024-3-3 17:23:13 来自手机 | 显示全部楼层
车万翔的通讯

黄金长老

Rank: 9Rank: 9Rank: 9

4048

积分

0

贡献

0

奖励
发表于 2024-3-3 17:26:03 | 显示全部楼层
高傲的孤狗 发表于 2024-3-3 17:23' {$ Q+ j; r: R; r! Z; _
车万翔的通讯

( D" f6 H1 [6 X车老师今年能上一个高层次不

禁止发言

1711

积分

0

贡献

0

奖励
发表于 2024-3-3 17:32:49 来自手机 | 显示全部楼层
waldvogel 发表于 2024-3-3 16:18
. _% G' K: j2 g* n. K6 U! D, W4 J恭喜哈工  哪位教授发的  我去问问想不想来我同
# b& I: ~+ p0 x7 d
也不是说,你同想挖哈工大哪个就挖哪个的。

青铜长老

Rank: 7Rank: 7Rank: 7

2650

积分

0

贡献

0

奖励
发表于 2024-3-3 17:36:37 来自手机 | 显示全部楼层
车老师抗冻啊

老战友

Rank: 5Rank: 5

1635

积分

0

贡献

800

奖励
发表于 2024-3-3 17:53:10 | 显示全部楼层
联发科在巴塞罗那的MWC展台:" c' }  n% n6 U. S3 S7 h8 e! r
与观众互动搞实时AI视频生成,, Z6 U' k9 ~% |- b
观众在联发科终端手机输入扼要文字,就可实时获得一小段与文字合意的视频。
( |2 B0 Y4 D) f3 _; {. L
: ^! b2 t5 h0 X

黄金长老

Rank: 9Rank: 9Rank: 9

4048

积分

0

贡献

0

奖励
发表于 2024-3-3 18:41:51 | 显示全部楼层
waldvogel 发表于 2024-3-3 17:367 J% {- B1 d) z6 e
车老师抗冻啊

/ i7 V& L' Q- F你沪不取暖是真冻
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

论坛的微信公众号(二维码如下),关注获取更多科教信息

Archiver|手机版|网大论坛 ( (鄂ICP备2021013060号-2) )

GMT+8, 2024-4-15 01:33 , Processed in 0.143420 second(s), 20 queries , Gzip On.

鄂公网安备 42018502005923号

Powered by Discuz! X3.4

Copyright © 2001-2022, Tencent Cloud.