清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了

tdub720 · 发表于 2024-3-3 16:17:27

近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目前，主流方法可以在几乎不损失模型性能的情况下把已有模型压缩至 4bit。然而，低于 3bit 的量化像一堵不可逾越的高墙，让研究人员望而生畏。
近期，一篇由清华大学、哈尔滨工业大学合作发表在 arXiv 上的论文为突破这一阻碍带来了希望，在国内外学术圈引起了不小的关注。这篇论文也在一周前登上 huggingface 的热点论文，并被著名论文推荐师 AK 推荐。研究团队直接越过 2bit 这一量化级别，大胆地进行了 1bit 量化的尝试，这在模型量化的研究中尚属首次。

waldvogel · 发表于 2024-3-3 16:18:38

恭喜哈工哪位教授发的我去问问想不想来我同

w339064272 · 发表于 2024-3-3 17:08:45

waldvogel 发表于 2024-3-3 16:18
' {( r1 t7 H, ]: p$ ?% M1 n# R恭喜哈工哪位教授发的我去问问想不想来我同

你同挖清华的更好啊

高傲的孤狗 · 发表于 2024-3-3 17:23:13

车万翔的通讯

congyun · 发表于 2024-3-3 17:26:03

高傲的孤狗发表于 2024-3-3 17:23
/ i3 k3 |) H5 l车万翔的通讯

车老师今年能上一个高层次不

蜗牛爱吹牛 · 发表于 2024-3-3 17:32:49

waldvogel 发表于 2024-3-3 16:18+ A) F# y! ~! F& k0 q% \$ }
恭喜哈工哪位教授发的我去问问想不想来我同

也不是说，你同想挖哈工大哪个就挖哪个的。

waldvogel · 发表于 2024-3-3 17:36:37

车老师抗冻啊

tsenway · 发表于 2024-3-3 17:53:10

联发科在巴塞罗那的MWC展台：
与观众互动搞实时AI视频生成，
观众在联发科终端手机输入扼要文字，就可实时获得一小段与文字合意的视频。

congyun · 发表于 2024-3-3 18:41:51

waldvogel 发表于 2024-3-3 17:362 {. }. w0 Q. W9 L/ l
车老师抗冻啊

你沪不取暖是真冻

		自动登录	找回密码
密码			立即注册