转：专治大模型说胡话，精确率100%！华科提出首个故障token检测方法
本帖最后由 Andy8888 于 2024-4-23 08:31 编辑【新智元导读】针对大模型偶发脑回路故障难题，最新研究GlitchHunter收集了大量故障词元，并针对不同情况进行分类，极大改善了大模型的输出质量。如今，大型语言模型（LLM）已经成为了我们生活中的好帮手。当用户使用大模型时，模型首先会将输入的内容拆分成一个个的词元（token），通过分析这些词元来生成答案，为我们解答疑惑、提供建议、翻译外语、撰写报告······但是，你能想象大模型也会出错吗？想象一下，你正在使用最新款的智能手机，它快速、聪明、几乎可以做任何你想要的事情。
但偶尔，你发现手机的一两个按键不按常理出牌——比如说，你按下「S」，它偏偏跳出「E」，或者干脆点了没反应，那估计用的时候就只想砸手机了。大模型中存在一些故障词元（glitch token），一个个本应协助模型流畅运行的小小词元，偏偏要搞点小破坏。针对这个情况，由华中科技大学、南洋理工大学等高校联合组成的研究团队近日发表了一项研究，该工作已经被软件工程领域国际顶级会议——FSE 2024接收。该研究是第一个关于故障词元的全面研究，并且研究中针对故障词元的检测方法为减少大模型中与分词（tokenizer）相关的错误提供了有意义的见解。
简单来说，这项研究就像是在告诉我们：在大模型的世界里，有些小故障不仅仅是小插曲，它们可以大大影响模型的输出质量。通过识别出这些故障，可以更好地理解和优化这些聪明但偶尔会犯糊涂的大型语言模型。
论文简介
这篇工作中，作者首先提出了一个实证研究来了解故障词元在大语言模型中的存在性与普遍性。作者调查了包括GPT-4，Llama-2在内的七种热门的大模型，其中包含了三种不同的分词器，总共分析了十八万个不同的词元。作者要求大模型完成针对词元的三个基础且简单的任务：复现，拼写以及求长度。根据不同的词元的完成情况，作者从完成形式上不能完成任务的词元分为了如下图所示的5个种类。在此基础上，只要这个词元不能够完成以上的三个任务之一，他就会被标记为故障词元。实证研究的第二个问题是对故障词元的形式进行分类。这些词元有些是不同单词的组合，一些是无意义字母的堆叠，还有一些是单纯的无意义的符号。作者通过人工标注的方法，将这些所有的故障词元分为了表所示的5个种类。实证研究的第三个问题故障词元在真实的数据集中的存在情况。作者研究了包括Alpaca，ShareGPT在内的用于大模型微调的主流数据集，发现在每个数据集中平均有2%以上的故障词元。这说明了故障词元在数据集中很普遍，而且很可能会影响到使用这些数据集进行微调的模型的效果。
在实证研究中作者还发现，故障词元在嵌入空间中有聚集效应，这便启发作者可以通过聚类的算法来完成针对故障词元的识别工作。
作者基于上述的发现构建了GlitchHunter，一种用于检测大模型中故障词元的自动化工具，主要依赖迭代聚类技术来识别潜在的故障词元群组，整个检测- 假设检验：在每个词元群组内，GlitchHunter进行假设检验，通过分析群组内词元的行为和输出结果来找出群组内行为显著偏离预期规范的词元，确定哪些群组实际上包含故障词元。- 更新与迭代：选定包含故障词元的群组后，这些词元会被整合到一个更新的词元嵌入图中。随后，GlitchHunter会继续进行聚类和检测，直到词元嵌入图不再经历任何更新，即没有新的故障词元被发现。通过这种方法，GlitchHunter能够有效地在大数据集中快速定位并处理故障词元，减少错误输出，提高语言模型的整体质量和可靠性。为了验证GlitchHunter的效果，本文采用了几项关键指标来比较GlitchHunter与几种基线方法的性能，包括随机抽样、基于规则的随机抽样和K-means聚类。评估结果显示，GlitchHunter在各个测试模型中普遍表现出色。首先，GlitchHunter的真阳性率（True Positive Rate）显著高于其他方法，这表明它在实际检测到故障词元的准确性方面表现优异。同时，其精确度（Precision）达到接近或等于100%，远高于其他比较方法，这反映了其在识别故障词元时的高精确性。
在召回率（Recall）方面，GlitchHunter同样展现了较高的性能，有效地识别了大部分存在的故障词元，确保了较少的遗漏。
此外，GlitchHunter相较于完整遍历词元表的方法，显著减少了所需的时间和处理的词元数量，展示了其在达到高性能的同时保持了较低的资源开销。这些评估结果充分验证了GlitchHunter在实际应用中提高LLM输出质量和可靠性的潜力，证明了其作为故障词元检测工具的有效性和实用性。
未来工作在这个工作中，作者完成了对故障词元的系统性探究，但是对于故障词元出现的原因以及如何进行修复并未进行过多的探讨，而这也是进行故障词元研究的终极目标：解决掉所有这样的故障词元，完善大语言模型对于每一个词元的理解。
说胡话挺可爱的 新智元、机器之心就是UC震惊体在公众号上的典型代表 “在这个工作中，作者完成了对故障词元的系统性探究，但是对于故障词元出现的原因以及如何进行修复并未进行过多的探讨，而这也是进行故障词元研究的终极目标：解决掉所有这样的故障词元，完善大语言模型对于每一个词元的理解。”
————————————————
这是一种机械论观点，根本不知道“解构”这个词。信息交流并不是100%互相传输的，没有任何文本是不可被解构的。理科里有测不准原理，量子态里不能同时测定动量和速度。 人工智能是大概率智能，尤其是涉及语言表达的精确度问题。
其实对于大多数观念，人类使用语言本身只能近似表达其意思，而达不到精确的地步。
AI更是如此。
哪怕是最精确的电子计算机给出最精确的答案，其身后总还是存在截断误差的。
躲猫猫的猫 发表于 2024-4-23 10:46
“在这个工作中，作者完成了对故障词元的系统性探究，但是对于故障词元出现的原因以及如何进行修复并未进行 ...
的确如此
如果把《红楼梦》解构，那只剩下《康熙字典》里面的万把个汉字。
诗句“床前明月光”一解构，那就只有“光，床、明、前、月’”五个字。
tsenway 发表于 2024-4-23 11:53
的确如此
如果把《红楼梦》解构，那只剩下《康熙字典》里面的万把个汉字。
诗句“床前明月光”一解构，那 ...
所以机器怎么“领悟”呢？怎么“意会”呢？:dizzy::lol 躲猫猫的猫 发表于 2024-4-23 10:46
“在这个工作中，作者完成了对故障词元的系统性探究，但是对于故障词元出现的原因以及如何进行修复并未进行 ...
你一个文科生对理科相关问题有如此见解很难得啊。只要愿意当网红你分分钟抢项X刚风头。:lol Andy8888 发表于 2024-4-23 12:45
你一个文科生对理科相关问题有如此见解很难得啊。只要愿意当网红你分分钟抢项X刚风头。 ...
你一个工科生对文科相关问题有如此见解很难得啊。只要愿意当网红你分分钟抢夹头风头。:lol 本帖最后由 Andy8888 于 2024-4-23 13:01 编辑
躲猫猫的猫 发表于 2024-4-23 11:56
所以机器怎么“领悟”呢？怎么“意会”呢？
其实只要大模型在海量数据库进行海量数据训练，AI通过自我学习获得了丰富的知识以及强大的推理能力后联系上下文或海量训练成果里学到的做到“领悟”和“意会”是完全可能的。 Andy8888 发表于 2024-4-23 12:56
其实只要大模型在海量数据库进行海量数据训练，AI自我学习后联系上下文或海量训练成果里学到的做到“领悟 ...
它只能通过数据进行形式模仿，但是无法进行生化过程啊:lol
它懂表层，但是不懂深层；它有智能，但是没灵魂啊:curse: 躲猫猫的猫 发表于 2024-4-23 13:02
它只能通过数据进行形式模仿，但是无法进行生化过程啊
它懂表层，但是不懂深层；它有智能，但是没灵 ...
不少业内专家预言真正意义上的人工智能AGI(通用人工智能）时代应该很快就会到来（2029年前）。到时你想找个AI老婆或女朋友都不在话下。:lol Andy8888 发表于 2024-4-23 13:09
不少业内专家预言真正意义上的人工智能AGI(通用人工智能）时代应该很快就会到来（2029年前）。到时你想找 ...
即使真如华金凤凰兔唇男主演、黑寡姐配音的《她》那样，能同时跟几万个男人谈恋爱；或者像《生化危机》那样，每个生化人在展示自己的独门绝技后，都会告诉惊愕的同类自己的代辈和型号。但那也只是运算能力强而已，知其然而不知其所以然。
当然，如果发生了人工智能+生物化学，那就非常牛逼。但仍然有个问题：这类产品的主体意识有多强？在婴儿期镜像阶段之前，人类不加区分地吸纳一切信息，但这些信息全在潜意识里，不会进入意识，因为那时候不存在主体“我”。人工智能人有吗？
再说，你这个100%，我怎么都不信。 本帖最后由 Andy8888 于 2024-4-23 15:15 编辑
躲猫猫的猫 发表于 2024-4-23 14:41
即使真如华金凤凰兔唇男主演、黑寡姐配音的《她》那样，能同时跟几万个男人谈恋爱；或者像《生化危机》那 ...
虽然到目前为止人类貌似最完美的生物/生命，但人类除了大脑，在速度、体力、视力、听力等等多方面不如其它生物物种，人类通过有创造性的大脑、通过仿生学来发明使用工具、机器放大自己的力量、速度、感知能力等，间接强化自己的能力，做到自己直接无法做到的事情。计算机的算力也远超人类自身计算能力无数倍。如果人工智能进化到具有自主意识、自我感知、自我学习和具有强大的推理能力，以至于远超人类自己，那人类将远非其对手，如围棋的AlphaGo、各种象棋软件等以证明人类远非其对手，况且人类有感性、情绪等会影响其理性决策，而AI完全理性决策，具有可怕的冷静和稳定性。这种情况下构成生命的生物化学成分/因素不是优势而成为劣势了。
引文中所说的100%是指故障词元可以100%被检测出，这个应该是经过大量测试验证后得出的结论。
页:
[1]