半年前我对语言模型嗤之以鼻
mkx翻出来的 我想了想原因
当初对大语言模型的理解太片面了,用ELIZA的思维去想,觉得语言模型不过是有一种以前未曾有过的表现,给人一种前所未有的智能印象。但是做事需要的是行动,并且往往是连续的行动,这是语言做不到的,而语言只是间接地描述行动吧啦吧啦的
问题就出在这里:行动可以被语言描述。那语言就不再是我以前理解的那个语言,而是可以承载许多不可解释的东西的媒介,就像模型中的权重一样。人类找到一个相对通用的方便计算的东西来让机器来统计其中的规律,这个东西就是语言。我之前没往这方面想。
但其实之前想的也不全错,因为确实目前就是找到语言这个方便计算的东西。但转念一想,语言,现阶段的语言只是人类的语言,但如果我们把一切可序列化的内容都拿去训练呢?(现在的多模态同理)这么理解“语言”和“语言模型”,诶哟 感觉以前的自己确实是蒙在鼓里