2025-01-25 科技 0
在量子位公众号QbitAI的报道中，明敏和杨净从凹非寺发出了震撼人心的消息。他们揭示了一个令人惊讶的事实：即使是像吴恩达这样的大神，也会发现ChatGPT在处理一些基本任务时存在低级错误。例如，当它被要求反转单词“lollipop”时，它竟然输出成了“pilollol”，完全混乱。这一发现让网友们在Reddit上激烈讨论，帖子的热度迅速升至6k。
有人尝试解释了ChatGPT为什么无法正确处理这些简单的单词任务。它们归结于token-to-char（token到字符）的比例高导致处理成本增加，而中文 tokenize比英文更贵。此外，模型通过token来理解人类现实世界，但将单词分解成tokens会降低模型学习有意义输入表示的能力。
尽管如此，这些大型语言模型已经实现了惊人的效果，可以很好地理解人类语言。然而，对于无法处理单词反转这样的小任务，有多种解决方案，如手动分开每个字母或让ChatGPT一步一步来。如果使用更先进的版本如GPT-4，那么这样的问题就不会出现。
总之，token是AI理解自然语言的基石，其重要性随着技术发展而日益凸显。在未来，我们可以期待看到更多关于如何利用tokens提高AI性能以及对其计费标准等方面的问题得到探索和解决。
