2025-01-26 行业资讯 0
在一个意外的转折中，一次泄密事件不仅揭开了Meta语言大模型LLaMA背后的神秘面纱，还点燃了"ChatGPT平替"狂潮的火花。事情始于今年2月24日，当Meta发布了LLaMA，这个参数量远小于GPT-3的大型语言模型，它令人惊叹地能提供优异的性能，甚至引起了一些研究人员对其潜力进行探索。
然而，紧随其后，便发生了一件让人难以置信的事情。一位匿名用户在日本论坛4chan上上传了一份包含LLaMA模型源代码的种子文件。这个文件体积庞大达到了219GB，下载量迅速激增，很快就超过千次。这不仅让原本应该是通过审核才能获得该模型的人们得以自主部署，还有用户开始分享如何修改和使用这些模型来提升推理能力等技巧。
此举遭到Meta官方3月6日强烈谴责，他们声称将继续向经过审核的研究人员提供正式渠道，同时也在努力控制这场源代码泄露事件。此后，一系列针对AI领域新技术的发展便如同一股不可阻挡的浪潮席卷而来：
斯坦福大学宣布推出了基于LLaMA微调训练的大型语言模型Alpaca，只需52k数据即可达到与GPT-3.5相当的地步，而且训练成本低至600美元。
Nebuly AI公司则开源了基于LLaMA构建的一款个性化ChatGPT服务——ChatLLama，其训练速度更快、成本更低。
加州大学伯克利分校和其他几所顶尖学府共同开发了ColossalChat，该项目利用一种名为RLHF（奖励机制）的强化学习方法，并且基于预先训练好的LLaMA模式，为用户提供类似ChatGPT服务。
同一天，加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校合作开发的一个项目Vicuna被开源，该项目展示出与GPT-4性能相近，但只需300美元进行训练。
最终，在4月3日，加州伯克利人工智能研究所发布了Koala，这是一个微调过后的另一个版本，与前述多个版本均能实现超过一半的情况下与ChatGPT性能相当。
尽管目前是否存在直接关系尚未明确，但可以肯定的是，以元宇宙大师级别言论“羊驼”(LaMa)作为关键时间点，大批数值计算系统研发活动爆炸式增长。而对于这一系列发展，有些人视之为一次突破性的进展，而有些则认为这是元宇宙科技领域内部权力斗争的一部分。在这种背景下，不少声音呼吁，对待开放性和闭环管理之间应找到最佳平衡点，以促进科研创新同时保护隐私安全。
