时间:2023-12-25人气:作者:佚名
苹果公司于 2023 年 10 月与哥伦比亚大学的研究人员合作发布了名为 Ferret(雪貂)的开源多模态 LLM,但当时并没有引起太多关注。
许多人工智能社区的人士都错过了 Ferret 的发布,他们对苹果意想不到地进入开源 LLM 领域表示欢迎,尤其是因为苹果传统上被认为是一个“封闭花园”。
今天早上,经营着一个专注于医学领域开源人工智能的欧洲非营利组织的 Bart de Witte在 X 上发帖:“我不知何故错过了这一点,苹果于 10 月加入了开源人工智能社区。Ferret 的推出证明了苹果致力于影响深远的人工智能研究,巩固了其在多模态人工智能领域领导者的地位……ps:我期待着有一天,本地大型语言模型(LLLMs)作为重新设计的 iOS 的集成服务运行在我的 iPhone 上。”
科技博客作者和 VentureBeat 撰稿人 Ben Dickson 在 LinkedIn 上写道:“2023 年你最意想不到的人工智能发展是什么?对我来说,这是苹果发布开源 LLM(尽管是非商业许可)。”
Ferret 以非商业许可证开源,这意味着它目前的版本不能用于商业目的。然而,它未来有可能被用于苹果未来的产品或服务中。苹果 AI / ML 研究科学家 Zhe Gan 在今年 10 月的一条推文中解释了 Ferret 的用途,称它可以“在一个图像中的任何地方、任何粒度上引用和定位任何事物”,它还可以使用图像中任何形状的区域来实现这一点。
简单来说,Ferret 可以检查图像上绘制的区域,识别其中的元素,并将其框选起来。然后,它可以将识别出的元素作为查询的一部分,并以典型的方式进行响应。例如,用户可以在图像中突出显示一只动物,并询问其种类,Ferret 可以识别出该动物的物种,并知道用户指的是图片中的一只特定动物。它还可以利用图像中其他元素的上下文提供进一步的响应。
Ferret 的发布对研究人员来说意义重大,表明苹果正在逐步开放其 AI 研究,这与其以往神秘封闭的形象形成了鲜明的对比。此外,苹果也面临着基础设施方面的挑战。虽然苹果正在努力增加其拥有的 AI 服务器数量,但与 ChatGPT 等模型相比,其规模可能仍然不足。除了与其他公司合作扩展其能力之外,开源模型也是苹果正在探索的另一条路径。
我们注意到,一个有趣细节是,Reddit 的 r / Apple 版块发现 Ferret“使用了 8 个带有 80GB 显存的 A100 GPU 进行训练”。鉴于苹果过去与英伟达 GPU 的支持关系,这被视为苹果对英伟达的罕见认可。