沃卡logo

据报道,微软正在开发拥有5000亿个参数的MAI-1人工智能模型

2024-05-09来源:

据报道,微软正在开发拥有5000亿个参数的MAI-1人工智能模型

据The Information近日报道,微软公司正在开发一个拥有约5000亿个参数的大型语言模型。

据悉,这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。

OpenAI在2020年中期推出GPT-3时,详细说明了该模型的初始版本拥有1750亿个参数。该公司透露,GPT-4的规模更大,但尚未透露具体数字。有报道称,OpenAI的旗舰LLM包含1.76万亿个参数,而性能与GPT-4相当的Google LLC的Gemini Ultra据说有1.6万亿个参数。

据报道,微软的MAI-1包含5000亿个参数,这表明它可以被定位为GPT-3和ChatGPT-4之间的一种中端选择。这样的配置可以让模型提供较高的响应精度,但耗电量却大大低于OpenAI的旗舰LLM。这将降低微软的推理成本。

据The Information报道,MAI-1的开发工作由LLM开发商Inflection AI公司的创始人Mustafa Suleyman负责。据称,微软以6.25亿美元的价格收购了这家初创公司,Suleyman与这家公司的大部分员工一起于今年3月加入微软。这位高管早些时候曾与他人共同创办了谷歌(Google LLC)的DeepMind AI研究小组。

据报道,微软可能会使用Inflection AI的训练数据和某些其他资产来支持MAI-1。据说该模型的训练数据集还包括各类信息,包括由GPT-4生成的文本和网页内容。据报道,微软正在使用配备英伟达显卡的“大型服务器集群”进行开发。

The Information的消息来源指出,该公司尚未决定如何使用MAI-1。如果该模型确实拥有5000亿个参数,那么它就太复杂了,无法在消费类设备上运行。这意味着微软最有可能在其数据中心部署MAI-1,将LLM集成到必应和Azure等服务中。

据信,如果MAI-1能够显示出足够的前景,微软将在5月16日举行的Build开发者大会上首次发布MAI-1。这暗示该公司有望在几周内拥有该模型的工作原型(如果现在还没有的话)。

正在开发MAI-1的消息传出之前不到两周,微软刚刚开源了一个被称为Pi-3 Mini的语言模型。据该公司称,Pi-3 Mini拥有38亿个参数,性能超过规模是其10倍以上的LLM。Pi-3是人工智能系列的一部分,该系列还包括另外两个更大、性能稍好的神经网络。

  图片使用申明:原创文章图片源自‘Canva可画’平台免费版权图片素材;引用文章源自引用平台文章中所使用的原图。