近日,SemiAnalysis 分析师带来了更多关于谷歌多模态和高效机器学习工具 Gemini 的爆料。
据透露,初代的 Gemini 应该是在 TPUv4 上训练的,并且这些 pod 并没有集成最大的芯片数 4096 个芯片,而是使用了较少的芯片数量,以保证芯片的可靠性和热插拔。
如果所有 14 个 pod 都在合理的掩模场利用率(MFU)下使用了约 100 天,那么训练 Gemini 的硬件 FLOPS 将超过 1e26。
Gemini 已开始在新的 TPUv5Pod 上进行训练,算力高达 1e26FLOPS,比训练 GPT-4 的算力还要大 5 倍。另外,Gemini 的训练数据库为 Youtube 上 93.6 亿分钟的视频字幕,总数据集大小约为 GPT-4 的两倍。
此前,谷歌希望 Gemini 大大提高软件开发人员的代码生成能力,以此追赶微软的 GitHub Copilot 代码助手。谷歌员工还讨论过利用 Gemini 来实现图表分析等功能,比如要求模型解释完成图表的含义,以及使用文本或语音指令来浏览网页浏览器或其他软件。
一位测试过 GPT-4 的人士表示,Gemini 至少在一个方面比 GPT-4 更具优势:除了网络上的公共信息外,Gemini 利用了谷歌从其消费产品中获取的大量专有数据。因此,该模型在理解用户对特定查询的意图时应该会特别准确,而且它似乎会产生较少的错误答案(即幻觉)。
VR52网成立于2015年,平台提供VR头显、AR眼镜、配件外设、厂商、测评、行业资讯、游戏与应用、展会活动等。