苹果研究将 LLM 存储在 NAND 以减少 RAM 使用

为了发展自家生成式 AI，苹果一直在测试大型语言模型 LLM，但苹果同时要思考的是，要如何将 LLM 塞进手机与笔记本电脑。现在有消息称，LLM 对 CPU 与记忆体资源负载太重，苹果正尝试将 LLM 放在 NAND 闪存，以实现多设备轻松存取目标。

一般情况下 LLM 需要 AI 加速器与较高 DRAM 容量。《TechPowerUp》报导，苹果努力将 LLM 技术导入到内存容量有限的设备。苹果发表论文，探讨如何将 LLM 导入内存容量有限设备，如 iPhone，苹果正在开发储存 AI 模型数据的技术。

论文指出，苹果 iPhone 与 Mac 有 NAND 存储，透过称为「视窗化」技术绕过限制视窗，让数据更有效分组，使 AI 模型更快从 NAND 读取数据，并加速理解力。AI  模型也会重复使用处理过数据，减少提取 NAND 数据的需求，让整个处理过程更快。

上述两种方法都使 AI 模型运行速度达到 iPhone 可用 RAM 大小的两倍，使处理器速度提高五倍、图形处理器速度提高 25 倍。

有大量证据证明，苹果相当重视 AI，首先是自家聊天机器人（Apple GPT）。据传明年 iPhone 16 系列会搭载升级麦克风，虽然对苹果成本提高不少，但可升级语音输入功能，对 Siri 执行多项任务非常必要。

另有传言，以某种形式生成式 AI 明年发表时，会整合至 iOS 18 操作系统，即便现在苹果技术还落后 OpenAI、Google、亚马逊等公司，但这技术差距可能会在 2024 年大幅缩小。