正在刚刚落幕的 WWDC 2026 期间,人工智能的当地化安排迎来了一个标识表记标帜性时辰。LM Studio 取苹果告竣深度手艺合做,胜利正在由四台 Mac Studio 构成的集群上,流利运转了月之暗面的万亿参数年夜模子 Kimi K2.6。那一演示不但突破了年夜型模子必须依赖云端集群的刻板印象,更展示了消费级硬件正在承载前沿 AI 算力方面的庞年夜潜力。

Kimi K2.6 做为一款基于 MoE(混合专家)架构的巨型模子,其总参数规模抵达惊人的 1 万亿。正在四台 Mac Studio 的集群设置配备安排下,操做苹果强年夜的统一内存架构,该系统实现了约 1.5TB 的总内存容量,完美笼盖了该模子推理所需的内存带宽取存储需求。开发者测试数据隐现,正在那种集群架构下,Kimi K2.6 不但能贯勾通接波动的运转,特定形式下的生成速度以至可抵达约 28 tokens/s,且整体功耗近低于传统的企业级 GPU 集群。

除展示强年夜的算力吞吐才气,本次合做还背中界演示了极具合用价值的跨设备协做场景。经由过程 LM Studio 旗下的 LM Link 功用,用户能够实现安然、远程的当地化访谒。正在演示中,研发人员经由过程 MacBook Neo 条记本以及 iPhone,就能间接取集群上的模子截至高频互动。值得一提的是,所有交互过程中的数据处理均留存正在当地局域网内,实现了实正的“私有化安排”,极年夜汲引了数据隐私安然性。

跟着 Thunderbolt 5 等前辈互联手艺的引入,多设备内存共享才气正成为苹果生态正在 AI 时期的“护城河”。本次演示中所操做的 LM Link 功用,已于今年 6 月初正式适配 Mac 及 iOS 平台,支撑端到端加密连接。
关于开发者取极客群体而止,那项停顿释放了一个领略疑号:跟着硬件互联手艺取当地推理平台的协同进化,万亿参数级的年夜模子将不再是巨头们的“专属”,经由过程高效的当地硬件集群,小我或小型团队同样能够构建出高机能、隐私可控的 AI 算力底座。
