oMLX

Name: oMLX
Author: PH 新产品

Mac LLM 服务器可将座席等待时间从 90 秒缩短至 5 秒

访问网站

关于产品

oMLX 将您的 Mac 变成一个完整的 LLM 推理服务器，从菜单栏运行。它通过连续批处理为文本、视觉、OCR、嵌入和重新排序模型提供服务，再加上 RAM+SSD 分层 KV 缓存，可在重新启动后继续运行，因此 Claude Code 和 Cursor 在大约 5 秒内响应，而不是 90 秒。 OpenAI 和 Anthropic 兼容的 API 直接插入。原生 Swift，而不是 Electron。 Apache 2.0，开源。