Osaurus — server AI local cho Mac M-series: chạy LLM hoàn toàn offline, mã nguồn mở

Theo TechCrunch (15/5/2026), Osaurus đang nhanh chóng trở thành "Ollama của Mac" — nhưng tốt hơn ở nhiều khía cạnh. Founder Terence Pae (cựu kỹ sư Tesla, Netflix) đã âm thầm phát triển Osaurus suốt năm qua sau khi nhận ra Mac M-series có tiềm năng chạy LLM mạnh hơn người ta nghĩ.

1. Osaurus là gì?

Osaurus là một server AI native cho macOS với những điểm khác biệt:

• Native Swift — không phải Python wrapper, không Electron — chạy như app Mac thuần
• Chỉ 10MB — Ollama là 200MB, LM Studio là 1GB+
• Apple Silicon only — chỉ chạy trên M1, M2, M3, M4 — KHÔNG hỗ trợ Intel Mac
• Dùng MLX framework — framework AI riêng của Apple, tối ưu cho Neural Engine + Unified Memory
• OpenAI-compatible API — code đang dùng openai.com/v1/chat/completions chỉ cần đổi URL sang localhost:11434 là chạy

2. Tại sao đáng quan tâm?

1. Bảo mật tuyệt đối. Không một byte dữ liệu nào rời khỏi Mac của bạn. Phù hợp:

• Luật sư — đọc hợp đồng nhạy cảm
• Bác sĩ — phân tích bệnh án theo HIPAA
• Doanh nghiệp — xử lý source code, tài liệu nội bộ
• Nhà báo — bảo vệ nguồn tin

2. Không phải trả tiền theo token. Một lần mua Mac (đã có), không phí API mỗi tháng. Người dùng nặng ChatGPT Plus ($20/tháng) hoàn toàn có thể chuyển sang Osaurus + Llama 3 70B.

3. Hoạt động khi mất mạng. Đi tàu, máy bay, vùng sâu vùng xa — vẫn dùng AI bình thường.

3. Tính năng "Bridge" — vừa local vừa cloud

Đây là điểm khác biệt lớn nhất so với Ollama. Osaurus có chế độ "Bridge":

• Bạn cấu hình các provider (Local Llama 3, OpenAI GPT-4, Claude Opus)
• Tất cả gọi qua cùng một endpoint
• App của bạn không cần biết — chỉ gọi localhost:11434
• Osaurus tự định tuyến: nếu offline → dùng local; nếu cần model mạnh → dùng cloud

Đặc biệt hữu ích cho dev: build app AI mà không cần lo về fallback logic.

4. MLX — vũ khí bí mật của Apple

Osaurus chạy trên MLX — framework AI mà Apple công bố cuối 2023. Khác với llama.cpp (đa nền tảng), MLX:

• Tận dụng Unified Memory — không phân biệt RAM/VRAM như NVIDIA
• Tận dụng Neural Engine (NPU) song song với GPU
• Quantization tối ưu cho ARM
• Tốc độ inference Llama 3 8B: 40–60 tokens/s trên M4 Pro

Trong benchmark độc lập, Osaurus + MLX nhanh hơn 30% so với Ollama (dùng llama.cpp) trên cùng phần cứng M-series.

5. Yêu cầu phần cứng

Để chạy mượt model 70B (như Llama 3 70B), bạn cần:

• Tối thiểu 64GB RAM — Mac Studio M2 Max trở lên, MacBook Pro M3 Max 64GB
• Ổ SSD trống ~40GB cho model

Cho model nhỏ hơn (Llama 3 8B, Qwen 7B):

• 16GB RAM là đủ — MacBook Air M2/M3/M4 đều chạy được
• Phù hợp đại đa số người dùng

6. Mã nguồn mở và community

Osaurus open source MIT license:

• Repo chính: github.com/osaurus-ai/osaurus
• 3.8k GitHub stars (5/2026)
• 112,000+ downloads từ ngày phát hành (gần 1 năm)
• 57,300 downloads trong 3/2026 (tăng tốc)

Khi Apple công bố MLX, ai cũng nghĩ Apple sẽ làm Ollama riêng. Hoá ra, một developer độc lập đã làm trước — và còn tốt hơn.

Góc nhìn TechVision: ai nên dùng Osaurus?

1. Nếu bạn có Mac M-series: Nên thử ngay. Miễn phí, 10MB, không ảnh hưởng gì hệ thống. Cài xong vài phút là chạy được.

2. Nếu bạn là developer: Cực thích hợp để test app AI mà không tốn tiền API. Build prototype với Osaurus, sản xuất chuyển sang cloud.

3. Nếu bạn quan tâm bảo mật: Lựa chọn an toàn nhất. Ngay cả công ty bạn cấm dùng ChatGPT, Osaurus chạy local không bị phát hiện.

4. Nếu bạn dùng Windows/Linux: Osaurus không hỗ trợ. Hãy dùng Ollama hoặc LM Studio.

Cách cài đặt nhanh

Cách 1 — tải app:

1. Vào github.com/osaurus-ai/osaurus/releases
2. Tải file .dmg mới nhất
3. Cài như app Mac thường
4. Mở app, chọn model trong list (Llama 3, Qwen, Mistral...) — tự download
5. Bắt đầu chat ngay trong app, hoặc gọi qua API localhost:11434

Cách 2 — qua Homebrew:

brew install --cask osaurus

Người Việt nên thử để hiểu AI local — cuộc đua 2026 không chỉ là cloud, mà cả on-device.