로컬 LLM을 원클릭으로 설치·실행하는 크로스플랫폼 데스크톱 앱.
A cross-platform desktop app that installs and runs local LLMs in one click.
복잡한 파이썬 환경 설정, GPU 드라이버, 모델 다운로드를 직접 만질 필요가 없습니다. 하드웨어를 감지하고, 알맞은 모델을 내려받고, 로컬 추론 서버를 띄운 뒤 채팅 UI를 서빙하는 과정을 하나의 데스크톱 앱으로 처리합니다.
No manual Python setup, driver wrangling, or model downloads. It detects your hardware, pulls a suitable model, launches a local inference server, and serves a chat UI — all from one desktop app.
- 원클릭 모델 설치 —
install_manager가 모델 가중치를 받아 로컬에 준비합니다. - 하드웨어 감지 —
sysinfo로 시스템 사양을, Windows에서는nvml-wrapper로 GPU(VRAM)를 확인해 실행 가능한 모델을 안내합니다. - 로컬 추론 서버 —
launch_manager가 번들된 파이썬 추론 서버를 기동하고inference_manager가 수명주기를 관리합니다. - 스트리밍 응답 —
reqwest스트림과@microsoft/fetch-event-source를 이용한 SSE로 토큰 단위 출력을 전달합니다. - 한국어 지원 모델 — Qwen2.5-1.5B, Gemma-2-2B 등 경량 모델을 기본 제공합니다.
- 완전 로컬 — 모든 추론이 사용자 기기에서 동작하며 데이터를 외부로 보내지 않습니다.
Frontend (React 19 + Vite) 채팅 UI / 모델 관리 화면
│ Tauri IPC
Rust Core (Tauri 2)
├─ install_manager 모델 다운로드 / 설치
├─ launch_manager 추론 서버 기동
├─ inference_manager 서버 수명주기 · 요청 프록시
└─ sysinfo / nvml 하드웨어 · GPU 감지
│ spawn + HTTP/SSE (reqwest stream)
Python Inference Server 로컬 LLM 실행 (Qwen / Gemma)
| Layer | Stack |
|---|---|
| Frontend | React 19, TypeScript, Vite 7 |
| Desktop / Core | Rust, Tauri 2, serde, anyhow |
| Streaming | reqwest (stream), futures-util, @microsoft/fetch-event-source (SSE) |
| Hardware | sysinfo, nvml-wrapper (Windows GPU) |
| Inference | Python inference server, Qwen2.5 / Gemma-2 |
cd magic-container-app
npm install
npm run tauri dev # 개발 모드 실행
npm run tauri build # 배포 바이너리 빌드요구사항: Node.js 18+, Rust (stable) toolchain, Tauri 2의 플랫폼별 시스템 의존성.
현재 v0.9.2로 개발 중인 프리릴리스입니다. 모델 카탈로그와 플랫폼별 패키징을 확장하고 있습니다.
Currently v0.9.2, an actively developed pre-release. Expanding the model catalog and per-platform packaging.