Private LLM
제조업 Private LLM
AI 에이전트로 업무혁신을, 사내 데이터는 안전하게.
Problem
생산 데이터를 클라우드에 보낼 수 없다
제조업의 생산 데이터, BOM, 재고 정보는 기업의 핵심 자산입니다. 클라우드 API에 이 데이터를 전송하는 것은 보안 정책상 불가능한 경우가 많습니다. 그렇다고 AI 활용을 포기하면 경쟁력이 뒤처집니다. 사내 데이터를 외부에 노출하지 않으면서도 실용적인 AI 서비스를 운영할 수 있는 방법이 필요합니다.
Solution
블루에이전트의 접근
DGX Spark(ASUS GX10)의 128GB 통합 메모리 위에 NVFP4 양자화된 Qwen3.6 MoE 모델을 운영합니다. 데이터는 사내를 벗어나지 않고, MCP 프로토콜로 기존 ERP·MES·품질DB와 직접 연동됩니다. 관리자와 현장 작업자가 동시에 사용할 수 있는 환경을 제공합니다.
Architecture
시스템 아키텍처
Features
주요 기능
완전 로컬 환경
모든 데이터와 모델이 사내 네트워크 안에서 동작합니다. 외부 API 호출이 없어 데이터 유출 경로 자체가 존재하지 않습니다.
MCP 시스템 연동
표준 MCP 프로토콜로 ERP, MES, 품질DB 등 기존 시스템과 연결합니다. 커스텀 API 개발 없이 LLM이 직접 도구를 호출합니다.
역할별 접근 제어
관리자는 전체 데이터 조회·분석, 현장 작업자는 작업지시 확인·간단한 문의로 역할별 차등 컨텍스트 정책을 적용합니다.
데스크톱급 하드웨어
DGX Spark 기반으로 데이터센터급 서버 없이도 운영 가능합니다. 소규모 공간에 설치할 수 있는 컴팩트한 구성입니다.
클라우드 API 대비 경제성
로컬 서빙으로 월간 API 호출 비용이 발생하지 않습니다. 사용량에 관계없이 일정한 운영 비용을 유지합니다.
NVFP4 양자화
NVIDIA 블랙웰의 하드웨어 네이티브 4비트 양자화. FP16 대비 품질 손실 최소화하면서 메모리 사용량을 75% 절감합니다.
Tech Stack
기술 스택
Process
도입 프로세스
요구분석 · 현장 인터뷰
2주
하드웨어 셋업 · 모델 배포
1주
MCP 도구 서버 연동 (ERP/MES/DB)
2~3주
파일럿 운영 · 피드백 반영
2주
본격 운영 · 교육
지속