구축·운영
LLM 엔드포인트와 본딩(Bonding)
사내 서버(소형 서버부터 고사양 서버까지)를 동시에 연결할 수 있고, 외부 상용 LLM과 로컬 LLM(MLX, Ollama, LM Studio 등)도 모두 연결을 지원합니다. 현재는 속도가 우수한 VLM 위주로 등록돼 있으며, 툴콜링 표준을 지원하지 않는 일부 대형 LLM은 아직 등록되지 않았습니다.
핵심 차별점 — 본딩(Bonding)
네트워크 본딩 개념에서 착안해, 동일한 이름으로 여러 LLM 서버를 묶어 수평으로 확장합니다. 서버 한 대가 다운돼도 서비스가 지속되는 고가용성(HA) 구조입니다. "무조건 고사양 서버를 증설"하는 대신 "여러 저가 서버를 수평으로 확장"하는 비용 효율적인 접근이며, 향후 데스크톱 클라이언트에서도 같은 구조를 활용할 예정입니다.