AI CLI Gateway 봇 설계와 MCP 서버 개발: 멀티 AI 모델 라우팅 시스템 구축기

## 들어가며 현대 AI 개발 환경에서는 Claude, GPT, Gemini, 오픈소스 LLM 등 다양한 AI 모델을 상황에 맞게 선택적으로 사용해야 합니다. 하지만 각 모델마다 API 구조, 인증 방식, 요금 체계가 달라 관리가 복잡해집니다. 이번 글에서는 **AI CLI Gateway**와 **MCP(Model Context Protocol) 서버**를 활용해 여러 AI 백엔드를 통합 관리하는 방법을 소개합니다. ## AI Gateway 패턴이란? AI Gateway는 마이크로서비스 아키텍처의 API Gateway 패턴을 AI 모델 호출에 적용한 것입니다. 클라이언트는 하나의 엔드포인트만 알면 되고, Gateway가 요청을 적절한 백엔드 모델로 라우팅합니다. ### 주요 장점 1. **단일 인터페이스**: 여러 AI 서비스를 하나의 CLI/API로 접근 2. **유연한 라우팅**: 작업 유형에 따라 최적 모델 자동 선택 3. **비용 최적화**: 간단한 작업은 저렴한 모델로, 복잡한 작업은 고성능 모델로 4. **장애 대응**: 특정 모델 장애 시 자동 failover ## MCP 서버 개발 ### 아키텍처 설계 ```python # main.py 구조 예시 class AICLIRouter: def __init__(self): self.backends = { 'claude': ClaudeBackend(), 'codex': CodexBackend(), 'gemini': GeminiBackend(), 'vllm': VLLMBackend(), 'ollama': OllamaBackend() } async def route_request(self, task_type: str, query: str): """작업 유형에 따라 최적 백엔드 선택""" backend = self._select_backend(task_type) return await backend.process(query) ``` ### 핵심 기능 구현 **1. 다중 백엔드 지원** - Claude: 복잡한 추론 작업 - Codex: 코드 생성/리뷰 - Gemini: 멀티모달 작업 - vLLM/Ollama: 로컬 처리 (비용 절감) **2. 작업별 라우팅 로직** ```python def _select_backend(self, task_type): routing_table = { 'ai_query': 'claude', # 일반 질의 'ai_code': 'codex', # 코드 작업 'ai_research': 'gemini', # 검색/분석 } return self.backends[routing_table.get(task_type, 'claude')] ``` **3. 모니터링 및 통계** - `usage_stats`: 모델별 사용량, 비용 추적 - `backend_status`: 각 백엔드 상태 체크 ## 봇 시스템 설계 ### 계층 구조 (Level System) ```yaml bot-029: name: AI CLI Gateway level: L1 # 고급 봇 role: Gateway group: Infrastructure responsibilities: - AI 모델 라우팅 - 백엔드 상태 관리 - 사용량 최적화 ``` Level 시스템을 도입하면 봇 간 역할과 권한을 명확히 구분할 수 있습니다. ### Registry 패턴 ```python # bots.yaml 활용 예시 LOCAL_BOTS = { 'bot-029': { 'workspace': '03_mcp-servers/ai-cli-router/workspace/', 'config': 'CLAUDE.md' } } BOT_SPECIALTIES = { 'ai-routing': 'bot-029', 'code-gen': 'bot-015', 'data-analysis': 'bot-022' } ``` ## 실전 적용 팁 ### 1. 비용 최적화 전략 - 간단한 질의(FAQ 등): Ollama (로컬, 무료) - 코드 리뷰: Codex (전문화) - 복잡한 분석: Claude/GPT-4 (고성능) ### 2. 문서화 Best Practice ```markdown # AI_CLI_REGISTRY.md 구조 - 사용 가능한 도구 목록 - 각 도구별 최적 사용 사례 - 인증 방법 - 비용 가이드라인 ``` ### 3. 메시지 라우팅 테스트 ```bash # 봇 간 통신 검증 $ ai-bot send --from bot-001 --to bot-029 "Claude로 코드 리뷰해줘" ✓ 메시지 전송 완료 ✓ 응답 수신: bot-029 → bot-001 ``` ## 마치며 AI Gateway 패턴을 적용하면 여러 AI 모델을 효율적으로 관리할 수 있습니다. 핵심은 **작업 유형별 최적 모델 선택**, **통합된 인터페이스 제공**, **비용과 성능의 균형**입니다. ### 다음 단계 1. 실제 사용량 데이터 기반 라우팅 로직 개선 2. A/B 테스팅으로 모델별 성능 비교 3. 캐싱 레이어 추가로 반복 질의 최적화 4. Rate limiting 및 quota 관리 기능 구현 이 패턴은 AI 통합뿐 아니라 일반 마이크로서비스 환경에도 적용 가능합니다. 여러분의 프로젝트에도 Gateway 패턴을 도입해보시길 권장합니다.