[PlantiFy] 실시간 AI 채팅 서비스(Chat Service) - 서비스 개요 / AI 응답 지연 환경에서 WebFlux-gRPC 스트리밍으로 블로킹 병목 제거
·
💻/프로젝트
실시간 AI 채팅 서비스 개요사용자는 AI 챗봇과 1:1로 대화WebSocket 기반 실시간 통신사용자가 연속으로 여러 요청을 보냄AI 응답을 토큰 단위로 스트리밍하나의 연결이 수백 ms~수 초 동안 유지상황: AI 추론이 늘어날수록 서버가 느려짐기존 구조 Blocking I/O 기반 구조Client ↔ WebSocketSpring MVC (Tomcat) → RestTemplate (Blocking) → FastAPI (AI Inference)Spring MVC + Tomcat 환경에서 WebSocket으로 클라이언트와 실시간 채팅AI 응답은 `RestTemplate`을 통해 FastAPI 서버에 동기 HTTP(JSON) 요청으로 받아옴=> AI 응답 기다리는 동안 WebSocket 연결 하나가 서..