학교에서 운영하는 로컬 AI 서버
RTX 5090 추론 서버의 성능을 측정하고, 운영 중 발견한 오류를 수정한다.
학교 안의 추론 환경
Ryzen 9950X3D와 RTX 5090 32 GB를 사용하는 워크스테이션에서 로컬 AI 서버를 운영한다. Cloudflare Tunnel과 nginx를 거쳐 요청을 전달하며, Dify는 워크플로와 검색 증강 생성을, vLLM은 추론을 맡는다. 임베딩에는 TEI와 bge-m3, 검색에는 SearXNG를 사용한다.
조건을 바꾸어 측정한 속도
투기적 디코딩의 예측 토큰 수를 1개부터 3개까지 바꾸어 비교했다. 2개일 때 동시 요청 8건의 처리량은 초당 425토큰이었고, 3개에서는 초당 288토큰으로 떨어졌다. 단일 요청 속도는 초당 67.9토큰에서 91.6토큰으로 증가했다.
배경화면 프로그램을 종료했을 때 동시 요청 8건의 처리량은 초당 422토큰에서 483토큰으로 올랐다. GPU 연산 경합이 성능에 영향을 주었으며, 이 수치는 해당 워크스테이션의 측정 조건에서 얻은 결과다.
재시작 뒤의 오류
같은 설정에서도 재시작 뒤 추론 속도가 초당 21토큰과 93토큰을 오갔다. 기동 순간의 여유 VRAM을 기준으로 캐시가 정해지고, 데스크톱 프로그램이 돌아오면 초과분이 시스템 RAM으로 밀려났다. GPU 메모리 점유율을 0.92에서 0.87로 낮추어 해결했다.
검색 증강 생성의 허위 답변 문제에서는 임베딩 컨테이너의 재시작 설정 누락을 확인했다. 재부팅 뒤 꺼진 채 남은 컨테이너가 원인이었다. 검색 결과가 부족할 때의 허위 인용은 검색을 확대해 수정했으며, 시험 질의 5개의 인용 29건이 검색 결과에 실제로 있는지 확인했다.