Skip to content
2025 — 2026 AiRWARDS · live
Unit 공군 지능정보체계관리단
Division AI신기술체계개발대
Team 데이터플랫폼팀
Role 박민재 · 데이터관리병

RAG 파이프라인을 만들고,
운영으로 검증했습니다.

공군 GPT 에이전트 AiRWARDS의 RAG · LLMOps · Data · Eval을 한 시스템 안에서 다뤘습니다.

AiRWARDS · system flow live
법령·판례·국회·교범·로그 다섯 소스가 AiRWARDS로 흘러들어 RAG, LLMOps, Pipeline, Eval 네 서브시스템으로 분기되는 시스템 흐름도. 법령 판례 국회 교범 로그 AiRWARDS 공군 GPT 에이전트 §01 RAG · Context §02 LLMOps §03 Data Pipeline §04 Annotation

검색은 정밀하게, 정보량은 풍부하게.

Small-to-Big 계층형 청킹으로 검색 정밀도와 정보량 사이의 trade-off를 풀었습니다. 검색은 작은 단위로 정밀하게, 에이전트가 받는 정보량은 충분하게 만들었습니다.

법령 계층에서 leaf 검색 후 parent chain을 컨텍스트로 결합하는 Small-to-Big 동작. 법령 · 「공군 ○○ 규정」 장 · 일반 장 · 운영 절 · 정의 절 · 적용 범위 절 · 권한 조 5 조 7 조 12 query : "활주로 권한은?" context = leaf + parent chain
검색은 leaf 한 개. 답변에 붙는 컨텍스트는 root까지의 parent chain.

LlamaIndex·LangChain으로 자동 청킹 아키텍처를 짰습니다.

검색은 작은 단위로, 참조는 큰 단위로. Parent-Child로 둘을 연결했습니다.

AiRWARDS의 검색 정밀도와 참조 정보량이 같이 올라갔습니다.

Domain parser

대한민국 법령의 장–절–조 계층 맞춤형 파서를 직접 짰습니다.

Contextual emb.

청크의 주변 문맥을 임베딩에 반영했습니다. 의미 손실을 막았습니다.

Multi-modal

VLM으로 문서 이미지의 맥락을 추출했습니다. description으로 정형화해 검색에 노출했습니다.

Tables

다중 헤더 군 행정문서 테이블도 전처리·구조화했습니다.

에이전트의 지식 보유 현황을 한눈에.

AiRWARDS 공군 GPT 에이전트와 연결된 RAG 지식 베이스의 현황을 한눈에 조회하는 대시보드. React 19 · FastAPI · Langfuse로 짰습니다.

AiRWARDS · operator view live
Queries / day Volume · trend Langfuse trace
RAG hit rate Per-query signal retrieval 사용률
Vector nodes Inventory Qdrant · by category
PCA로 2D 압축한 임베딩의 카테고리별 분포를 표현한 mock-up.

Langfuse trace를 FastAPI에서 가공했습니다. Chart.js로 시각화했습니다.

Qdrant 임베딩을 scikit-learn PCA로 2D 압축했습니다. vis-network로 카테고리별 분포를 그렸습니다.

MinIO와 MongoDB를 매핑했습니다. 문서 수·용량·청크 노드를 실시간 집계했습니다.

에이전트까지 이어지는 법령, 판례, 국회 데이터.

국가법령정보센터, 법제처, 열린국회정보 공공기관 데이터를 수집/최신화/파싱 및 청킹해 공군 GPT 에이전트까지 전달하는 파이프라인을 개발했습니다.

전체

국가법령정보센터 전체 법령의 자동 최신화 파이프라인.

AiRWARDS · 법령
26만

AI 공군 수사단 업무관리체계용 판례 26만 건 수집·적재.

판례 · 키워드/날짜/기간별
22대

AI 국회업무관리체계용 22대 국회의원 인적사항과 일정 데이터.

열린국회정보
async

비동기 호출과 동시성 제어로 대규모 처리의 안정성을 확보.

실행 안정성

공군 교범·용어집·규정집을 RAG에 반영했습니다.

「합동/연합작전 군사용어사전」을 파싱했습니다. 공군 도메인 단어집을 만들었습니다.

로그 데이터를 읽고, 평가하고, 무엇을 개선할지 파악하기.

AiRWARDS 공군 GPT, 사람들이 어떻게 사용하는지, 무엇이 부족한지를 데이터 분석했습니다. 파악한 문제점을 기반으로 RAG 파이프라인을 만들고, 지식 데이터를 채워넣었습니다.

01 · parse 로그 정제 챗봇 raw log → 정형 schema
02 · extract Query 추출 사용자 질의만 분리
03 · cluster Query 클러스터링 실사용 패턴 묶기
04 · label 카테고리 라벨링 자체 라벨링 툴 사용
05 · eval 정성평가 사람이 직접 판정
AiRWARDS 사용자 Query 정성평가 로그 카테고리 라벨링 툴을 자체 개발해 라벨링까지 직접 수행했습니다.
DAPADA · 방위사업청 챗봇 로그 정성평가 외부 시스템 평가에도 같은 기준을 적용했습니다.

STT 파인튜닝용 어노테이션도 맡았습니다.

공군 비행장 활주로 균열 이미지 라벨링도 맡았습니다.

AiRWARDS 대시보드 풀스택.

프론트와 백엔드 모두 직접 다뤘습니다.

Frontend
React 19 · TypeScript · Vite
Framework
React 19.2
Language
TypeScript 5.9
Build
Vite 7.1
Styling
Tailwind CSS 3.4
Charts
Chart.js 4.4
Graph viz
vis-network · vis-data
Backend
FastAPI · Qdrant · Langfuse
Language
Python 3.11
Web
FastAPI · Uvicorn
Vector DB
Qdrant
Document DB
MongoDB
Schema
Pydantic
Analytics
pandas · numpy · scikit-learn
Observability
Langfuse