가드레일로 범위를 제한하고, 옵저버빌리티로 투명성을 확보하며,
휴먼인더루프로 중요한 결정에 사람이 개입합니다.
가드레일은 AI 에이전트의 입력과 출력, 행동 범위에 안전 장치를 두는 것입니다. 에이전트가 환각(Hallucination)을 일으키거나, 권한 밖의 행동을 하거나, 유해한 콘텐츠를 생성하는 것을 사전에 차단합니다.
민감 정보(개인정보, 기밀 문서)가 에이전트에 전달되기 전에 필터링합니다. 프롬프트 인젝션 공격도 이 단계에서 차단합니다.
환각, 부적절 응답, 편향된 콘텐츠를 실시간으로 탐지하고 차단합니다. 사실 검증(Fact-check) 레이어를 추가할 수도 있습니다.
에이전트가 실행할 수 있는 API, 접근 가능한 데이터, 수행 가능한 액션의 범위를 사전에 화이트리스트로 제한합니다.
에이전트가 왜 그런 판단을 했는지, 어떤 데이터를 참조했는지를 투명하게 기록합니다. 장애 분석, 품질 개선, 규제 감사(Audit)의 기반이 됩니다.
에이전트가 어떤 도구를 호출했는지, 어떤 데이터를 참조했는지, 왜 그런 결론에 도달했는지를 단계별로 기록합니다.
응답 정확도, 환각 빈도, 에스컬레이션 비율, 평균 응답 시간 등 핵심 지표를 실시간으로 수집·시각화합니다.
AI 기본법 등 규제 대응을 위해, 에이전트의 모든 판단과 행동을 불변(immutable) 로그로 보존합니다.
옵저버빌리티는 '기록'만으로는 부족합니다. 다음 4가지 메트릭을 반드시 추적하세요.
| 메트릭 | 설명 | 목표 기준 | 측정 방법 |
|---|---|---|---|
| 환각률 (Hallucination Rate) | 에이전트 응답 중 사실과 다른 정보를 포함한 비율 | < 3% | 자동 Fact-check 레이어 + 인간 샘플링 |
| 에스컬레이션 비율 | 에이전트가 인간에게 넘긴 요청의 비율 | 15~30% | HITL 트리거 로그 집계 |
| 1차 해결률 (FCR) | 인간 개입 없이 에이전트가 직접 해결한 비율 | > 70% | 에스컬레이션 미발생 건 추적 |
| 평균 응답 정확도 | 에이전트 응답이 정답·정책과 일치한 비율 | > 95% | 정답 데이터 대비 자동 평가 |
가드레일은 에이전트의 입력·처리·출력 전 과정에 걸쳐 3중으로 동작합니다. 각 단계에서 위험이 감지되면 즉시 차단하거나 인간에게 에스컬레이션합니다.
사용자 입력 → 에이전트 처리 → 출력 응답까지 전 과정 보호
PII 필터링
프롬프트 인젝션 탐지
권한 확인
API 화이트리스트
데이터 접근 범위 제한
실행 시간 제한
환각 탐지
유해 콘텐츠 필터
정책 적합성 확인
모든 것을 에이전트에 맡기지 않습니다. 중요한 의사결정에서 인간의 승인을 받도록 설계하는 것이 핵심입니다.
| 레벨 | 에이전트 역할 | 인간 역할 | 적용 예시 |
|---|---|---|---|
| L1 보조 | 정보 조회·요약만 수행 | 모든 판단과 실행 | 법률 자문, 의료 판독 |
| L2 초안 | 초안 작성, 인간이 검토 | 검토 후 승인/수정 | 이메일 초안, 보고서 |
| L3 감독 | 대부분 자동, 고위험만 에스컬레이션 | 예외 상황만 개입 | 고객 상담, 주문 처리 |
| L4 자율 | 완전 자율 실행 | 대시보드 모니터링 | 로그 분석, 알림 분류 |
처음부터 L4(완전 자율)를 부여하지 마세요. L1에서 시작해 에이전트의 정확도와 안정성이 검증된 영역부터 단계적으로 자율성을 확대하는 것이 안전합니다.