AI 에이전트는 더 이상 연구실의 호기심거리가 아닙니다. 코드를 작성하고, 이메일을 보내고, 데이터베이스를 조회하고, 외부 API를 호출하고, 의사 결정을 내리며, 그 과정에 사람이 개입하지 않는 경우도 많습니다. 도구에서 자율적인 행위자로의 이러한 전환은 모든 것을 바꿉니다.
기업들이 깨닫기 시작한 질문은 "AI 에이전트를 사용해야 할까?"가 아닙니다. "에이전트가 하는 일을 누가 통제하는가?"입니다.
통제 격차
개발자가 코드를 작성할 때 모든 행동은 의도적입니다. AI 에이전트가 작업을 실행할 때 그 경로는 확률적입니다. 같은 프롬프트라도 다른 날에는 다른 순서의 도구 호출을 만들어 낼 수 있습니다. 이는 버그가 아닙니다. 언어 모델의 본성입니다. 하지만 이는 모든 리스크를 코드 리뷰나 정적 분석으로 잡아낼 수는 없다는 뜻이기도 합니다.
기존 보안 도구는 결정론적 시스템을 위해 만들어졌습니다. 방화벽, RBAC, DLP 스캐너 등 이 모든 것은 입력과 출력을 미리 나열할 수 있다고 가정합니다. AI 에이전트는 그 가정을 깨뜨립니다.
그 결과가 우리가 통제 격차라고 부르는 것입니다. 에이전트가 할 수 있는 일과 사용자의 정책이 실제로 막고 있는 일 사이의 공간입니다.
이 격차를 구체적으로 보여 드리겠습니다. LLM 제공업체는 어떤 모델을 호출할 수 있는지를 통제합니다. 클라우드 제공업체는 누가 어떤 리소스에 접근할 수 있는지를 통제합니다. 그 사이의 순간, 즉 모델이 도구를 호출하기로 결정하고 그 도구가 실행되는 순간은 어느 쪽도 보지 못합니다. 데이터 유출, 승인되지 않은 작업, 예상치 못한 비용이 도사리는 곳이 바로 그 순간입니다.
실무에서 거버넌스는 어떤 모습인가
효과적인 AI 거버넌스는 세 개의 계층에서 작동합니다.
1. 정책 적용 에이전트가 도구 호출을 실행하거나 프롬프트를 보내기 전에, 정책 엔진이 사용자의 규칙에 따라 이를 평가합니다. PII 패턴과 일치하는 요청은 차단합니다. 고비용 모델 호출에는 속도 제한을 적용합니다. 되돌릴 수 없는 작업에는 사람의 승인을 요구합니다. 이 모든 것이 SDK 수준에서 이루어지므로 네트워크 왕복도 없고, 정상 경로에 지연이 추가되지도 않습니다.
2. 감사 로깅 에이전트가 수행하는 모든 행동은 추가 전용(append-only) 로그에 기록됩니다. 입력과 출력만이 아니라 정책 결정, 즉 무엇이 허용되었고 무엇이 차단되었으며 그 이유가 무엇인지까지 기록합니다. 컴플라이언스 팀이 "지난 화요일에 우리 AI가 무엇을 했나요?"라고 물을 때, 답을 갖고 있게 됩니다.
3. 가시성 거버넌스는 무슨 일이 벌어지고 있는지 볼 수 있을 때에만 작동합니다. 섀도 AI, 즉 직원들이 IT의 인지 없이 사용하는 모델과 에이전트는 모든 규모의 기업에서 실재하는 문제입니다. 최근 업계 조사에 따르면 승인되지 않은 AI 도구를 사용하는 지식 노동자는 80퍼센트에 가깝습니다. 이러한 에이전트를 드러내 주는 발견 도구는 이들을 거버넌스 모델 안으로 끌어들이는 첫걸음입니다.
아무것도 하지 않는 것의 비용
이 계층을 건너뛰는 기업은 내기를 하고 있는 것입니다. 그 내기란 자사의 AI 에이전트가 다음과 같은 일을 절대 하지 않으리라는 것입니다.
- 예상치 못한 곳에 기록되는 프롬프트를 통해 민감한 데이터를 유출하는 일
- 접근 권한이 없어야 할 API를 호출하는 일
- 창출하는 비즈니스 가치를 웃도는 속도로 비용을 누적시키는 일
- 수작업 복구가 필요한 되돌릴 수 없는 변경을 하는 일
일부 내기는 성공하기도 합니다. 하지만 AI 사용이 한 팀에서 조직 전체로 확대될수록 사고가 일어날 확률은 누적되어 커집니다. 그리고 이런 사고는 더 이상 이론상의 일이 아닙니다. 코딩 에이전트가 생성한 명령 한 줄로 홈 디렉터리를 삭제한 적이 있고, 직원들은 매일 채팅 도구에 민감한 데이터를 붙여 넣습니다. 우리는 두 가지를 모두 글로 정리해 두었습니다. --dangerously-skip-permissions가 실제로 끄는 것, 그리고 실제 rm -rf 사고 사례입니다.
작게 시작하기
거버넌스가 복잡함을 뜻할 필요는 없습니다. 에이전트에게 필요한 만큼의 접근 권한만 정확히 주고 그 이상은 주지 않는다는 최소 권한 원칙은, 주말 프로젝트부터 규제 대상 엔터프라이즈까지 그대로 적용됩니다.
로깅부터 시작하십시오. 볼 수 없는 것은 통제할 수 없습니다. 에이전트가 무엇을 하는지 명확히 파악하고 나면, 그 위에 정책 적용을 얹는 일은 수월해집니다.
이것을 제대로 해내고 있는 팀은 컴플라이언스 요구가 생길 때까지 기다린 팀이 아닙니다. 10년 전 인증과 접근 제어를 그렇게 다뤘던 것처럼, 첫날부터 거버넌스를 인프라로 취급한 팀입니다.
AI 거버넌스도 같은 방향으로 가고 있습니다. 남은 질문은 그것을 선제적으로 구축하느냐, 사후 대응으로 구축하느냐뿐입니다.
정책이 실제로 어떤 느낌인지 보고 싶으신가요? pip install controlzero는 계정도 네트워크도 없이 로컬에서 실행됩니다. 허용 규칙 하나와 거부 규칙 하나를 작성하고, 작업이 실행되기도 전에 거부가 작동하는 것을 확인해 보십시오. Control Zero 빠른 시작을 참고하십시오.