Systems Design Meditation · Edition 1
에이전트는 시스템이 아니다
AI가 인프라 문제가 되어가는 이유
Edward Calderón
소프트웨어 아키텍트
AI는 인프라 속으로 사라지기 시작하고 있습니다.
덜 중요해져서가 아닙니다. 스택의 더 깊은 곳으로 이동하고 있기 때문입니다.
몇 년 동안 공개된 논의는 모델에 집중되어 있었습니다. 어떤 모델이 더 잘 추론하는가? 어떤 모델의 컨텍스트가 더 큰가? 어떤 모델이 더 나은 코드를 작성하는가? 이러한 질문들은 여전히 유용합니다. 하지만 더 이상 충분하지 않습니다.
모델은 답합니다. 에이전트는 행동할 수 있습니다. 시스템이 행동할 수 있게 되는 순간, 아키텍처는 지능만큼 중요해집니다.
분석의 단위가 바뀌었다
언어 모델은 입력을 확률적 출력으로 매핑합니다. 운영 에이전트는 그 모델을 메모리, 도구, 자격 증명, 정책, 큐, 데이터베이스, 피드백으로 둘러쌉니다. 티켓을 읽고, 프로덕션 텔레메트리를 조회하고, 구성을 변경하고, 고객에게 알림을 보낼 수 있습니다. 각 단계는 신뢰 경계를 넘습니다. 생성된 문장의 품질은 결과의 아주 작은 일부에 불과합니다.
이것이 모델이 시스템이 아닌 이유입니다. 모델은 시스템 내부의 한 참여자일 뿐입니다.
이제 유용한 질문들은 클라우드나 분산 인프라를 운영해 본 사람에게 익숙해 보입니다: 에이전트는 무엇에 접근할 수 있는가? 누가 권한을 위임했는가? 무엇을 수정할 수 있는가? 어떤 상태를 유지하는가? 행동은 어떻게 관측되는가? 틀리면 어떻게 되는가? 행동을 되돌릴 수 있는가? 누가 책임지는가?
도구 접근은 추론 오류를 가능한 상태 전이로 바꿉니다. 챗봇이 환불 정책을 지어내면 출력이 틀린 것입니다. 하지만 에이전트가 환불을 실행하고, 원장을 업데이트하고, 사건을 종결하면, 그 조직 전체가 변한 것입니다. 실패 모델은 더 이상 텍스트에 국한되지 않습니다.
제한된 행동을 위한 설계
신뢰할 수 있는 에이전트 인프라에는 여러 경계가 필요합니다. 자격 증명은 공유 API 키가 아니라 워크로드별로 지정되어야 합니다. 권한 부여는 좁고, 수명이 짧으며, 허용되는 리소스와 작업을 명시해야 합니다. 영향이 큰 작업에는 승인 게이트가 필요합니다. 모든 도구 호출에는 구조화된 감사 데이터가 필요합니다: 행위자, 위임자, 입력, 정책 결정, 출력, 그리고 결과 상태.
관측 가능성 또한 일반적인 요청 추적을 넘어서야 합니다. 트레이스는 비즈니스 작업이 잘못되었는데도 호출이 성공했다고 말할 수 있습니다. 우리는 모델 결정을 도구 호출에, 도구 호출을 지속적인 효과에 연결해야 합니다. 관련 지표는 지연 시간이나 토큰 사용량만이 아닙니다. 의도된 불변 조건이 여전히 유지되는지 여부입니다.
롤백도 마찬가지로 구체적입니다. 어떤 작업은 보상할 수 있습니다: 배포는 이전 리비전으로 되돌릴 수 있습니다. 다른 것들은 진정으로 되돌릴 수 없습니다: 이메일은 이미 발송되었고, 시크릿은 이미 노출되었고, 결제는 이미 완료되었습니다. 아키텍처는 사고 이후가 아니라 에이전트가 작업을 받기 전에 작업을 분류해야 합니다.
인프라 변경을 지원하는 에이전트를 생각해 봅시다. 메트릭을 안전하게 검사하고 패치를 제안할 수 있습니다. 그 패치를 샌드박스에 적용하려면 범위가 지정된 자격 증명이 필요할 수 있습니다. 프로덕션에는 정책 평가, 위험한 변경에 대한 사람의 승인, 점진적 롤아웃, 상태 확인, 자동 중지 조건이 필요합니다. 에이전트는 제한 없는 관리자가 되지 않으면서 전 과정에 참여할 수 있습니다.
이 패턴이 성숙한 DevSecOps와 닮은 것은 근본적인 문제가 익숙하기 때문입니다: 위험에 대한 통제를 잃지 않으면서 시스템을 통해 변경을 이동시키는 것. 에이전트는 인터페이스를 더 유연하게 만들지만, 유연성이 운영 규율을 없애주지는 않습니다.
역량이 신뢰성은 아니다
잘 설계되지 않은 인프라 안의 매우 유능한 모델은 취약한 제품을 만듭니다. 훌륭한 아키텍처 안의 약간 덜 유능한 모델은 훨씬 더 신뢰할 수 있는 시스템을 만들 수 있습니다. 두 번째 시스템은 불확실성을 제한하고, 실패를 감지하고, 복구할 수 있습니다.
이것이 기업 도입이 불균등할 이유이기도 합니다. 데모는 눈에 보이는 역량에 최적화됩니다. 프로덕션 시스템은 자격 증명 수명 주기, 데이터 경계, 사고 대응, 비용 통제, 규제 증거, 성능 저하된 종속성을 처리해야 합니다. 이러한 계층은 주변부 배관이 아닙니다. 지능을 업무에 신뢰할 수 있는지를 결정합니다.
새롭게 등장하는 에이전트 표준은 유용하지만, 어떤 프로토콜도 아키텍처를 대체할 수 없습니다. 에이전트 프레임워크는 조직의 위험 감수 성향을 결정할 수 없습니다. 모델 제공자는 어떤 상태 전이가 되돌릴 수 있는지 정의할 수 없습니다. 그러한 결정은 모델 주변의 시스템에 속합니다.
따라서 실용적인 방향은 어디에나 자율성을 부여하는 것이 아닙니다. 점진적 자율성입니다: 관찰하고, 권장하고, 좁은 경계 내에서 행동하고, 측정된 신뢰성을 통해 더 넓은 권한을 얻는 것. 이는 확률적 구성 요소가 결정론적인 척하지 않으면서 팀이 배울 수 있는 방법을 제공합니다.
지능만으로는 신뢰할 수 있는 인프라가 만들어지지 않습니다.
아키텍처가 만듭니다.