AI 비서가 내 대신 계약한 실수, 책임의 빈칸, 최종 결정

AI가 '제안'하던 단계에서 '실행'하는 단계로
편리한 자동계약 뒤에 숨은 책임의 빈칸
AI를 믿되, 최종 결정은 사람이 지키는 방법

조명 제품을 다루고 거래처와 조건을 맞추는 일을 하다 보면, 계약서나 발주서의 짧은 문장 하나가 얼마나 큰 차이를 만드는지 느끼게 된다. 납기일 한 줄, 수량 하나, 책임 범위 한 문장이 나중에는 돈과 신뢰의 문제가 된다. 그런데 앞으로는 AI가 내 대신 비교하고, 조건을 고르고, 계약 버튼까지 누르는 일이 자연스러워질지 모른다. 그때 AI의 실수는 과연 누구의 실수일까. 편리함이 커질수록 책임의 자리는 더 선명해야 한다.

사실 이런 걱정을 하게 된 데는 오래된 기억이 하나 있다. 직장 생활을 막 시작했을 무렵, 견적서 하나 제대로 작성하는 일도 서툴렀다. 단위를 빼먹고 숫자를 적어 거래처에 보낸 적도 있었고, 수식을 잘못 걸어서 전체 합계가 틀어진 채로 결재를 올린 적도 있었다. 다행히 옆에는 경험 많은 상사가 있었다. 그는 숫자가 이상하다는 걸 한눈에 알아챘고, 나는 잘못을 인정하고 다시 계산해서 바로잡아야 했다.

그때는 실수를 저지른 사람도, 그것을 잡아낸 사람도 분명했다. 그런데 지금은 그 계산과 판단의 상당 부분을 AI가 대신하고 있다. 문제는 AI도 사람처럼, 아니 사람보다 더 자주, 실수를 한다는 점이다. 다만 AI의 실수 옆에는 그 시절의 상사처럼 바로 알아채고 책임져 줄 사람이 항상 있는 건 아니다.

1. AI가 '제안'하던 단계에서 '실행'하는 단계로

불과 몇 년 전까지 AI 비서의 역할은 '제안'에 머물렀다. 검색해 주고, 비교표를 만들어주고, 초안을 써주는 정도였다. 최종 버튼을 누르는 것은 언제나 사람의 몫이었다. 그런데 이제는 그 경계가 빠르게 허물어지고 있다. 오픈 AI는 비자, 페이팔과 손잡고 챗지피티(ChatGPT) 안에서 검색부터 결제까지 한 번에 끝내는 '에이전틱 커머스(Agentic Commerce)' 기능을 실제 서비스로 내놓았다. 2025년 10월에는 페이팔과 제휴해 챗지피티 안에서 지갑 결제가 가능해졌고, 인스타카트 같은 식료품 플랫폼도 챗지피티 앱 안으로 들어왔다. 사용자가 "이거 사줘"라고 말하면, AI가 상품을 고르고 결제창까지 열어 거래를 완결 짓는 구조다.
이런 흐름은 개인 소비에만 그치지 않는다. 기업 간 거래에서도 AI 협상 에이전트가 공급업체와 조건을 주고받는 사례가 늘고 있다. 한 법률자문기관의 분석에 따르면, AI 협상 에이전트는 공급업체의 약관을 검토하고 가격을 역제안하며 수정된 조건을 받아들여 계약을 자동으로 체결하는 데까지 나아가고 있다. 문제는 이 과정에서 사람의 검토가 빠진다는 점이다. 두 개의 AI가 서로 표준 약관을 주고받다가, 책임 제한이나 준거법 같은 조항이 양쪽 모두 의도하지 않은 형태로 뒤섞인 계약이 성립해버리는 사례까지 보고되고 있다. '제안'이 아니라 '실행'을 맡긴 순간, 사람이 끼어들 틈은 그만큼 줄어든다.

2. 편리한 자동계약 뒤에 숨은 책임의 빈칸

AI가 실행자가 되면서 가장 먼저 부딪히는 질문은 "그래서 잘못되면 누가 책임지는가"다. 흥미롭게도 법 제도는 이 질문에 아직 명확히 답하지 못하고 있다. 유럽연합은 오히려 2025년 10월, 준비하던 별도의 'AI 책임지침(AI Liability Directive)'을 철회했다. AI의 과실을 따로 규율하는 전용 법 체계 없이, 기존 계약법과 일반 손해배상 법리에 기대야 하는 상황이 된 것이다. 반면 다른 곳에서는 규제가 오히려 사용자 편을 들어주는 방향으로 움직이고 있다. 한 법률자문기관의 정리에 따르면, 영국 경쟁시장청은 AI 에이전트가 거래에 개입했더라도 사업자의 소비자 보호 책임은 동일하게 적용된다는 입장을 밝혔고, 심지어 그 실수가 외부의 악의적 조작(프롬프트 인젝션)에서 시작됐어도 마찬가지라고 못 박았다. 미국 캘리포니아주 역시 "AI가 스스로 저지른 일이라 어쩔 수 없었다"는 항변 자체를 법적으로 봉쇄하는 법안을 통과시켰다.
그럼에도 현실에서는 책임의 빈칸이 여전히 넓다. AI 서비스를 제공하는 업체들은 대개 이용약관에 면책 조항을 촘촘히 걸어두고, 결국 오류의 부담은 그 도구를 쓴 개인이나 기업에게 돌아가는 경우가 많다는 지적도 나온다. 특히 중소 규모 사업자에게는 이 격차가 더 뼈아프다. 벤더가 계약서에 명시한 책임 한도와 실제로 발생한 손실 사이의 간극은, 보험으로도 메워지지 않는 공백으로 남는다는 분석도 있다. 미국의 아메리칸 익스프레스가 2026년 초 등록된 AI 에이전트에 결제 자격을 부여하고 오류 구매를 보상하는 프로그램을 내놓은 것도, 뒤집어 보면 그만큼 이 책임의 공백이 시장에서 시급한 문제로 여겨지고 있다는 신호다. 견적서 실수를 냈던 신입 시절의 나에게는 적어도 '내 이름'이라는 분명한 책임의 자리가 있었다. AI가 계약을 대신 체결하는 세상에서는, 그 이름이 누구의 것인지부터 다시 물어야 한다.

3. AI를 믿되, 최종 결정은 사람이 지키는 방법

그렇다고 AI에게 모든 실행 권한을 넘기지 않는 것이 능사는 아니다. 이미 상당수의 기업이 AI 에이전트를 실무에 투입하고 있고, 그 흐름을 되돌리기는 어렵다. 대신 필요한 것은 실행의 경계를 명확히 긋는 일이다. 실무에서 권장되는 방법은 의외로 단순하다. 일정 금액 이상의 지출이나 새로운 거래처와의 계약처럼 위험도가 높은 행동에는 반드시 사람의 승인을 거치도록 하는 것, 그리고 총액뿐 아니라 시간당·일일 지출 속도에도 한도를 걸어 이상 징후를 빠르게 잡아내는 것이다. 한 결제 인프라 기업의 분석은 이런 통제 장치가 AI 모델 내부가 아니라 그 바깥의 별도 시스템에 있어야 한다고 강조한다.

한도를 계산하고 멈추는 장치는 모델 바깥에 있어야 한다. 모델 안에 있는 것은 결국 모델 스스로가 협상할 수 있는 대상이 되기 때문이다.

이 문장을 읽으며 예전 상사가 떠올랐다. 그는 내 실수를 대신 없애준 것이 아니라, 내가 제출한 숫자를 한 번 더 확인하는 자리에 있었을 뿐이다. 그 확인 한 번이 작은 실수가 큰 사고로 번지는 것을 막아주었다. 지금 AI에게 필요한 것도 다르지 않다고 생각한다. 계산과 비교, 초안 작성까지는 AI에게 믿고 맡기되, 계약 버튼을 누르는 마지막 순간만큼은 사람이 한 번 더 들여다보는 구조를 만드는 것이다. 조명 제품을 수입하며 조건 하나하나를 직접 챙겨온 입장에서, 이 원칙만큼은 당분간 양보하고 싶지 않다.

결론: 실행 버튼은 아직 사람의 몫이다

신입 시절의 나는 숫자 하나 잘못 적어 상사에게 지적받고 다시 계산기를 두드려야 했다. 부끄러웠지만, 그 순간 덕분에 더 큰 실수로 번지지 않았다. AI는 이제 그 계산과 판단, 심지어 계약의 실행까지 대신하고 있지만, 그 실수를 알아채고 바로잡아 줄 '상사'는 아직 제도적으로도 기술적으로도 충분히 마련되지 않았다. 편리함이 주는 유혹은 크다. 그러나 계약서의 마지막 서명란만큼은, 당분간 사람이 지켜야 할 자리라고 믿는다.

출처

olnyone 님의 블로그

AI 비서가 내 대신 계약한 실수, 책임의 빈칸, 최종 결정

1. AI가 '제안'하던 단계에서 '실행'하는 단계로

2. 편리한 자동계약 뒤에 숨은 책임의 빈칸

3. AI를 믿되, 최종 결정은 사람이 지키는 방법

결론: 실행 버튼은 아직 사람의 몫이다

티스토리툴바