[자동화 사고법 2강] 그 일, 사람이 꼭 해야 합니까? — 사람과 AI의 역할을 나누는 3가지 기준

🛠️ 이 이야기에 나온 편집 도구를 공개했습니다

아래 글 전체가 이 도구를 만들면서 겪은 이야기입니다. 제 채널 영상들을 실제로 이걸로 만들었고, 그대로 공개했습니다. 무료이고, MIT 라이선스입니다.

github.com/ceokobec-hue/autoedit

「안 될 수도 있다」를 굳이 적어 두는 이유가 있습니다. 이 글이 계속 말하는 그 이야기라서입니다 — 「내 컴퓨터에서 된다」와 「누구 컴퓨터에서나 된다」는 다른 말입니다. 제가 확인한 건 몇 대이지 세상 모든 컴퓨터가 아닙니다. 이걸 뭉뚱그려 「됩니다」라고만 적으면, 받아 가신 분이 안 되는 걸 혼자 발견하게 됩니다. 그래서 나눠 적습니다.

① 받기 — 한 줄이면 끝납니다

저장소를 내 컴퓨터로 내려받는 것부터입니다. 터미널(윈도우는 명령 프롬프트)을 열고 아래를 칩니다.

② 준비 상태 보기 — 뭐가 없는지 한국어로 알려줍니다

설치를 순서대로 다 하는 것보다, 먼저 뭐가 없는지 물어보는 편이 빠릅니다. 점검 도구가 들어 있습니다.

③ 첫 결과물 뽑기 — 내 영상 없이도 됩니다

카메라도, 찍어 둔 영상도 필요 없습니다. 시험용 영상을 만들어 주는 기능이 들어 있어서, 설치가 제대로 됐는지를 결과물 하나로 확인할 수 있습니다.

점검 도구의 ✅는 「부품이 있다」는 뜻이지 「끝까지 돈다」는 뜻이 아닙니다. 진짜 확인은 결과물 파일이 하나 나오는 것입니다. 그래서 이 단계를 건너뛰지 마세요.

④ 내 영상으로 — 여기서부터 원고를 씁니다

③번까지는 저장소에 들어 있는 예시 파일로 돌았습니다. 이제부터가 진짜입니다. 화면에 무슨 말을 몇 초에 띄울지는 사람이 정합니다.

⑤ 사람이 판정하는 자리 — 이 도구가 일부러 멈추는 곳

여기가 이 글의 주제와 그대로 만나는 자리입니다. 이 도구는 끝까지 자동으로 가지 않습니다. 중간에 멈춰서 사람에게 보여주고, 승인을 받아야 다음으로 갑니다.

이 게이트들은 AI가 마음대로 통과하지 못하게 코드와 규칙에 못 박아 뒀습니다. 저장소 안 AI용 규칙서(CLAUDE.md)에 이렇게 적혀 있습니다.

왜 이렇게까지 하냐면, 영상 작업에서 제일 무서운 고장이 「에러가 안 나는 고장」이기 때문입니다. 저장소에는 그런 사고가 마흔 건 넘게 기록돼 있습니다. 공통점이 하나입니다.

한 번은 잘라야 할 영상을 잘못 지정해서 47컷 전부가 엉뚱한 영상 조각이 된 적이 있습니다. 개수도, 해상도도, 길이도, 파일 형식도 전부 정상이었습니다. 눈으로 보기 전까지 아무도 몰랐습니다. 그래서 사람이 보는 자리를 남겨 둔 겁니다.

담긴 것은 두 가지입니다.

혹시 개발자가 아니라서 부담스러우시면, 저장소를 열어 구조만 보셔도 됩니다. 아래에 나오는 세 기준이 폴더와 파일로 어떻게 나타나는지 보는 것만으로도 얻는 게 있습니다. 「사람이 하는 자리」와 「AI가 하는 자리」가 물리적으로 갈라져 있는 모양을 보실 수 있습니다.

「전부 자동으로」에서 시작해서 반대 결론이 나왔습니다

1강에서는 내 일에서 자동화할 자리를 찾는 법을 다뤘습니다. 반복·대기·누락·검색·취합, 다섯 신호가 나는 자리를 세어 보는 것이었죠. 그런데 자리를 찾고 나면 바로 다음 질문이 옵니다. "찾았으니 이제 통째로 넘기면 되나요?"

저도 그렇게 생각했습니다. 제 일 중에 가장 손이 많이 가는 게 강의 영상 편집이었습니다. 혼자 찍고 혼자 편집하니까요. 그래서 하나씩 자동으로 만들어 봤습니다. 자막 붙이기, 카메라 두 대 싱크 맞추기, 설명 화면 만들어 넣기. 하나씩 되기 시작하니까 자연스럽게 이런 생각이 들었습니다. "이 속도면 편집 전체를 맡길 수 있겠는데?"

결론부터 말씀드리면 그렇게 되지 않았습니다. 정확히는, 기술이 모자라서 안 된 게 아닙니다. 여러 번 만들어 보고 여러 번 버리고 나서 알게 된 건, 애초에 전부 맡기는 게 좋은 게 아니었다는 사실이었습니다.

이 글에서 드릴 이야기는 세 덩어리입니다. 첫째, 제가 실패한 다섯 단계 — 여기서 선이 만들어졌습니다. 둘째, 그렇게 만들어진 세 가지 기준. 셋째, 그 기준을 내 일에 대보는 판정기입니다. 순서대로 읽으시면 마지막에 "내 일 중에 뭘 맡기고 뭘 붙들지"가 한 줄로 나옵니다.

컷 편집은 왜 계속 내 손에 남았나

가장 먼저 자동화하고 싶었던 건 컷 편집이었습니다. 시간이 제일 많이 드니까요. 말 사이에 뜬 침묵, 말을 더듬은 부분, 같은 설명을 두 번 한 부분 — 이런 걸 잘라내는 일입니다. 화면과 소리를 보면 되니까 기계가 하기 딱 좋아 보였습니다.

여러 번 시도했고, 결국 포기했습니다. 실력이 부족해서가 아니라, 시켜서 나온 결과가 제 마음에 안 들었기 때문입니다. 그 이유를 나중에야 한 줄로 정리할 수 있었습니다.

구체적으로 이런 것들이 갈렸습니다.

AI는 화면과 음성을 분석할 수 있습니다. 그건 잘합니다. 하지만 내가 왜 이 말을 했는지, 시청자에게 어떤 느낌을 주고 싶은지까지 아는 건 아닙니다. 그건 화면 밖에 있는 정보입니다. 1강에서 말씀드린 "AI는 내가 알려준 만큼만 안다"가 여기서도 그대로 적용됩니다. 다만 여기서는 알려주는 것 자체가 편집만큼 오래 걸립니다. 그럴 바에는 제가 자르는 게 빠릅니다.

자동화보다 먼저 해야 하는 건 「구분」입니다

여기서 오해가 없었으면 합니다. 제가 드리는 말씀은 "무조건 자동화하세요"가 아닙니다. 반대입니다. 자동화하기 전에 먼저 일을 나눠 봐야 합니다.

그리고 이 기준은 제가 처음부터 알고 있던 게 아닙니다. 계속 실패하면서 찾았습니다. 그 과정을 다음 장에 그대로 적었습니다. 이 글에서 가장 길고, 제 생각에는 가장 쓸모 있는 부분입니다.

시행착오 5단계 — 「경계」가 만들어진 과정

자랑하려고 적는 게 아닙니다. 다섯 단계를 지나오면서 제 판단 기준이 어떻게 바뀌었는지가 요점입니다. 각 단계마다 제가 그때 믿었던 것과, 그게 왜 틀렸는지를 같이 적었습니다.

1단계 · 가능성을 봤다

처음엔 그냥 이런 생각이었습니다. "영상 만드는 과정도 컴퓨터한테 상당 부분 맡길 수 있겠는데?" 여기까지는 어디까지 자동화할 수 있을지 몰랐습니다. 계획도 설계도 없었습니다. 그냥 가능성을 본 것뿐입니다.

이 단계에서 흔히 하는 착각이 있습니다. "가능성을 봤다"를 "할 수 있다"로 읽는 것입니다. 둘은 아주 멉니다. 그 사이에 있는 게 아래 네 단계입니다.

2단계 · AI를 썼는데, 일은 여전히 수동이었다

설명 화면을 HTML로 만들었습니다. AI에게 시켜서요. 그리고 그걸 이미지처럼 캡처해서 영상에 인서트로 넣었습니다. 화면은 그럴듯해졌습니다. 그런데 냉정하게 보니 전부 수동이었습니다.

AI로 화면을 만들었습니다 — 여기까지는 AI가 한 일입니다. 그다음에 제가 캡처하고, 제가 편집 프로그램을 열고, 제가 어디에 넣을지 보고, 제가 직접 집어넣었습니다.

이건 지금도 아주 많이 보이는 착각입니다. AI로 초안을 뽑아서 손으로 옮겨 붙이고 있다면, 그건 도구를 하나 더 쓴 것이지 일이 줄어든 게 아닙니다. 줄어든 것처럼 느껴지는 이유는 제일 막막했던 「빈 화면 앞에서 시작하기」가 없어졌기 때문인데, 그건 심리적 부담이 줄어든 것이고 손 움직임은 그대로입니다.

3단계 · 만드는 것은 자동, 배치는 수동

다음엔 더 욕심을 냈습니다. 정지된 이미지 대신 움직이는 모션그래픽까지 만들었습니다. 화면은 훨씬 좋아졌습니다. 보기에 확실히 프로 같아졌고요.

그런데 문제가 그대로 남았습니다. 만들어진 파일을 영상 어디에 넣을지는 여전히 하나하나 보고 직접 넣고 있었습니다. 만드는 데 걸리던 시간은 줄었는데, 넣는 데 걸리는 시간은 그대로였습니다. 그리고 영상 한 편에 들어가는 설명 화면이 늘어날수록 넣는 시간이 오히려 더 늘었습니다.

여기서 하나 배웠습니다. 자동화는 「덩어리」가 아니라 「단계」로 봐야 한다는 것입니다. 「영상 편집」이라는 큰 덩어리는 자동화할지 말지를 정할 수 없습니다. 너무 크니까요. 「만든다 / 고른다 / 넣는다 / 확인한다」로 쪼개야 어디가 자동이고 어디가 수동인지 보입니다. 1강에서 문제를 쪼개라고 한 이유가 여기서 다시 나옵니다.

4단계 · 「된다」와 「쓸 만하다」는 달랐다

이 글에서 제일 중요한 대목입니다.

이번엔 제대로 해보자 싶어서 여러 개를 한꺼번에 붙였습니다. 자막도 자동으로 붙이고, 중요한 부분에 형광펜처럼 효과도 넣고, 여러 편집 작업을 코드로 처리해 봤습니다. 기술적으로는 됩니다. 에러 없이 돌아갔고, 결과 파일도 나왔습니다.

그런데 제 마음에 안 들었습니다.

이 구분이 왜 중요하냐면, 「된다」는 화면에 뜨는데 「쓸 만하다」는 화면에 안 뜨기 때문입니다. 프로그램은 "완료"라고 찍고 끝납니다. 결과가 쓸 만한지는 사람이 봐야 압니다. 그래서 자동화를 만들고 나면 반드시 사람이 결과를 보는 자리를 남겨야 합니다. 이게 뒤에 나오는 기준 ②로 이어집니다.

그리고 이 대목에서 제가 실제로 겪은 사례가 하나 더 있습니다. 이건 따로 한 장을 뗐습니다 — 바로 다음 장입니다.

5단계 · 자동화를 포기한 게 아니라 「범위」를 바꿨다

4단계에서 저는 두 가지 중 하나를 고를 수 있었습니다. 더 좋은 도구를 찾아 헤매거나, 맡기는 범위를 다시 그리거나. 저는 뒤쪽을 골랐습니다.

영상 전체를 AI에게 맡기는 건 별로였지만, 제가 이미 판단한 내용을 가지고 반복 작업을 대신하게 하는 건 확실히 가능성이 있었기 때문입니다. 실제로 그 부분은 잘 됐습니다. 처음부터 잘 됐던 부분이기도 하고요.

이게 이 글의 핵심 문장입니다. 자동화가 안 될 때 우리는 보통 "도구가 부족한가?"를 먼저 의심합니다. 그런데 제 경험으로는 "범위가 잘못됐나?"를 먼저 의심하는 편이 훨씬 자주 맞았습니다. 도구를 바꾸는 데는 돈과 시간이 들지만, 범위를 다시 긋는 건 종이 한 장이면 됩니다.

지금 — 결국 이렇게 나눴습니다

지금 제가 강의 영상을 만드는 순서는 이렇습니다.

보시면 사람 → AI → 사람입니다. 앞에서 판단하고, 가운데를 맡기고, 뒤에서 확인합니다. 이 모양이 우연히 나온 게 아니라 다섯 번 실패한 끝에 남은 모양입니다.

「된다」를 「쓸 만하다」로 착각하지 않는 법 — 남의 눈으로 한 번 돌려 보기

4단계 이야기를 조금 더 하겠습니다. 이건 최근에 실제로 겪은 일입니다.

위에서 말씀드린 편집 도구를 정리해서 공개하기로 했습니다. 공개하기 전에 저는 한 바퀴 돌려 보고 "다 됩니다"라고 판단했습니다. 제 영상들을 실제로 이걸로 만들었으니까요. 그래도 혹시 몰라서 다른 시각으로 점검(레드팀)을 붙였습니다. 만든 사람이 아닌 눈으로, 문서에 적힌 것만 보고 따라가 보게 한 겁니다.

문제가 줄줄이 나왔습니다. 그런데 놀라운 건 나온 문제가 전부 「에러가 안 나면서 틀리는」 종류였다는 점입니다.

세 번째 줄이 특히 무섭습니다. −1은 "그런 값이 없다"는 뜻인데, 프로그램은 그걸 그냥 시각으로 받아서 다음 단계로 넘겼습니다. 그래서 컷이 말 한가운데서 끊겼습니다. 아무도 에러를 못 봤습니다. 결과 영상을 눈으로 봐야만 알 수 있는 종류입니다.

그리고, 왜 만든 사람은 못 봤을까

이유는 단순했습니다. 이미 아는 사람으로 확인했기 때문입니다. 저는 명령을 외워서 쳤고, 필요한 것도 제 컴퓨터에는 이미 깔려 있었습니다. 그래서 저한테는 전부 됐습니다.

그런데 문서만 보고 따라가면 첫 줄에서 막혔습니다. 저장소를 어떻게 받는지가 안 적혀 있었거든요. 저한테는 너무 당연해서 적을 생각을 못 한 것입니다.

여기서 여러분께 드리고 싶은 교훈은 이겁니다. 자동화를 만들었으면 「다 됩니다」로 끝내지 마세요. 모르는 사람 눈으로 한 번 돌려 보세요. 방법은 어렵지 않습니다.

③번이 특히 효과가 좋습니다. 잘 돌 때만 테스트하면 조용히 틀리는 자리는 절대 안 나옵니다. 일부러 망가뜨려 봐야 나옵니다.

기준 ① 목표와 판단은 사람, 반복 실행은 AI

다섯 단계를 지나고 남은 첫 번째 기준입니다. 가장 기본이 되는 선입니다.

사람은 무엇을 할지 정하고, AI는 그것을 어떻게 빠르고 반복적으로 실행할지를 돕습니다. 제 경우로 옮기면 이렇습니다. 어떤 메시지를 남길지, 어떤 장면을 살릴지는 제가 정합니다. 반면 자막을 일정한 스타일로 붙이고, 카메라 두 개의 싱크를 맞추고, 정한 기준대로 반복 처리하는 건 AI와 자동화 도구가 저보다 훨씬 잘합니다. 지치지도 않고, 100번째도 1번째와 똑같이 합니다.

여기서 흔한 오해 하나를 짚고 갑니다. "판단은 사람"이라는 말이 "AI에게 의견을 묻지 말라"는 뜻은 아닙니다. 물어봐도 됩니다. 오히려 좋습니다. 다만 고르는 건 내가 합니다. AI가 셋을 제안하고 내가 하나를 고르면, 그건 여전히 사람의 판단입니다. 위험한 건 제안을 받은 줄도 모르고 그대로 나가는 것입니다.

기준 ② 반복은 맡겨도, 책임은 사람에게 남는다

두 번째 기준은 좀 더 무거운 이야기입니다.

AI가 자막을 잘못 붙였다고 해서 AI가 시청자에게 사과하지 않습니다. AI가 보고서를 잘못 정리했다고 해서 AI가 회의실에 들어가 책임지지 않습니다. 결과를 떠안는 건 언제나 사람입니다. 이건 기술의 문제가 아니라 구조의 문제라서, 도구가 아무리 좋아져도 바뀌지 않습니다.

그래서 특히 돈 · 사람 · 안전 · 평판처럼 잘못됐을 때 피해가 큰 일은 반드시 사람의 승인 지점을 남겨야 합니다. 이 넷을 외워 두시면 편합니다.

말로만 하면 공허하니 실물로 말씀드리겠습니다. 제가 만든 편집 도구 두 개에는 중간에 사람이 검토표를 보고 승인하는 단계가 들어 있습니다. 카메라 전환 후보를 골라 놓고 바로 렌더하지 않습니다. HTML 검토표 한 장으로 내밀고, 제가 체크해서 승인한 것만 실제로 만듭니다. 설명 화면도 마찬가지로 검수 시트를 먼저 뽑습니다. 전체를 렌더하기 전에 번호로 지적할 수 있게요.

이건 도구가 덜 발달해서가 아니라 일부러 그렇게 만든 것입니다. 끝까지 자동으로 가는 게 좋아 보이지만, 끝까지 자동으로 가면 「조용히 틀린 것」을 잡을 자리가 없어집니다. 앞 장에서 본 「예전 그림을 보여준 검수 화면」이 왜 그렇게 심각한 문제였는지 여기서 연결됩니다 — 승인 게이트가 거짓말을 하면 게이트가 없는 것보다 나쁩니다. 있다고 믿게 만드니까요.

정리하면 이렇습니다. 반복은 넘기고, 책임은 지킵니다. 넘긴 뒤에도 결과를 보는 자리를 남겨 두세요. 그 자리가 있으면 자동화를 더 과감하게 늘릴 수 있습니다 — 틀려도 잡히니까요.

기준 ③ 경계는 직접 써보면서 만든다

세 번째 기준이 어쩌면 가장 중요합니다. 이 경계는 남이 대신 정해주는 게 아닙니다.

저도 위 다섯 단계를 지나면서 찾았습니다. 해보고, 실패하고, 빼보고, 다시 맡겨보면서요. 누가 "영상 편집은 컷까지는 사람이 하세요"라고 알려준 게 아닙니다. 여러 번 마음에 안 드는 결과를 보고 나서 제가 정한 겁니다.

그래서 이 둘은 완전히 다른 실력입니다.

마지막 줄이 핵심입니다. 실패를 「나는 안 된다」로 읽으면 거기서 끝나고, 「여기가 선이구나」로 읽으면 기준이 하나 생깁니다. 제가 컷 편집 자동화에 실패한 걸 "나는 못 한다"로 읽었으면 지금 쓰는 도구는 없었을 겁니다. "여기는 내가 하는 자리구나"로 읽었더니 나머지를 맡길 수 있게 됐습니다.

「이 일, 사람인가 AI인가」 판정기 — 3분 만에 선 긋기

세 기준을 읽는 것과 내 일에 대보는 건 다릅니다. 그래서 아래에 세 가지 질문으로 갈라 주는 판정기를 놓았습니다. 내 업무를 한 줄 적고, 세 질문에 예/아니오로 답하면 「사람이 한다 / 사람이 정하고 AI가 실행 / AI에게 맡기고 사람이 승인」 셋 중 하나가 나옵니다.

질문 셋은 앞의 기준 셋과 그대로 짝을 이룹니다. 업종이 무엇이든 질문은 똑같습니다.

예시 넷을 다 눌러 보시면 재미있는 걸 발견하실 겁니다. 같은 「사람이 한다」라도 이유가 다릅니다. 신메뉴를 정하는 일은 판단이 들어가서 사람이 하는 것이고, 일 년에 한 번 하는 일은 자동화할 값어치가 없어서 사람이 하는 것입니다. 이유가 다르면 다음에 할 일도 다릅니다.

회사 · 비즈니스 · 개인 — 어디에나 같은 질문

지금까지 영상 편집 이야기를 했지만, 이건 제 일이라서 예로 든 것뿐입니다. 같은 질문이 어디에나 적용됩니다.

세 줄을 나란히 놓으면 규칙이 보입니다. 왼쪽 칸은 전부 「무엇을·왜」이고, 오른쪽 칸은 전부 「어떻게·몇 번이든」입니다. 회사에서든 가게에서든 집에서든 똑같습니다.

한눈에 담으면 이 한 줄입니다.

외우실 게 있다면 이 한 줄이면 충분합니다. 나머지는 이 줄을 내 일에 대보는 연습일 뿐입니다.

처음 AI를 만나는 분께 — 도구보다 먼저 있어야 하는 것

여기까지 읽으신 분 중에 이제 막 AI를 써보려는 분이 계실 겁니다. 그분들께 드리고 싶은 말씀이 있습니다.

도구를 잘 쓰는 것만큼 중요한 게 있습니다. 내가 무엇을 좋아하는지, 무엇을 원하는지, 지금 풀고 싶은 문제가 무엇인지 아는 것입니다. 이게 없으면 AI에게 제대로 시킬 수가 없습니다. 시킬 말이 안 나오니까요.

실제로 교육 현장에서 가장 자주 보는 막힘이 "뭘 시켜야 할지 모르겠어요"입니다. 도구 사용법을 몰라서가 아닙니다. 내가 무엇 때문에 힘든지를 아직 안 적어봐서입니다. 1강 전체가 그 이야기였고, 2강은 거기서 한 걸음 더 나간 것입니다 — 찾았으면, 어디까지 넘길지도 내가 정해야 한다.

순서를 정리하면 이렇습니다.

①이 안 된 채로 ②를 하면 남의 기준을 베끼게 되고, ②가 안 된 채로 ③을 하면 통째로 넘기다가 실패합니다. 순서가 있는 이유입니다.

마무리 — 자기 기준을 가진 사람이 오래 갑니다

AI는 더 똑똑해질 겁니다. 제가 오늘 "이건 안 되더라"라고 적은 것 중 상당수는 언젠가 될 겁니다. 그건 좋은 일입니다.

그런데 한 가지는 계속 우리에게 남습니다. 나는 무엇을 원하는가. 무엇을 중요하게 생각하는가. 이건 도구가 좋아진다고 대신 정해지는 게 아닙니다. 오히려 도구가 좋아질수록 이 질문의 무게가 커집니다 — 할 수 있는 게 많아질수록, 무엇을 할지 고르는 일이 더 어려워지니까요.

AI가 답을 만들어줄 수는 있습니다. 하지만 그 답을 내 삶의 답으로 선택할지는 결국 내가 결정해야 합니다.

AI 활용 교육과 컨설팅을 다니는 외부강사 김지백이 지난 몇 달 동안 영상 편집을 자동화해 보며 얻은 결론은 하나였습니다. 기술이 아니라 경계를 만든 것이 남았다는 것입니다. 여러분도 이번 주에 한 가지만 시켜 보시고, 어디까지 마음에 들고 어디부터 마음에 안 드는지 한 줄만 적어 두세요. 그게 여러분의 첫 번째 경계선입니다.