로봇이 붓을 잡으면, 사람은 어디에 남을까? — 분석 기준: Nov. 9, 2026

종이 위에 푸른 물감을 칠하는 가상의 로봇 팔과 이를 바라보는 카메라, 팔레트와 물통.

로봇과 물감의 관계를 표현한 AI 생성 삽화. 실제 장비나 실험을 촬영한 사진이 아니며, 로봇이 그린 작품도 아니다.

화면에서 수채화 같은 이미지를 만드는 일과, 붓에 물감을 묻혀 종이에 그리는 일은 다르다. 앞에서는 번진 흔적도 이미지의 일부다. 뒤에서는 물이 종이에 스며들고, 먼저 칠한 색 위에 다음 색이 올라간다. 이미 내려놓은 물감을 되돌리는 일에도 제약이 있다.

로봇이 붓을 잡는 장면이 흥미로운 이유는 여기에 있다. AI가 제안한 이미지가 화면을 떠나 실제 재료와 만난다. 문장이 그림이 되는 과정 사이에 물감, 종이, 카메라와 기계의 움직임이 들어오는 것이다.

그렇다면 이제 사람 없이 그림을 그리는 시대라고 말해도 될까? 붓을 움직이는 동안 사람이 곁에 없는 것과, 작업 전체에서 사람의 판단이 사라지는 것은 구분해서 볼 필요가 있다. 최근 제작 기록과 연구를 함께 읽으면 그 차이가 조금 더 분명해진다.

Claude가 그린다는 말 안에는 무엇이 들어 있을까?

Berlin의 제작자 nil이 공개한 PB27은 집 안 작업실의 로봇 드로잉 프로젝트다. 제작자의 설명에 따르면 UFactory xArm 7이 펜과 붓을 사용하고, 카메라로 종이를 찾으며 실제 잉크와 물감을 내려놓는다. Codex와 Claude Code는 소프트웨어 작성뿐 아니라 작업 준비와 실행, 카메라와 제어 상태 확인에도 참여한다. 제작자는 방향 설정, 물리적 장치 구성과 결과 판단을 자신이 맡는다고 밝힌다.[1]

여기서 눈여겨볼 것은 언어로 지시하는 AI와 실제 움직임 사이의 연결이다. PB27은 이동 경로를 검사한 뒤 정해진 실행기를 통해 움직이도록 구성했다고 설명한다. 화면의 문장이 곧바로 모터 명령이 되는 식으로 이해하면 중요한 중간 과정이 빠진다. 제작 기록에는 그림과 실행 흔적을 남기는 절차도 포함된다.[1]

다만 이 사례를 일반 Claude 사용자가 바로 켤 수 있는 수채화 기능으로 읽어서는 곤란하다. 별도의 장치와 제어 환경을 갖춘 제작자의 프로젝트다. 공개 페이지의 영상도 실제 작업을 짧게 편집한 것이라고 명시되어 있다. 그 영상만으로 작업 전체의 무개입 여부나 반복 성공률을 판단할 수는 없다.[1]

PB27의 의미는 충분히 크다. 코드를 만드는 AI agent가 물리적 장치의 작업 흐름에도 들어갈 수 있다는 구체적인 사례이기 때문이다. 그러나 무엇을 만들 것인지와 완성된 것을 어떻게 평가할 것인지는 여전히 살펴야 한다.

사람이 현장에 없다는 것과 사람이 그리지 않는다는 것

겉으로는 모두 로봇 팔이 움직인다. 그 뒤에서 누가 어떤 결정을 하는지는 서로 다르다. 다음은 성능 순위가 아니라, 영상을 읽을 때 사용할 구분이다.

원격 조종

  • 사람이 맡는 부분: 다른 장소에서 실시간으로 움직임을 지시

  • 기계가 맡는 부분: 지시를 물리적 동작으로 실행

  • 확인할 질문: 화면 밖에서 사람이 계속 조종하고 있는가?

미리 정한 경로 실행

  • 사람이 맡는 부분: 도안과 이동 경로를 준비하거나 승인

  • 기계가 맡는 부분: 준비된 경로를 따라 그림

  • 확인할 질문: 종이에 생긴 결과를 보며 경로를 바꾸는가?

시각 피드백을 이용한 회화

  • 사람이 맡는 부분: 목표와 작업 조건을 설정

  • 기계가 맡는 부분: 카메라로 결과를 확인하고 다음 동작을 조정

  • 확인할 질문: 무엇을 오차로 보고 고치는가?

AI agent를 통한 운용

  • 사람이 맡는 부분: 목표·도구·허용 범위를 정하고 결과를 평가

  • 기계가 맡는 부분: 연결된 도구로 계획·실행·확인을 수행

  • 확인할 질문: agent가 스스로 결정하는 범위는 어디까지인가?

사람과 로봇의 공동 회화

  • 사람이 맡는 부분: 진행 중인 그림에 직접 개입

  • 기계가 맡는 부분: 사람의 흔적을 포함한 상태에서 다음 작업을 이어감

  • 확인할 질문: 서로의 흔적을 어떻게 받아들이는가?

실제 시스템은 이 방식들을 섞어서 쓸 수 있다. 사람의 손이 영상에 나오지 않는다는 사실만으로 자율성을 판정할 수 없는 이유다.

예를 들어 Lingyun Chen 등의 drawing robot avatar 연구는 사람이 먼 곳에서 로봇을 조종해 실시간으로 그리는 상황을 다룬다. 연구의 자동화는 카메라 시점과 같은 보조 작업의 부담을 줄이는 데에도 쓰인다. 이것은 사람이 빠진 창작이라기보다, 사람의 움직임이 다른 장소에 도달하도록 돕는 사례다.[2]

그림을 보면서 다음 붓질을 고치는 연구

FRIDA는 언어나 이미지를 입력으로 받아 사람과 로봇이 회화를 만드는 연구다. Oct. 3, 2022에 공개된 논문은 실제 붓질과 시뮬레이션을 연결하고, 진행 중인 캔버스를 시각적으로 확인하면서 계획을 다시 조정하는 접근을 설명한다. 물감과 붓이 매번 완전히 같은 결과를 내지 않는다는 점이 중요한 출발점이다.[3]

이 차이는 간단한 장면으로 생각해 볼 수 있다. 같은 길이의 선을 그으라고 했는데 물감이 예상보다 적게 묻었다고 가정하자. 준비된 경로만 실행하는 장치는 다음 선으로 넘어갈 수 있다. 결과를 확인하는 시스템은 실제로 남은 흔적을 다음 계획에 반영할 수 있다. 이것은 이해를 돕기 위한 가정이며, 여기서 별도로 수행한 실험은 아니다.

e-David의 최근 연구도 실제로 칠해진 결과를 중요하게 다룬다. 공식 연구 페이지가 소개하는 Eurographics 2026 포스터 연구는 영역을 채운 뒤 카메라로 물감이 놓인 곳을 확인하고, 아직 남은 부분을 위한 붓질을 다시 계획한다. 그림을 여러 층으로 나누고, 붓으로 칠할 수 있는 크기와 형태로 영역을 정리하는 작업도 소개한다.[4]

이런 연구에서 ‘보는 것’은 이미지를 설명하는 데서 끝나지 않는다. 다음 행동을 정하는 데 쓰인다. 화면 속 목표와 종이 위의 결과 사이를 계속 오가는 과정이다. 로봇 회화의 발전을 보려면 완성된 그림의 정교함과 함께 이 과정도 보아야 한다.

더 자율적인 로봇만이 유일한 방향일까?

다른 방향도 있다. Feb. 21, 2024에 공개된 CoFRIDA 연구는 사람이 이미 그린 내용과 함께 작업하는 공동 회화를 다룬다. 연구진은 기존 이미지 생성 모델이 로봇의 능력과 제약을 충분히 이해하지 못하고, 실제 캔버스에서는 곤란한 변경이나 덮어쓰기를 제안할 수 있다는 문제를 지적한다. 이를 줄이기 위해 로봇의 제약을 반영한 학습 방법을 제안한다.[5]

이 문제는 회화에서 특히 중요하다. 디지털 화면에서 한 부분을 새로 생성하는 일과, 이미 물감이 올라간 종이에서 다음 흔적을 만드는 일은 같지 않다. 앞선 흔적을 받아들이며 이어 갈 수도 있고, 일부를 가릴 수도 있다. 어느 쪽이든 지금 남아 있는 상태가 다음 선택의 조건이 된다.

따라서 로봇 회화의 전망을 ‘얼마나 빨리 사람을 없앨 것인가?’ 하나로 정리하면 좁아진다. 사람이 첫 흔적을 남기고 기계가 이어 갈 수도 있다. 기계가 만든 것을 사람이 고르거나 손볼 수도 있다. 어떤 관계를 작업의 일부로 삼을지가 작가에게는 더 중요한 문제일 수 있다.

지금의 변화와 아직 말할 수 없는 것

이 사례들을 함께 놓으면 세 가지 흐름이 보인다. 특정 시장 전체에 대한 통계가 아니라, 확인한 제작 기록과 연구에서 읽을 수 있는 방향이다.

첫째, 언어로 지시하는 도구와 물리적 실행 사이의 연결이 구체화되고 있다. PB27은 coding agent가 제작과 운용에 참여하는 사례다. 다만 로봇 팔, 카메라, 경로 검사와 실행 환경을 마련하는 일까지 없어졌다는 뜻은 아니다.[1]

둘째, 실제로 남은 흔적을 다음 동작에 반영하는 일이 중요해지고 있다. FRIDA와 e-David는 서로 다른 방식으로 이 문제를 다룬다. 원하는 이미지 하나를 준비하는 것만으로는 재료의 변화를 모두 다룰 수 없기 때문이다.[3, 4]

셋째, 사람과 함께 그리는 방식도 계속 연구되고 있다. CoFRIDA와 원격 조종 연구는 사람의 역할을 서로 다르게 배치한다. 자동화의 정도만으로 작업의 의미를 평가하기 어려운 이유다.[2, 5]

반면, 이런 사례만으로 화가의 대체 시점이나 일반 작업실의 보급 가격, 장시간 무인 작업의 신뢰성을 말할 수는 없다. 그 판단에는 장비 비용, 재료 보충, 실패와 복구, 유지 관리에 관한 별도의 자료가 필요하다. 멋진 완성작 한 장은 그 비용과 실패한 시도를 모두 보여 주지 않는다.

AI visual artist와 책을 만드는 사람에게는 무엇이 달라질까?

당장 로봇을 들여야 한다는 이야기는 아니다. 먼저 달라지는 것은 이미지의 출처를 묻는 방식이다. AI로 만든 이미지 파일을 인쇄했는지, 로봇이 물감으로 그렸는지, 사람이 그 결과에 손을 더했는지에 따라 작업을 설명할 내용이 달라진다. 모두 한 문장으로 ‘AI 작품’이라고 부르면 중요한 차이가 사라진다.

책에서도 생각해 볼 여지가 있다. 다음은 현재 상품의 기능을 소개하는 것이 아니라, 작업을 기획할 때 검토할 수 있는 제안이다. 목표 이미지, 중간의 붓질, 완성된 종이를 차례로 놓으면 독자는 결과에 도달하는 차이를 읽을 수 있다. 같은 계획을 여러 번 실행해 실제로 다른 흔적이 생겼다면, 그 차이를 비교하는 책도 구상할 수 있다. 다만 반복 결과를 먼저 확보해야 한다. 예상한 차이를 실제 실험처럼 써서는 안 된다.

한정판 책에 물감의 흔적이 있는 낱장을 넣는 구상도 가능하다. 하지만 종이의 상태, 건조, 다른 페이지로의 묻어남, 제본과 보관을 시험해야 한다. 로봇으로 그렸다는 설명이 책의 물성을 해결해 주지는 않는다.

무엇보다 기계가 만든 이미지가 많아질수록 선택의 이유가 더 필요해진다. 어떤 장면은 기술적으로 흥미로워도 책 안에서는 할 일이 없을 수 있다. 반대로 작은 어긋남이 작업의 질문을 드러낼 수도 있다. 그 차이를 판단하려면 결과를 모아 놓고 앞뒤에서 다시 읽어야 한다.

영상을 볼 때 다섯 가지만 확인해 보자

로봇이 그림을 그리는 새 영상을 만났다면 다음 질문을 붙여 볼 수 있다.

  1. 무엇을 그릴지는 누가 정했는가?

  2. 붓의 경로는 미리 정해졌는가, 진행 중인 그림에 따라 바뀌는가?

  3. 물감 준비와 보충, 종이 고정, 실패 복구에는 누가 참여했는가?

  4. 영상은 연속 기록인가, 시간을 압축하거나 장면을 편집한 결과인가?

  5. 이 결과를 작품으로 남길 이유는 무엇인가?

앞의 네 질문은 자동화의 범위를 읽는 데 도움이 된다. 마지막 질문은 장치의 능력만으로 답하기 어렵다. 나는 그 질문을 남겨 두고 싶다. 사람이 붓을 직접 잡지 않아도, 무엇을 남기고 어떤 관계로 보여 줄지는 여전히 작업의 일부다.

로봇이 붓을 잡는 일은 이미지가 실제 재료로 나오는 새로운 경로를 보여 준다. 그 경로가 흥미로운 작품으로 이어질지는 만들어진 흔적을 어떻게 보고, 고르고, 다른 사람에게 건네는지에 달려 있다.

원자료와 더 읽을 자료

아래 링크는 제작자의 기록과 연구 원문이다. 이 글은 해당 자료를 바탕으로 구성했으며, 필자가 로봇을 직접 운용한 사용기는 아니다. 분석 기준: Nov. 9, 2026.

  1. nil. PB27 — a robot learning to draw. 제작 과정과 영상, coding agent의 역할을 설명하는 프로젝트 기록. 제작자의 자체 보고와 편집 영상이라는 범위에서 읽었다.

  2. Lingyun Chen, Abdeldjallil Naceri, Abdalla Swikir, Sandra Hirche, Sami Haddadin. (2024). Autonomous and Teleoperation Control of a Drawing Robot Avatar.

  3. Peter Schaldenbrand, James McCann, Jean Oh. (2022). FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment.

  4. e-David. Research & Publications. 특히 M. Stroh, D. Berio, F. Fol Leymarie, O. Deussen의 Dynamic Region Filling for Robotic Artistic Painting using Visual Feedback, Eurographics 2026 Posters에 관한 공식 설명.

  5. Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh. (2024). CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting.

이어 읽기

기술이 시각적 언어가 되려면 — 도구와 제작 방법의 설명에서 작가가 무엇을 보고 느끼는지에 관한 질문으로 이어지는 글이다.

Young Chai

Visual Artist · Writer

https://luxlatens.com
Previous
Previous

사진과 AI로 책을 만드는 일

Next
Next

이미지를 고치고, 움직이고, 책으로 엮기 — 분석 기준: Nov. 8, 2026