구축사업 배경 및 목적

얼굴이나 전신을 편집하는 어플을 사용해보신 적이 있으신가요?
기존의 이미지 편집 관련 데이터셋은 영어 위주이고 서양인 얼굴 이미지 위주로 이루어져 있었습니다.
텍스트-이미지 관련 데이터 역시 이미지를 설명하는 텍스트로 이루어져 있고, 이미지 편집 관련 텍스트-이미지 쌍 데이터는 거의 전무했습니다.
한국어 명령어와 한국 실정에 맞는 이미지를 수집함으로써 국내 인공지능 기반 서비스 품질을 높이고 학술적으로 언어 기반 이미지 편집 연구 분야에 큰 혁신을 가져올 것으로 전망하고 해당 구축사업이 계획되었습니다.

데이터 가공 분야

폴리곤 라벨링

• 전신 이미지 폴리곤 라벨링
• 안면 이미지 폴리곤 라벨링
  

• 전신 이미지 포토샵 편집 - 예시 명령어 : ‘자동차를 빨간색으로 바꿔줘’, ‘오른쪽 다리를 조금 날씬하게 해줘'
• 안면 이미지 폴리곤 라벨링 - 예시 명령어 : ‘왼쪽 눈동자를 초록색으로 바꿔줘’, ‘코를 많이 짧게 해줘'
  

구축사업에서 겪었던 문제

가이드가 정의되지 않은 코너 케이스가 많이 존재했습니다. 포토샵 편집의 경우, 사람이 명령어 하나하나 자연스러운 편집이 필요했습니다.
게다가 모양 변환 각 명령어에 따라서 사람마다 받아들이는 편집의 방향이 달라서 가이드와 작업, 검수 모두에 큰 에너지를 소모할 수 밖에 없었습니다.
주어진 시간에 비해 필요한 데이터 양과 예상되는 공수가 많았습니다.
원본 안면 이미지 3000장, 원본 전신 이미지 2000장
안면 색상 변환 24,838장, 전신 색상 변환 23,922장
안면 모양 변환 34,440장, 전신 모양 변환 16,800장

데이터 품질 확보를 위해 정성적, 정량적 수치가 확인 가능한 검수 방안이 제시되어야 했습니다.

데이터메이커의 솔루션

1. 가이드 확립 컨소시엄과 가이드 협의에 어려움이 있었지만, 구축사업에 일관성 있는 데이터로 가공될 수 있도록 가이드를 확립하기 위해 노력했습니다. 원본 데이터를 검토하여 다양한 예외 케이스를 파악하고, 여러 시각의 가이드를 컨소시엄에 제시하며 협의하여 진행했습니다.

2. 커스텀 툴 개발 포토샵 편집 이미지의 원본과 편집본을 관리하기 위하여,이미지를 업로드와 다운로드, 검수할 수 있는 커스텀 툴을 개발하였습니다.

작업자와 검수자가 원본과 편집본을 겹쳐서 비교할 수 있는 기능을 추가하여 결과물을 효율적으로 비교할 수 있었습니다. 작업자별, 편집부위별, 명령어별 필터가 가능하도록 하여 양질의 피드백과 검수의 효율을 높였습니다.
선발된 포토샵 작업자들에게 가이드와 자연스러운 편집을 모두 교육해야해서 최소 일주일 동안 담당 PM이 집중 검수와 피드백을 진행했습니다.

폴리곤 라벨링에서 작업자들이 좌우를 헷갈리는 경우가 비교적 잦았으므로, 오른쪽 부위의 라벨링 선은 푸른 색 계통, 왼쪽 부위의 라벨링 선은 붉은 색 계통으로 설정하여 작업과 검수 피로도를 줄였습니다.

3. 품질 검수 방안 마련 데이터의 정량적 수치를 확인할 수 있는 방안으로 원본 대비 변화된 영역의 픽셀량을 제시했습니다.

4. 이미지 색상 변환 자동화 모양 변환 작업이 난이도가 높아 더 시간 투자를 하는 대신에, 시간 단축을 위해 색상 변환을 자동화로 처리하여 작업 속도를 빠르게 했습니다.
원본 이미지에서 폴리곤 라벨링을 우선 진행하고, 색상 변환 대상인 카테고리는 더욱 꼼꼼한 라벨링이 되도록 교육했습니다.
자동화하여 채색 후에 작업자의 검토를 거치게 하여 자동화된 색상 변환 이미지의 품질이 낮아지는 일을 없도록 했습니다.
색상 변환 과정

1. 원본 데이터에서 편집 대상이 되는 객체들을 데이터 라벨러가 폴리곤으로 라벨링을 합니다.
   

2. 폴리곤으로 라벨링된 영역을 지정된 색상의 rgb 값과 블렌딩 모드(overlay)를 활용하여 채색을 코드로 진행합니다.
   

• Overlay 정의 (출처: 위키피디아 https://ko.wikipedia.org/wiki/블렌드_모드) 오버레이는 멀티플라이와 스크린 블렌드 모드를 혼합한 모드이다. 하위 레이어가 밝을 때에 상위 레이어는 더 밝아지고, 하위 레이어가 어두울 때에 상위 레이어는 더 어두워진다. 같은 사진의 오버레이는 S-curve와 같이 보여진다.
  

a는 하위 레이어의 값, b는 상위 레이어의 값이다. 하위 레이어의 값인 a에 따라서 검은색 (a=0), 상위 레이어 (a=0.5), 흰색 (a=1) 사이를 선형 보간한다.

3. 블렌딩 모드 설정을 하기 전에는 단순 rgb 값만 영역에 입혀지게 됩니다.

* <블렌딩 모드 설정하기 전 예시>

4. 블렌딩 모드 중 overlay 형식을 활용하여 기존 이미지에 자연스럽게 채색이 되게 합니다.

* <블렌딩 모드 설정하기 후 예시>

완성된 이미지를 확인 후 변경 대상 객체의 색상 변경이 잘 되었는지 데이터 라벨러(작업자)가 확인 후 별도로 분류해 둡니다. 편집 명령어별 비율에 의해서 재작업이 필요한 경우, 재작업을 진행 후 검토하여 완료합니다.

작업자 선발

교육 및 테스트를 통하여 작업자를 선발하였습니다. 포토샵 편집과 폴리곤 라벨링을 동시에 진행했어야 하므로, 포토샵 편집 작업자와 라벨링 작업자를 선발했습니다. 라벨링의 경우, 폴리곤 라벨링에 대한 이해도와 꼼꼼함을 중점으로 두고 작업자를 선발했으며, 포토샵 편집의 경우, 편집 객체 외의 배경 왜곡 최소화, 자연스러운 편집을 중점을 두고 작업자를 선발했습니다.

선발된 작업자들이 한 작업물을 검수 후, 프로젝트에 대한 이해도가 높고 가공 실력이 뛰어난 작업자들을 선별하여 검수를 진행했습니다. 검수자 검수 후, 최종 승인권자인 PM이 3차 검수함으로써 프로젝트의 목적이 가공에 정확하게 반영되도록 진행할 수 있었습니다.

프로젝트 수행을 마치며

해당 프로젝트의 데이터는 편집 도구에 대한 사전 지식 없이 자연어 기반으로 사용자가 이미지를 편집할 수 있는 AI 서비스, 객체 단위의 편집 지원 등에 적용될 예정입니다.
폴리곤 라벨링, 모양 편집, 자동화 채색이 맞물려서 진행되야 했기 때문에 일정과 가이드 등의 합이 중요한 프로젝트였고, 자연스러운 모양으로 편집하는 라벨링 작업이었기 때문에 일관성 있는 가이드와 검수가 필요했습니다.
우수한 작업 인력분들과 함께 할 수 있어 성공적인 수행이 되었다고 생각되며, 앞으로도 다양한 분야에서 활용가능한 AI 학습용 데이터 구축을 위해 노력하겠습니다 :)