[Python | Source Download] Image Colorization (흑백 이미지를 컬러로 자동 복원)

저는 현업에 처음 들어왔을때 반도체 검사 이미지들이 모두 흑백이어서 되게 의아했던 기억이 납니다
'컬러 이미지를 쓰는 편이 불량을 판별하기 위한 정보가 더 많을텐데  굳이 왜 흑백으로 변환했을까'

알고봤더니 이건 나름의 이유가 있는데..
특정 불량검출에 필요한 색상(불필요한 파장대를 포함하지 않는 최적)의 조명만을 사용하겠다는 의미입니다. 다시말해, 그 흑백(Gray) 이미지는 단순한 컬러를 흑백으로 변환 영상이 아닌, 빨강이면 빨강, 보라면 보라색 제한된 파장대에 특정 종류와 특정 화각의 조명으로 촬상한 뒤 Gray화한 이미지였던 것입니다.
 

공정마다도 차이가 있고, 회사마다 차이가 있겠으나 조금 일반화 시켜서 표현해 보자면
Gray Value(소위, 흑백 이미지)를 이용하여 Rule Base(image processing+threshold)로 단순 처리할때는 Gray 이미지가 유리할 수 있고,
Deep learning을 통한 학습일 때는 컬러까지 포함되어있는 것이 (사람 학습과 유사하므로) 정보량이 충분해 더 유리할 수 있습니다

저는 검사기의 리뷰 이미지가 최근 컬러로 바뀌면서, 컬러 이미지 부족(학습 데이타 불균형)을 바로 잡아보고자 이 Colorization의 세계에 문을 두드리게 되었습니다.
 
아니, 일도 일이지만 그보다.. 우린 학부시절엔 맨날 (R+G+B)/3 써서 멀쩡한 Color이미지 흑백(Gray)으로 만들었는데,
이제 세상 좋아져서 흑백을 Color로 자동 복원시키다니.. 이거 너무 흥미롭지 않나요?
 

 
우리팀은 이미 ① 생성형 이미지를 통한 불량 만들기나 ② Super resolution을 통한 불량 추론에 대한 경험이 있고 마침 이번엔 상황도 맞으니 ③ 컬러화 통한 학습이미지 수량 확보에 대해서도 한번 제안(=선동)해 볼 생각입니다
 
"AI동무들, 흑백색 령상 콜로라이자이숀(Coloraization) 리용하여 빈약한 학습 할당량 전투적으로 달성합세다!!" 

    ※ 단, 실패시 아오지

 
- 논문은 Richard Zhang이란 분이 2016년에 제안하신 내용이고, (https://arxiv.org/abs/1603.08511)
- 깃헙에도 Python 소스가 있습니다 (https://github.com/richzhang/colorization)

소스를 실행하면 두가지 모델 (약 300M)을 자동으로 다운 받은 뒤 우리가 의뢰하는 흑백 이미지를 컬러로 변경해줍니다.
해당 알고리즘도, 굳이 소실되어 없는 Color를 억지로 살린다기보다는, 
서로 연관성이 없는 4원색으로 분리한 다음 L명도와 학습 모델을 기준으로 어색하지 않게 추론하는 방식을 채택하여,
채색이 과하지 않으면서도 편리한 장점이 있습니다 (but 추론방식이다보니 아무래도 느리고, 일관성 부족할수 있습니다. 사진 몇 장이야 상관 없겠지만 (예를들어) 이걸 동영상으로 만든다면 어떤 컷의 빨간 옷이, 명도가 어두워진 어떤 컷에서 갑자기 초록옷으로 뿅 바뀌어버릴 수도 있겠네요)
 
컬러화 시킬 샘플 사진을 생각해보다가. 
스필버그 감독, 리암니슨 주연의 흑백영화(1993) 쉰들러리스트 캡쳐 컷과
유관순 열사의 스승이셨던 사에리시 선교사님 흑백사진을 한번 적용해 보았습니다, 어떤가요?
 

 
 
*저는 늘, 컴파일과 동시에 EXE파일을 자판기처럼 툭 떨어뜨려주는 C계열 유저라 그런지 
아직은 Python쪽 발행이나 배포방식이 되게 어색한 편입니다 
("소스 줄테니 알아서 pip install시키시고, 버전도 알아서 통일해서 사용자가 한번 실행해보던가말던가" 하는..불친절함이랄까요)
 

import argparse

import matplotlib.pyplot as plt

from colorizers import *

parser = argparse.ArgumentParser()

parser.add_argument('-i','--img_path', type=str, default='imgs/9.jpg')

parser.add_argument('--use_gpu', action='store_true', help='whether to use GPU')

parser.add_argument('-o','--save_prefix', type=str, default='saved', help='will save into this file with {eccv16.png, siggraph17.png} suffixes')

opt = parser.parse_args()

# load colorizers

colorizer_eccv16 = eccv16(pretrained=True).eval()

colorizer_siggraph17 = siggraph17(pretrained=True).eval()

if(opt.use_gpu):

    colorizer_eccv16.cuda()

    colorizer_siggraph17.cuda()

# default size to process images is 256x256

# grab L channel in both original ("orig") and resized ("rs") resolutions

img = load_img(opt.img_path)

(tens_l_orig, tens_l_rs) = preprocess_img(img, HW=(256,256))

if(opt.use_gpu):

    tens_l_rs = tens_l_rs.cuda()

# colorizer outputs 256x256 ab mapI

# resize and concatenate to original L channel

img_bw = postprocess_tens(tens_l_orig, torch.cat((0*tens_l_orig,0*tens_l_orig),dim=1))

out_img_eccv16 = postprocess_tens(tens_l_orig, colorizer_eccv16(tens_l_rs).cpu())

out_img_siggraph17 = postprocess_tens(tens_l_orig, colorizer_siggraph17(tens_l_rs).cpu())

plt.imsave('%s_eccv16.png'%opt.save_prefix, out_img_eccv16)

plt.imsave('%s_siggraph17.png'%opt.save_prefix, out_img_siggraph17)

plt.figure(figsize=(12,8))

plt.subplot(2,2,1)

plt.imshow(img)

plt.title('Original')

plt.axis('off')

plt.subplot(2,2,2)

plt.imshow(img_bw)

plt.title('Input')

plt.axis('off')

plt.subplot(2,2,3)

plt.imshow(out_img_eccv16)

plt.title('Output (ECCV 16)')

plt.axis('off')

plt.subplot(2,2,4)

plt.imshow(out_img_siggraph17)

plt.title('Output (SIGGRAPH 17)')

plt.axis('off')

plt.show()