Gaegul's devlog
[2023 Naver DEVIEW 다녀온 후기] WebtoonMe - Naver Webtoon 본문
최근, 블로그에 잘 들어오지 못했는데 Naver Deview 에 가서 느끼고 배웠던 점을 공유하고 싶어 이렇게 오랜만에 글을 쓰게 되었다 ..ㅎㅎ
이번에 Naver Deview 가 거의 3년? 4년? 만에 오프라인으로 COEX 에서 진행한다고 하였다. 평소 관심있었던 네이버 웹툰, 스노우, 스캐터랩 등 비전 AI 관련 재미있는 세션들이 많아서 꼭 가서 듣고 싶었다! 하지만, 월요일 화요일 이틀 모두 티케팅에 도전했지만 1초컷에 모두 실패해버렸다,, 이렇게 티케팅이 힘든 컨퍼런스였나,, 오메,, 열정! 열쩡! 개발자 분들이 을마나 많은게야,,😱
그래도 포기하지 않고, 아쉬움에 개발자 커뮤니티에 양도 구하는 글을 올렸다.
1주일이 지나지 않아 다행히 안가신다는 1004 개발자 분께서 무료로 양도해주셨다! 🙆🏻♀️ 암 쏘 러키!!!!!!!!!!!!
(눈믈,, 정말 정말 감사합니다,, 좋은 일 생기실 거 예요,, 광광,,)
그렇게 난 정말 운이 좋게 DAY 2 (2/28 화요일) 표를 구해서 다녀왔다!
Deview 세션은 DAY 1과 DAY 2로 이틀에 걸쳐 진행되었다. 자세한 내용은 공식 페이지 링크 GO! GO!!
https://deview.kr/2023/sessions
DEVIEW 2023
DEVIEW는 국내외 개발자들이 서로의 지식을 나누고, 탁월함을 추구하며, 함께 성장하는 컨퍼런스 입니다.
deview.kr
이틀 중에 나는 DAY 2 세션에 참가했고, 한 타임탕 Track A ~ D 까지 4개 세션중에 하나를 골라서 들으면 되는 형태였다.
그래서 나는 각 타임에서 이렇게 세션을 들었다.
- Time 10:00 WebtoonMe 개발기 - Naver Webtoon
- Time 11:00 ML / AI 개발자를 위한 단계별 Python 최적화 가이드라인 - Naver Cloud
- Time 12:00 CLOVER Vision - Naver Cloud
- Time 14:00 그 여자 APP, 그 남자 SDK : Kotlin Multiplatform 적용기 - Naver ETECH
- Time 15:00 SNOW AI Filter - SNOW
- Time 16:00 Diffusion model 을 받드는 저비용 MLOps - Symboiate AI
일단, 컨퍼런스 자체는 코엑스 한 층에서 열렸는데 (생각보다 크진 않았다..) 내가 간 날은 둘쨋날이라 사람들이 엄청 많진 않았다. 들어보니 첫쨋날이 더 붐볐다고 한다. 내가 들은 세션을 간략하게 정리해보도록 하겠다.
컨퍼런스에서 들으면서 끄적거렸던 메모와 발표자료를 다시 한번 훑어보며 정리해보았다! 😆
Naver WebtoonMe 개발기 - Naver Webtoon
첫번째는 네이버 웹툰 팀의 WebtoonMe 개발기에 관한 발표 세션이었다.
WebtoonMe 는 주어진 사진 또는 영상을 실시간으로 웹툰 화풍으로 바꿀 수 있는 기술 이름이다. 이 기술을 개발한 팀은 연구 조직이기 때문에 프로젝트를 구상하고 연구 개발 후 논문까지 냈다고 한다. 그리고 최근 CVPR 2023 에 paper 가 accept 되었다고,, 세부 일정까지 도식화 해서 보여주셨는데 진짜 빽빽히 부지런히 진행하셨다!
1. 생성 모델의 트랜드를 읊고 이를 바로 적용하다.
기존에는 Model Centric 으로 성능이 좋은 모델을 만드는 것이 중요했었지만 최근 트랜드는 Data Centric 이다! 최근에는 모델을 활용하여 task에 적합한 고품질의 데이터를 생성한 후에 가볍고 학습이 쉬운 별도의 네트워크를 학습시키는 것이 트렌드 이다. 그래서 WebtoonMe 팀은 데이터의 품질을 어떻게 높였는지에 대해 설명하였다.
1). 독자적인 데이터 생성 프로세스를 구축
우선, RAW 웹툰 얼굴 이미지 + 실사 얼굴 이미지 + RAW 웹툰 배경 이미지 + 실사 전신 이미지에 대한 preprocessing을 한 후에 캐릭터 디테일 고도화를 위해 stable-diffusion을 사용하여 웹툰 얼굴 이미지와 전신 이미지를 얻었다.
2. 데이터 생성 과정에서 자체적으로 모델을 연구 개발할 뿐 만 아니라 SOTA 모델을 적극적으로 활용
웹툰 도메인에 알맞는 모델을 자체적으로 연구 개발.
1). 얼굴 변환 SOTA 모델 사용
1) 자체 논문 외에도 여러 SOTA 모델 (JoJoGAN, DualStyleGAN)을 분석하여 웹툰 도메인에 최적화 연구.
2) 웹툰 캐릭터의 기하학적 정보가 얼굴 변환 결과에 중요한 영향을 미친다는 사실 발견.
-> 데포로메가 심한 캐릭터일지라도, 사람과 얼굴 형태가 유사해질 수 있도록 warping 알고리즘 연구 및 개발.
2). Stable Diffusion 활용
1) 이미지 합성후 원본 이미지에 대한 디테일한 정보(원본에 가까운 색상 유지, 배경)를 사용하기 위해서 stable diffusion 사용.
개인적으로 diffusion의 활용이 가장 신기했다. 작년, 생성 모델에서 큰 획을 그은 diffusion이 post-processing 을 위해 사용됬다는 이야기를 들으니 신박하고 재미있었다.
3). 다양한 최신 데이터 셋 활용.
일반적으로 사용하는 대표적인 얼굴 이미지 데이터셋인 FFHQ 를 비롯하여 LSUN, SHHQ 등의 데이터를 활용하여 Robustness를 강화했다고 한다.
3. 현업의 니즈를 바로바로 적용
1). 다양한 피부톤 반영.
웹툰은 원래 뽀얀 캐릭터가 많아서 아무리 원본 사람의 피부색이 까매도 웹툰 스타일을 반영하면 하애지는 이슈를 가지고 있다고 한다. 이를 개선 시키기 위해 피부 영역 색상 분포를 분석해서 다음과 같은 수식을 이용하여 변환하였다고 한다.
수식을 보면 C는 색상을 변환하는 요요소 같은데 source C와 target C의 diff 값을 타겟 이미지 X 에 입히는 느낌? 이다. 이를 통해 웹툰화를 시켜도 원본 이미지와 가까운 색상을 유지할 수 있게 되었다.
2). 다양한 조명 조건 반영
피부 영역 색상 분포 분석후 조명 알고리즘 반영.
3). 캐릭터 고유 피부 반영
일단, 학습 단계에서 피부 영역 감지 모델을 학습시키고, 이 모델을 이용하여 피부색인 부분의 segmention map에 웹툰 피부색을 입힌다. 그리고 stable diffusion으로 디테일을 살리고, 마지막으로 데이터 증강을 한다.
4). 추론 속도 개선
인코딩 ⇒ Ray CPU Clustering ⇒ Ray GPU Clustering ⇒ 디코딩 1080p
이 과정이 < 1초 언더로 걸린다고 한다. 매우 빠른 inference 속도이다. 모델 최적화를 위해 TensorRT 와 GPU 병렬 연산을 수행했다고 한다.
- 480p 실시간 변환 : 13 ~ 15 fps
- 1080p 이미지 (1장) 변환: < 1초
- 1080p 비디오 클립 영상 (1분) 변환 < 7분
5). 빠른 Ad-hoc 기능 반영
4. 어떻게 빠르게 연구 /개발 수행했는지 (연구 개발 프로세스)
Bottom up 방법론을 채택하였고 추상화 높은 방법론으로 최대한 빠른 결과로 작지만 유의미한 성공을 보여주고 전문가를 섭외해서 추상화를 낮추자! 라는 목표로 진행하였다고 한다. (조금 더 자세한 내용은 밑에 첨부한 발표 자료를 참고하길 바란다!)
모델 연구 (Fast AI 학습 / MetaFlow pipline 구축) → demo App (Spaces 으로 서빙) 흐름으로 진행하였다고 한다!
5. Future Work
- 현재 논의 또는 연구 개발 중인 아이템 해외 웹툰 비즈니스 파트너 마케팅 기술 지원, 웹툰 스튜디오 전시회 기술 지원 ..
- WebtoonMe + Stable Diffusion ? 높은 개인화, 실시간 변환, 다양한 웹툰 캐릭터 지원.
Q & A
발표가 끝나고 관련 Q&A가 있었고, 이를 간략하게 정리해보았다.☺️
모두가 흥미롭게 들어서 그런지 질문이 엄청나게 쏟아졌다..
1. Webtoon Me 와 스노우 차별점은 무엇이 있나?
- 실시간 변환 가능 (inference )
- 웹툰화 하는 테스크기 때문에 스노우 아바타와는 기술 자체 다름
2. FAST AI 사용?
3. Stable Diffusion depth net 의 역할? 데이터 고도화?
4. 추상화로 많은 프로토 타입을 만들고 진행한건지?
- 웹툰 도메인에서 가능하게 하자.
- FAST AI 로 어느정도 성능 확인 후 재구현
- 데이터, 엔지니어링으로 고도화
5. GAN 말고 Diffsuion 을 사용한 이유?
6. 경량화는 어떻게 했는지?
TensorRT 사용.
7. 전처리 자동화 process가 있었던 건지?
warping algorithm / logging tool (이미지와 웹툰을 비슷하게 만드는 작업)
정리하다 보니 길어 졌다.. 연구 개발 프로세스를 보니 정말 노력이 가득 들어간 연구 였음을 느낄 수 있었다. 그리고 웹툰 스타일 고도화뿐만 아니라 AI 모델링에 있어 Data preprocessing의 중요도를 다시 느꼈다. 무엇보다 모델 경량화를 위해 TensorRT 와 FASTAI 로 빠르게 프로토 타입을 만들고 결과를 빠르게 확안하면서 진행했다는 점이 매우 흥미로웠다. 현업에서 중요하게 사용될 것이라 생각했기에 개인적으로 공부해서 한번 적용해보고 싶다. 발표 내내 집중을 안할 수가 없이 재미있었던 내용이었고, 발표자 두 분께서 발표부터 Q&A까지 성심껏 진행해주셔서 많이 배우고 가는 시간이었다.
다음 포스팅은 그 다음 타임으로 들었던 Naver python AI/ML 단계별 최적화 - Naver Cloud 발표 세션에 관해 정리 해보도록 하겠다! 커밍쑨!
Reference
WebtoonMe 팀의 발표 자료 (deview 공식홈페이지에 들어가면 많은 다른 팀들의 발표 자료를 볼 수 있다!)
http://: https://deview.kr/data/deview/session/attach/[211]WebtoonMe%20%EA%B0%9C%EB%B0%9C%EA%B8%B0%20%EB%82%B4%EA%B0%80%20%EC%9B%B9%ED%88%B0%20%EC%95%88%EC%9C%BC%EB%A1%9C%20%EB%93%A4%EC%96%B4%EA%B0%80%EB%A9%B4%20%EC%97%AC%EC%8B%A0%EA%B0%95%EB%A6%BC%20%EC%9E%84%EC%A3%BC%EA%B2%BD%20%EB%B3%B4%EB%8B%A4%20%EC%9D%B4%EC%81%A0%EA%B9%8C%20%EC%95%88%EC%9D%B4%EC%81%A0%EA%B9%8C_0228.pdf