사용자가 서비스에 진입하면 메인페이지에서 시작 버튼을 눌러 일기를 입력할 수 있는 페이지로 진입한다. 일기를 입력 후 텍스트 수가 조건에 만족하는지 체크하고 조건이 충족되면 그림일기 생성 버튼을 눌러 결과 페이지로 넘어간다. 결과 페이지에서 결과물을 다운로드할지 공유할지 선택하고 완료되면 서비스를 종료한다.
위와 같이 플로우 차트를 작성하며 서비스의 플로우를 쉽게 이해할 수 있었다. 다음에는 마지막으로 화면 정의서를 작성하며 기획 부분을 마무리하도록 한다.
우선 스터디를 진행하는 인원 중 개발자가 없고, AI 모델을 이용하여 간단한 웹 서비스 구축을 경험해 보는 것이 목적이기 때문에 아이디어를 떠올릴 때 간단한 웹 서비스 위주로 고민을 하게 되었다.
한 두페이지의 간단한 웹서비스가 뭐가 있을까 생각을 해보았을 때, 대표적으로 떠오르는 것이 사람들 사이에서 링크로 공유되어 돌아다니며 흥미를 유발하는 간단한 테스트 웹서비스가 있었다. 여기에 AI 모델을 어떻게 적용하면 사람들의 흥미를 유발하여 가볍게 사용해볼 수 있는 웹서비스를 만들 수 있을까 고민하였다.
여기서 핵심적인 요소는 다음과 같다.
- 사람들이 쉽게 사용해볼 수 있어야한다.
- 사람들의 흥미를 유발해야 한다.
- 사용한 사람들이 결과를 공유하여 새로운 사용자를 끌어들여야 한다.
- AI 모델을 적합하게 활용해야 한다.
위의 요소들을 통해 사용자를 가능한 많이 모으고 광고를 통해 수익을 창출 하는 수익 구조를 구상하였다.
핵심적인 요소들을 고려하며 생각해본 결과, 그림일기 생성 서비스를 도출하였다.
그림일기는 대부분 어렸을 때 한번쯤은 그려본 경험이 있을 것이다. 텍스트만 입력하면 어린 아이가 그린것 같은 그림일기를 생성해준다면 사람들이 쉽게 사용해볼 수 있고, 흥미를 유발할 수 있을 것이다.
또한 생성된 그림일기를 다른 사람에게 공유하며 자연스럽게 새로운 사용자의 유입을 유발할 것이다.
AI 모델은 기존에 조사한 네이버 클로바 AI 서비스와 text-to-image 모델(Dalle2, stable diffusion 등)을 이용한다.
AI 모델 프로세스 구상은 다음과 같다.
1. 텍스트를 입력받는다.
2. clova summary api를 이용하여 핵심 문장을 분류한다.
3. 분류한 핵심 문장으로 text-to-image 모델을 이용해 이미지를 생성한다.
4. 생성한 image를 어린 아이가 그린듯한 그림으로 변환한다. (추가 모델 조사 필요)
5. 생성한 그림과 입력받은 텍스트를 이용하여 그림일기를 생성한다.
6. clova sentiment api를 이용하여 문장의 긍 부정을 분류한 후, 그림일기에 감정을 포함시켜 그림 일기를 완성한다.
GAN은 Generative Adversarial Nets이라는 논문을 통해 나온 모델로 진짜와 동일해 보이는 이미지를 생성하는 모델이다.
GAN은 크게 3가지 Unconditional GAN, Conditional GAN, Super Resolution으로 분류된다.
초기 GAN의 아키텍처는 다음과 같이 Generator(생성자)와 Discriminator(판별자)로 구성되었다.
GAN은 Generator와 Discriminator로 이루어져 있어 동시에 두 개의 모델을 훈련하는 것이 특징이다. 여기서 z라고 하는 것은 랜덤 벡터 z를 의미하는 것으로 오른쪽 그림의 uniform distribution이나 normal distribution을 따른다고 한다.
이 랜덤 벡터 z를 Generator의 입력으로 넣어 Fake를 생성한 후 Fake와 실제 Real 이미지를 Discriminator의 입력으로 넣어 Fake 또는 Real을 출력 받는다.
GAN은 최종 출력인 Fake와 Real의 확률이 1/2에 수렴하여 진짜와 가짜를 구분할 수 없도록 학습하게 된다.
DCGAN
DCGAN의 아키텍처는 Generator(생성자)에 Transposed Convolutional Network를 사용하여 Up-Sampling하는데 사용하였다.
Trasnposed Convolutional Network의 경우 기존의 컨볼루션 네트워크처럼 줄어드는 것이 아닌 확대되는 것이라 할 수 있으며 최적의 성능을 내기위해 다음과 같이 5가지 트릭을 적용하였다.
1.미분이 불가능한 Pooling Layer를 제거하고 미분 가능한 Convolution 레이어로 대체하였다.
2. BatchNormalization 레이어를 추가하였다.
3. fully-connected hidden layer를 삭제하였다.
4. 생성자 모델에 ReLU 함수를 적용하고 출력의 activation function은 Tanh로 설정하였다.
5. 마지막으로 판별자 모든 레이어에 LeakyReLU를 적용하여 유연성을 더하였다.
이와 같이 DCGAN을 통해 벡터 산술 연산이 가능하게 되었다.
DCGAN의 주요 contribution은 다음과 같다.
1.대부분의 상황에서 언제나 안정적으로 학습하는 Convolution GAN 구조를 제안하였다.
2.word2vec과 같은 벡터 산술 연산이 가능하여 Generator를 semantic 수준에서 데이터를 생성할 수 있다.
3.판별자가 학습한 필터들을 시각화하여 특정 필터들이 특정 물체를 학습했다는 것을 보였다.
4.학습된 판별자 모델이 다른 비지도 학습 알고리즘과 비교해서 뒤쳐지지 않는 분류 성능을 보였다.
5.GAN 연구의 시작점이 될 수 있게 만들어준 연구라고 볼 수 있다.
PGGAN & StyleGAN
PGGAN은 NVIDIA에서 진행한 연구로 핵심 아이디어는 4x4의 저해상도 이미지를 1024x1024 고해상도 이미지로 단계별(Progressive Growing)로 학습한다는 것이다.
기존에는 처음부터 고해상도 이미지를 학습하려다 보니 학습이 올바르게 되지 않았는데, 저해상도에서 보이는 Abstract을 우선적으로 학습 한 뒤 고해상도에서 보이는 Concrete(눈, 코, 입, 모공 등)를 학습하면서 품질이 향상되었다.
StyleGAN은 여기에 Style-based generator를 사용하는 구조이다. 이러한 PGGAN의 장점은 크게 3가지로 나뉜다.
