https://arxiv.org/abs/2302.11710
Controlled and Conditional Text to Image Generation with Diffusion Prior (Pranav Aggarwal, Hareesh Ravi, Naveen Marri, Sachin Kelkar, Fengbin Chen, Vinh Khuc, Midhun Harikumar, Ritiz Tambi, Sudharshan Reddy Kakumanu, Purvak Lapsiya, Alvin Ghouas, Sarah Saber, Malavika Ramprasad, Baldo Faieta, Ajinkya Kale)
clip image embedding prior + latent diffusion 모델이군요. 그냥 prior만 붙이면 심심하고 어도비이기도 하니 컬러 히스토그램을 추가 입력으로 사용했네요. 사실 condition으로 추가할 수 있는 것은 다양하겠지만 컬러 팔레트도 흥미로운 요소라고 할 수 있을 것 같긴 합니다.
#ddpm