230501 In-Context Learning Unlocked for Diffusion Models.md

https://arxiv.org/abs/2305.01115

In-Context Learning Unlocked for Diffusion Models (Zhendong Wang, Yifan Jiang, Yadong Lu, Yelong Shen, Pengcheng He, Weizhu Chen, Zhangyang Wang, Mingyuan Zhou)

text2image에 대한 in context learning...그러니까 텍스트 프롬프트, 그리고 입력 이미지를 어떤 출력 이미지로 바꿔야 하는지에 대한 pair, 그리고 변환할 추가 입력 이미지를 넣으면 입력에 맞게 변환된 이미지를 생성한다는 것이군요. 전반적인 접근은 controlnet에 추가적인 입력을 넣는다는 느낌이네요. 구체적으로 어디 쓸 수 있을지는 잘 모르겠지만 여하간 재미있긴 합니다.

#few_shot #ddpm #text2img