Home

Zero-shot learning

"Как распознать панду, которую никогда не видел"

Нейронная сеть классифицирует фотографии, если обучалась на тех же классах фотографий.

Пример: если обучить нейронную сеть на фотографиях зебр, медведей, тигров классическими методами, то она распознает этих животных после обучения. Но если ей попадется фотография слона, то она не поймет, что это.

Задача zero-shot learning в обучениb модели на объектах одного множества классов для классификации объектов другого множества классов с помощью семантики, т. е. с помощью описания или атрибутов. Отсюда ставится следующая цель: обучить нейронную сеть видеть даже те классы, по которым выборка изображений отсутствует.

Пример: обучаем нейронную сеть на фотографиях змей, львов, орлов. Сеть распознает этих животных, а также может распознавать и лам, и верблюдов, и скорпионов.

Особенность заключается именно в том, что мы обучаем сеть, базируясь на описании известных классов. С помощью классов, извлеченных из описаний, классифицируем индивидуальности классов изображений.