Home

Zero-shot learning

"Как распознать панду, которую никогда не видел"

Нейронная сеть классифицирует фотографии если обучалась на тех же классах фотографий.

Пример: если обучить нейронную сеть на фотографиях зебр, медведей, тигров, то она распознает этих животных после обучения. Но если ей попадется фотография слона, то она не поймет что это.

Цель: обучить нейронную сеть видеть даже те классы, у которых выборка изображений отсутствует.

Пример: обучаем нейронную сеть на фотографиях змей, львов, орлов, она распознает этих животных, лам, верблюдов и скорпионов.

Особенность в том, что обучаем её, базируясь на описании известных классов. С помощью классов, извлеченных из описаний, классифицируем индивидуальности классов изображений.

zero-shot с расстояния пары шагов

Rethinking Zero-Shot Learning: A Conditional Visual Classification Perspective

Applications of Zero-Shot Learning

Установка окружения

Указана здесь

0. Рабочие операционные системы

• Windows 7, 10
• linux
• Mac OS X
• другие платформы проверяем есть ли на сайте Переходим на сайт python
• На Windows XP или более ранних версиях не работает!

1. Устанавливаем python

   1. Переходим на сайт python
   2. Находим вкладку "downloads" . Выбираем ОС, которая стоит на устройстве.
   3. Версия python от 3.7.0 и выше.
   4. После того как скачалась, устанавливаем.
      1. Устанавливаем флажок на «Add Python X.Y to PATH» в мастере настройке. Без него будут проблемы с доступом инсталлятора Python к командной стоке.
      2. Нажимаем «Установить» для начала установки. Она должна пройти быстро, после чего Python готов к запуску.
   5. Проверим установку
      1. запускаем командную строку (cmd)
      2. Вводим С:\Users...имя пользователя...>pip
      3. Если все правильно, то в командой строке увидим:

   Commands:

   • ...

   General options:

   • ...

2. Устанавливаем git под установленную ОС

3. Через git cкачиваем репозиторий

4. Устанавливаем виртуальное окружение install_to_venv.sh

• Открываем командную строку или терминал (в зависимости от системы) и пишем туда:

chmod 755 install_to_venv.sh
./install_to_venv.sh

Инструкция по применению

• Чтобы выполнить тестовый запуск, выполните сценарий оболочки run_example.sh. Он запустит скрипт на тестовых данных, представленных в папке example /.

Ознакомительные статьи

Проект базируется на этих статьях.

• https://arxiv.org/abs/1712.00981
• https://arxiv.org/abs/1812.01784

Используемые репозитории

Проект состоит из комбинаций репозиториев:

• https://github.com/edgarschnfld/CADA-VAE-PyTorch
• https://github.com/chichilicious/Generalized-Zero-Shot-Learning-via-Aligned-Variational-Autoencoders
• https://github.com/Abhipanda4/Feature-Generating-Networks
• https://github.com/akku1506/Feature-Generating-Networks-for-ZSL

1.Основы работы с git

8.Полезная статья, если интересно углубиться в ML и математику внутри нее.