Структура

• config/:

  • dataset/ - конфиг для датасета.
  • gan/ - конфиг для модели.
  • system/ - конфиг для системы (пример: обучать на GPU или нет).
  • text/ - конфиг для текста.
  • training/ - конфиг для параметров обучения.

• fashion_generator/:

  • datamodules/ — модули загрузки данных.
  • models/ — компоненты модели.
  • modules/ — обучение.
  • scripts/ - вспомогательные скрипты.
  • utils/ - вспомогательная функциональность для обучения.

• main.py - точка запуска программы.

• requirements.txt - зависимости проекта.

Создание виртуального окружения и установка зависимостей

Рекомендуется использовать виртуальное окружение для управления зависимостями проекта.

На Linux/MacOS:

python3 -m venv venv
source venv/bin/activate

Установите зависимости:

pip install -r requirements.txt

Загрузка DVC‑данных:

В проекте данные управляются с помощью DVC, поэтому после клонирования репозитория необходимо подгрузить данные из удалённого хранилища.

1. Убедитесь, что DVC установлен:

   pip install dvc

2. Проверьте конфигурацию DVC:

   Откройте файл dvc/config и убедитесь, что он выглядит следующим образом:

   [core]
    remote = myremote
   
   [remote "myremote"]
      url = C:\Users\Tom\DVC

   При необходимости адаптируйте URL под ваше удалённое хранилище.

3. Скачайте данные:

   dvc pull

Настройка ClearML:

ClearML используется для отслеживания экспериментов в проекте. Для настройки кредов ClearML выполните следующие действия:

1. Установите ClearML, если он ещё не установлен:

   pip install clearml==1.18.0

2. Создайте аккаунт на ClearML Server (или используйте существующий) и получите креды (API ключ, секретный ключ, URL сервера).

3. Настройте креды:

   Через переменные окружения:

   На Linux/MacOS:

   export CLEARML_API_HOST="https://your-clearml-server.com"
   export CLEARML_WEB_HOST="https://your-clearml-server.com"
   export CLEARML_API_ACCESS_KEY="YOUR_ACCESS_KEY"
   export CLEARML_API_SECRET_KEY="YOUR_SECRET_KEY"

   Или через файл конфигурации:

   Создайте файл clearml.conf (например, в домашней директории) и настройте его согласно документации ClearML.

4. Проверьте базовую интеграцию в коде.

   В файле main.py уже должна быть инициализация ClearML:

   from clearml import Task
   task = Task.init(project_name="DeepFashion GAN", task_name="Trying ClearML")

Запуск

1. Установить зависимости с помощью команды:

   pip install -r requirements.txt

2. При необходимости настроить конфиги в папке config

3. Запустить с помощью команды:

   python main.py

Запуск скриптов для оптимизации весов

1. В конфиге config/model/model_params.yaml указать в net_g путь до обученных весов

2. Из корневой папки запустить python -m fashion_generator.scripts.*, где * = distill/prune/quantize.py

Телеграм-бот

1. В файле .env заполните переменные TELEGRAM_BOT_TOKEN_API, MODEL_PATH и DB_PATH как вам надо.

2. С помощью команды ./docker_build.sh создайте образ.

3. С помощью команды ./docker_run.sh запустите бота.

4. Для остановки бота запустите команду ./docker_stop.sh

5. Для удаления образа запустите команду ./docker_rm.sh