Анонс этой новой модели: https://huggingface.co/crumb/bloom-560m-RLHF-SD2-prompter-aesthetic. Давайте попросим ChatGPT дать краткое резюме.

Можете ли вы дать мне описание этого кода?

Этот код представляет собой цикл обучения с подкреплением, который обучает модель преобразователя генерировать текст, а затем использует этот текст для создания изображения со стабильным конвейером распространения. Затем отображаются сгенерированный текст и изображения, и пользователя просят оставить отзыв о качестве сгенерированного контента. Затем обратная связь используется для точной настройки модели трансформатора.

Для первой итерации модели я использую модель BLOOM-560, тонко настроенную для генерации подсказок Stable Diffusion (v1), я использовал RLHF, чтобы в течение одной ночи сгорбиться над Google Colab, тонкая настройка модели для создания высококачественных изображений из базовой модели Stable Diffusion V2. Теперь вы можете использовать его бесплатно, чтобы расширить свой рабочий процесс подсказок @ https://huggingface.co/crumb/bloom-560m-RLHF-SD2-prompter

Я обрабатывал 16 изображений одновременно, оценивая каждое по шкале от 0 до 1 (0 — худшее, 1 — лучшее) и обновляя скорость обучения 0.001 (очень высокая). Я не сразу пришел к этому масштабу и никогда не хотел придерживаться одного масштаба, поэтому мне пришлось сделать себе графику.

Я использовал оптимизатор bitsandbytes Adam8bit, а также точно настроил веса Biases и LayerNorm модели BLOOM из-за ограничений скорости и памяти.

В результате получился хороший расширитель подсказок, который может сделать изображения немного лучше! У меня есть еще одно дополнение.

Для второй итерации модели я взял эстетические модели с https://github.com/crowsonkb/simulacra-aesthetic-models для автоматической оценки изображений, установил произвольный порог 6,3, который будет оценивать изображение как 0,25, и порог 7, который будет оценивать изображение как 1. Теперь мне не нужно вручную оценивать все эти изображения! Было очень просто добавить эту замену и позволить ей работать до тех пор, пока Google Colab не выйдет из строя.

Вы также можете использовать эту модель https://huggingface.co/crumb/bloom-560m-RLHF-SD2-prompter-aesthetic