Телеграм бот c генерацией видео с помощью нейросети Luma Dream Machine

Мы создали telegram-бот, привязанный к нейросети Luma, которая генерирует видео с доп. функциями

Вот сам бот: @Luma_video_bot

ПРОЕКТ В РАЗРАБОТКЕ

Инструкция к боту. Как создать видео нейросетью?

1. Общее описание
Telegram бот в связке нейросетью Dream Machine от Luma AI.
В боте можно создавать видео, длиной в 5 секунд по вашему запросу быстрой генерацией или применяя точную настройку.

1.1. От производителя
Dream Machine — модель искусственного интеллекта, которая быстро создает высококачественные реалистичные видеоролики из текста и изображений.

Это высокомасштабируемая и эффективная модель-трансформер, обученная непосредственно на видео, что делает ее способной генерировать физически точные, последовательные и насыщенные кадры.

1.2. Варианты подписки и типы генерации видео
Пока нейросети для генерации видео довольно дороги и требуют много вычислительных ресурсов, поэтому начальные варианты пакетов запросов - 5 и 10 генераций:
5 запросов - 390р.
10 запросов - 790р.
В подписку входят генерации с любыми вашими настройками.

Виды генераций:
- на основе вашего текста;
- из загруженного изображения;

2. Как генерировать видео?
Для создания вашего видео в боте выберите соответствующий режим и доп. настройки (если нужно). Далее вышлите в бот текстовый запрос или картинку и ответом вам придет готовое видео.
*примеры, режимы и виды настроек - ниже в статье

3. Виды генерации видео нейросетью

3.1. Создание видео из текстового запроса
Можно сгенерировать видео на основе текстового запроса.
Вы можете отправить боту подробный, детальный запрос, либо же задание в общих словах.
Все зависит от вашей задачи.

Запрос: Cappucino

Запрос: Vibrant orange, pink, yellow, and red gerbera daisies mingle together in a clear glass vase in this cheerful AI creation. The arrangement looks professionally done, with different flower heights and angles.

3.2. Из вашего изображения
Отправьте боту фотографию или изобажение, из которого вам нужно сгенерировать видео.
Далее можете прописать настройки движения камеры, разрешение и другое(см. пункт 4).

Лучше загружать изображение в пропорциях, примерно таких же, как у изображения, которое вам нужно на выходе. Изменить пропорции можно тут.

3.2.1 Указать первое, последнее изображение в видео
Можно настроить ключевые кадры. Подробнее в пт. 4.3.

4. Дополнительные функции при генерации видео
Вы можете настроить разрешение/ пропорции вывода видео, движение камеры, а так же первое/последнее изображение в видео.

Критерии стандартного вывода:
Разрешение .............................................
До базовых критерии можно сбросить в разделе "настройки".

4.1. Разрешение и пропорции

Возможна генерация горизонтальных, вертикальных или квадратных видео:
Вертикальные:
Горизонтальные:
Квадрат: 1:1 - 768x768

Визуализация форматов:

4.2. Настройки движения камеры
..................

Motion_bucket_id 5
Камера статична, но видно, как облака движутся.

Motion_bucket_id 127
Здесь уже движется и камера, и облака.

Motion_bucket_id 250
Уровень движения не обязательно будет применен ко всему фото. Здесь нейросеть решила ускорить только облака, зато сильно

4.3. Настройки первого/последнего ключевого кадра в видео
...........

Запрос: Cappucino

4.4. Настройки фрейма
.......

Запрос: Cappucino

5. Технические детали
5.1. Форматы ввода изображений:
Для более точной генерации рекомендуем следующие критерии взодящих изображений:
JPG и PNG в разрешениях 1024x576 (16:9), 576x1024 (9:16), 768x768 (1:1).
Изменить размер онлайн можно тут.

Пример изменения пропорций в стандартном интерфейсе IOS

5.2. Языки запроса
Нейросеть понимает только английский язык.
Мы установили в бот автоматический переводчик, но он не всегда точно переводит.

5.3. Формат вывода сгенерированных видео:
Видео нейросеть генерирует и выводит в формате MPEG4 в разрешении, выбранном в настройках.

5.4. Длина созданных видео
Нейросеть генерирует видео длиной в 5 секунд.

6. Рекомендации от Kolersky AI
В данный момент искусственный интеллект только начинает выдавать хорошие результаты и часто выдает ошибки, поэтому рекомендуем тщательно относиться к подбору настроек.

Плохие примеры генераций
В примерах ниже вы можете увидеть плохие примеры генераций. Как видите, наибольшее количество ошибок появляется при большом количестве элементов в кадре, а так же при быстрых движениях.

Запрос: Man drinking cappuccino

При том же самом запросе может выдавать разный по качеству результат. Тут уже чуть лучше, чем на предыдущем видео

Запрос: Witnessing the extraordinary abduction through the lens of a wide shot, as a UFO's mysterious light beam snatches unsuspecting individuals from the comfort of their camper van.

7. Принцип расхода запросов:
Одна генерация в боте расходует 1 запрос из подписки.
Одновременно может обрабатываться только один запрос.

Если бот не дал ответ на ваш запрос или выдал ошибку - из подписки ничего не вычитается.

8. Запрещенный контент
Нейросеть Luma отправляет в бан запросы (текст и изображения), которые содержат элементы нарушения закона, насилия, ограничения чужих прав и подобное. Так же может не пропускать лица. В случае попадания вашего запроса в бан, может прийти ответ об ошибке, либо вообще не прийти ответ.

9. Время генерации видео
Видео в боте генерируется около 1-3 минут.

10. Примеры использования и доп. информация
Статья на VC:
Как генерировать видео нейросетью. И как ей пользоваться в России?

Полная инструкция от производителя

Оперативная информация тут: @kolerskych
11. Что можно создавать
Можно создавать сторис, горизонтальные видео и другое.

12.Примеры
Ниже можете увидеть больше примеров генерации видео

12.1. На основе текстового запроса

Запрос: airplane on sky

Запрос:

12.2. На основе изображений
На основе залитой картинки без доп. условий.