Telegram бот для транскрибации аудио в текст с нейросетью Whisper

Мы создали бот для расшифровки и перевода в текст аудио, музыки, голоса и голосовых сообщений (telegram и whatsapp), привязанный к нейросети Whisper.

Перейти в Whisper_Bot в Telegram

КРАТКАЯ ИНСТРУКЦИЯ

Whisper — это система автоматического распознавания речи (ASR), обученная на 680 000 часов многоязычных и многозадачных контролируемых данных, собранных из Интернета.

Бот может транскрибировать любые аудио и голосовые сообщения в текст с помощью нейросети Whisper от создателей ChatGPT - OpenAi.
Так же в нем вы можете голосом отправлять запросы в ChatGPT.

1. Виды подписки
Есть два варианта подписки, с транcкрибацией:
Аудио длиной до 10 минут;
Аудио длиной до 50 минут;

1.1. В подписку входит
-расшифровка аудио и голосовых сообщений Telegram, Whatsapp длиной до 50 минут (можно легко разделить, см. 4.2).
-запросы к ChatGPT голосом.

2. Как бот обрабатывает запросы?
Выберите режим работы (см. пункт 3);
Отправьте боту файл/голосовое;
Дождитесь обработки: до 1 минуты для коротких аудио и до 5 минут для длинных;
Бот выдаст вам ответ: в виде сообщения или txt файла, в зависимости от длины изначального аудио;

Примеры работы есть снизу страницы

Боковое меню с выбором режимов

3. Режимы работы
Режим можно выбрать в боковом меню:
Транскрибация - перевод любого аудио в текст;
ChatGPT - отправка запросов в ChatGPT голосовыми сообщениями;

3.1. Режим транскрибации
3.1.1. Обработка загруженных аудио
Вы можете загружать любой аудиофайл для перевода его в текст. Большинство файлов принимаются, но бывают и исключения (см. пункт 4).

Транскрибация короткого аудио

Еще пример транскрибации короткого аудио:

При загрузке длинных аудио ответ выдаётся в файле txt.

Транскрибация длинного аудио

3.1.2. Голосовые в Telegram
Можете переслать голосовое от другого пользователя в чат или записать его самостоятельно, а бот переведет его в текст.

Транскрибация голосового Telegram

3.1.3. Голосовые из WhatsApp
Вы можете переслать голосовое из Вотсап в наш бот и он переведет его в текст.
Как это сделать:
- нажмите на нужное сообщение и выберите "переслать";
- выберите кнопку "поделиться";
- выберите приложение Telegram;
- нажмите на Whisper_kolersky_bot или найдите его в поиске;
- отправить;

Как переслать голосовое из WhatsApp

3.2. Режим ChatGPT
В этом режиме можно задавать вопросы к ChatGPT голосом, а он будет текстово вам отвечать. Контекст беседы бот не запоминает.

Ответ ChatGPT на голосовое сообщение

4. Технические особенности и лимиты
4.1.Файл должен весить не более 25 мегабайт по правилам нейросети.
Если ваш файл больше 25 мегабайт, можете сжать его, к примеру тут.

4.2.Лимит длины аудио
Бот транскрибирует аудио длиной до 50 минут.
Вы легко можете разделить аудио на несколько частей и сохранить в mp3 с помощью сервисов, к примеру тут или тут.

4.3 ChatGPT
Лимит ответа от ChatGPT - 3000 знаков.

5. Принцип расхода запросов
Остаток запросов в подписке отображается в минутах.
Любой запрос, после которого пришел результат (ответ) от нейросети, считается за одну попытку и вычитается из подписки.

Если бот не прислал ответ, попытка из подписки не вычитается.

5.1.Как вычитаются запросы
Транскрибация аудио и голосовых:
Запросы вычитаются из подписки пропорционально количеству обработанных аудио.

Вы всегда можете докупить запросы.

6. Скорость ответа зависит от длины запроса. Для коротких запросов транскрибация может занять пару секунд, а для длинных до 5 минут.

7. О возможностях (а так же примеры использования) разных нейросетей от OpenAI можете прочитать в наших статьях:

Что умеет Chat GPT?

Что умеет нейросеть Whisper?

Оперативная информация тут: @kolerskych