Skip to content

Latest commit

 

History

History
276 lines (200 loc) · 21.6 KB

README_ru.md

File metadata and controls

276 lines (200 loc) · 21.6 KB

Price Python 3.10 GitHub package version License: MIT v1.0 Habr Articles YouTube Chanel Hugging Face Models

[EN v2.0]


Большое обновление Wunjo v2.0.3

Генерация видео уже доступна!

Привет! Ваша поддержка имеет решающее значение для ускорения выпуска новых обновлений для Community Edition (CE). Ваше участие вдохновляет меня на улучшение функций. И теперь генерация видео из текста или изображения с разным соотношением сторон до 4 секунд с частотой 24 кадра в секунду (или больше продолжительности с низким FPS).

Также генерация текста в изображение, изменение изображения и создания новых частей для видео. Управление рестайлингом? Теперь вы можете менять предметы, пол и национальность человека не просто в один клик, но и заранее контролировать процесс. И для этого вам понадобится всего лишь 8 ГБ видеопамяти. (Вы можете использовать любую модель Stable Diffusion v1.5)

Уже доступно

Профессиональная (Pro) версия доступна для скачивания wunjo.online. Версия для сообщества доступна на GitHub с голосованием за функционал на Boosty.

Если вы задались вопросом, какая помощь может потребоваться для проекта, тогда:

  • Расскажите другим: Поделитесь проектом с друзьями и пригласите их присоединиться к сообществу.
  • Оставайтесь на связи: Подпишитесь на проект Wunjo на GitHub и следите за мной в социальных сетях, чтобы первыми узнавать об обновлениях. Вы можете найти меня по wladradchenko в социальных сетях и wladblog в Telegram.
  • Поддержите на Boosty: Ваша поддержка на Boosty поможет определить, какие функции из Professional версии будут перенесены в CE.
Что нового в обновлении? Откройте этот список, чтобы увидеть полный обзор на YouTube.
Обзор
video

О проекте

Wunjo использует возможности нейронных сетей для предоставления передовых решений в области синтеза речи, клонирования голосов, изменения и рестайлинга контента, а также создания deepfake. Официальный сайт wunjo.online.

Попробуйте прямо сейчас
video
Откройте список, чтобы увидеть больше подробностей.

Новая версия 2.0 представляет полностью переработанный интерфейс, улучшенную производительность, усовершенствованную функцию смены лиц, генератор лиц несуществующих людей и анализатор deepfake. Также включены улучшения в синхронизацию губ, улучшение контента, удаление объектов, текста и фона, а также изменение и переработка контента и его компонентов с использованием текстовых подсказок. Дополнительно, публичные ссылки позволяют вам пользоваться и делиться ссылками на развернутое приложение с вашими друзьями. Для работы с аудио контентом улучшенное разделение аудио и клонирование речи из текста и аудио на любой язык.

Доступно как в бесплатной Community Edition, так и в подписной Professional Edition на wunjo.online, Wunjo подходит для широкого круга пользователей, от начинающих до профессионалов, обеспечивая конфиденциальность за счет работы локально на вашем устройстве.

Почему стоит выбрать Wunjo Community Edition?

  • Все-в-одном: Всеобъемлющий инструмент, удовлетворяющий как голосовые, так и визуальные потребности в области ИИ.
  • Удобство для пользователя: Разработан для всех, от начинающих до профессионалов.
  • Приватность прежде всего: Работает локально на вашем компьютере, обеспечивая сохранность ваших данных.
  • Открытый код и бесплатно: Пользуйтесь улучшениями, разработанными сообществом, и используйте приложение бесплатно.

Почему стоит выбрать Wunjo Professional?

  • Больше функций: Первый доступ к обновлениям, дополнительные и более продвинутые функции, такие как рестайлинг и клонирования речи.
  • Публичные ссылки: Разместите свое собственное серверное (ПК) приложение, доступное из любой точки мира.
  • Неограниченная производительность: Обрабатывайте несколько задач одновременно для увеличения общей производительности.

Шагните в будущее креативности с использованием ИИ вместе с Wunjo.

Запуск

Требуется Python версии 3.10 и ffmpeg.

Подробные инструкции по установке Wunjo CE с GitHub см. в разделе [Запуск проекта с GitHub](https://github.com/wladradченко/wunjo.wladradkova.ru/wiki/How-to-install-the-application#launch- project-from-github) в вики.

Как собрать под Windows?
video

Вы найдете на сайте официальные установщики на Windows/Ubuntu или портативные версии.

⚠️ Запуск GPU на AMD ⚠️

Вы можете использовать GPU на AMD, при помощи ZLUDA. Дополнительно потребуется установить firmware-linux-nonfree пакет, чтобы GPU стало доступным Issue 72.

sudo apt update
sudo apt install firmware-linux-nonfree

cd wunjo.wladradchenko.ru

python3.10 -m venv venv
source venv/bin/activate

python -m pip install -r requirements_zluda.txt
python -m pip install -U torch torchaudio torchvision --extra-index-url https://download.pytorch.org/whl/rocm6.1
python -m pip install -U xformers --extra-index-url https://download.pytorch.org/whl/rocm6.1

cd portable
briefcase dev

Больше информации в Issue 65 и Issue 68.

Обновления

Обновление 2.0.0
  • Полностью переработанный интерфейс для настольных и мобильных устройств, с нуля.
  • Улучшенная производительность с обработкой нескольких задач одновременно, стабильность и более быстрая обработка.
  • Улучшенная функциональность замены лиц теперь поддерживает несколько замен лиц в разные моменты времени через API.
  • Введен генератор лиц несуществующих людей.
  • Добавлен анализатор deepfake для различения подлинного контента от манипулированных медиа.
  • Улучшенная синхронизация губ для более плавных анимаций и устранения дефектов подбородка.
  • Выбор маски в реальном времени для безупречного редактирования.
  • Добавлен выбор области для удаления текста.
  • Разделены задачи по удалению объектов и удалению фона для большей точности. Теперь вы можете создавать видео с использованием хромакея.
  • Введен собственный файловый менеджер для эффективного управления файлами в приложении.
  • Улучшено взаимодействие с нейронными сетями, включая безупречное скачивание из интернета.
  • Легкий переключатель между клиентским и серверным приложением и обратно.
  • Поддержка нескольких пользователей с настраиваемыми ограничениями на одновременные задачи и использование памяти (ОЗУ, видеопамять, длительность, размер, количество одновременных задач).
  • Внутренние подсказки для оптимизации качества контента.
  • Умный генератор подсказок для стилизации видео и объектов.
Обновление 2.0.1
  • Прочие улучшения.
Обновление 2.0.2
  • Добавлено клонирование речи на любой язык из текста и аудио.
  • Улучшен разделитель речи для очистки голоса от шума и отделение вокала от музыки.
  • Улучшена производительность.
Обновление 2.0.3
  • Добавлен контролируемый рестайлинг видео.
  • Добавлены генерация текста в видео, изображения в видео, текста в изображения, изменение объектов.
  • Улучшено качество рестайлинга видео.
Обзор запланированных обновлений
  • Биржа публичных ссылок.
  • Добавление новых языков в интерфейс.
  • Улучшение профиля пользователя.
  • Улучшение статуса готовности контента.
  • Создание звуковых эффектов по видео и тексту.

Поддержка

Вы можете поддержать автора проекта в развитии его творческих идей на Boosty или CloudTips. Благодаря Boosty, у вас будет возможность голосовать за то, какой функционал из Professional версии, появятся в Community Edition в новых обновлениях. Существуют и другие способы поддержать развитие проекта, подробнее на странице.

Boosty CloudTips
пицца кофе

Донаты

Я выражаю искреннюю благодарность следующим людям, которые щедро поддержали этот проект посредством пожертвований:

  • Monogo - 10000 руб.
  • S. - 4500 руб.
  • Konstantin Kravtsov - 3000 руб.
  • LEO - 500 руб.
  • Несколько участников, которые предпочли остаться анонимными или предпочли не публиковаться в списке. Ваша поддержка очень ценна.

Я искренне ценю щедрость всех сторонников проекта. Ваш вклад позволяет продолжать улучшать и поддерживать этот проект.

Контакт

Автор: Wladislav Radchenko

Почта: i@wladradchenko.ru

Проект: https://github.com/wladradchenko/wunjo.wladradchenko.ru

Сайт приложения: wladradchenko.ru/wunjo

Предпосылки

Wunjo (Ву́ньо) происходит из древнего рунического алфавита и представляет радость и удовлетворение, что может быть связано с идеей использования приложения для создания увлекательной и выразительной речи. Вуньо (ᚹ) — восьмая руна старшего и англосаксонского футарка. До введения буквы W в латинский алфавит вместо неё в английском языке использовалась буква Ƿynn (Ƿƿ), происходящая от этой руны.

Зависимости

Wunjo создан на основе замечательных результатов различных проектов с открытым исходным кодом. Каждый интегрированный компонент отражает стремление к улучшению и адаптации существующих технологий в рамках совместной разработки с открытым исходным кодом. В списке ниже представлены проекты, которые были адаптированы и улучшены для включения в Wunjo:

  • Пользовательский интерфейс и упаковка: Реализация Flask UI и BeeWare
  • Анимация и улучшение лица: Адаптированные версии Wav2lip, Face Utils, Insightface, который предоставил хорошо сделанную библиотеку и модели.
  • Улучшение изображений и видео: Адаптированная версия Real-ESRGAN для улучшения качества видео и изображений
  • Обработка и сегментация видео: Адаптации Segment Anything, Rerender a Video, GMFlow, ControlNet и обновленная реализация Ebsynth
  • Генерация видео и изображений: Stable Diffusion и Stable Video Diffusion для создания изображений и видео.

Я выражаю благодарность первоначальным авторам этих технологий. Их новаторская работа сыграла важную роль в расширении возможностей Wunjo. Для постоянного хранения и управления версиями моделей, которые я лично обучил, используется Hugging Face Model Storage. Если вы заинтересованы в том, чтобы внести свой вклад в Wunjo, особенно в области клонирования голоса для новых языков, не стесняйтесь предлагать свои модели или обращаться к сотрудничеству через GitHub или Hugging Face.

[вернуться наверх]