daVinci-MagiHuman

Знакомьтесь, DaVinci MagiHuman — это open-source модель, которая превращает обычное портретное фото в «говорящую голову». Схема простая: загружаете четкий снимок лица, добавляете текст или аудиофайл, и нейронка создает видео, где человек на фото произносит ваш текст с синхронным движением губ. Главная фишка здесь в том, что видео и звук генерируются одним общим процессом, а не разными системами, что делает результат более цельным.

За техническую часть отвечают Sand.ai и GAIR Lab из Шанхайского университета Цзяотун. Внутри — модель на 15 миллиардов параметров с архитектурой single-stream Transformer. Если говорить проще: она обрабатывает токены видео и аудио одновременно, чтобы липсинк был точнее, а сама работа — эффективнее. Модель распространяется под лицензией Apache 2.0, так что веса можно бесплатно скачивать, изучать и использовать даже в коммерческих проектах. Попробовать инструмент можно в веб-демо или развернуть у себя, скачав чекпоинты с Hugging Face или клонировав репозиторий с GitHub.

Кому это будет полезно? В первую очередь разработчикам и исследователям, которые копают в сторону генеративного видео, а также контент-мейкерам, которым нужны простые аватары без долгого монтажа. Это отличный вариант для обучающих роликов, персонализированных рассылок или прототипов, где возможность self-host и открытый код важнее голливудского качества картинки. Маленький совет: чтобы всё выглядело достойно, используйте качественный портрет с хорошим освещением, где лицо направлено прямо в камеру.