wan2.1

Знакомьтесь, wan2.1 — это новая модель генерации видео из текста от Alibaba Cloud. Всё работает максимально просто: пишете описание (например, «ребенок бежит за бабочкой по лугу»), и нейросеть превращает эти слова в ролик. Что особенно радует, модель неплохо справляется со сложной динамикой — будь то танцы или спорт — сохраняя реалистичную физику и плавные переходы. Кстати, wan2.1 понимает промпты и на английском, и на китайском, так что инструмент будет полезен создателям контента из разных уголков мира.

Если заглянуть «под капот», то за качеством картинки стоят технологии VAE (Variational Autoencoder) и DiT (Diffusion Transformer). Именно они отвечают за то, чтобы кадры не «плыли» и выглядели согласованно. В тесте VBench, который оценивает точность движений и общее качество, модель набрала 84.7%. На выходе мы получаем видео в 720p при 30 fps. Для разработчиков предусмотрен API, чтобы встроить генерацию видео в свои приложения, а также инструменты аналитики для оценки производительности. Что касается оплаты, есть разные тарифные планы с выбором разрешения и скорости, а в Pro-версии рендеринг происходит быстрее.

Кому это будет полезно? В первую очередь контент-мейкерам для быстрых прототипов, преподавателям для создания анимаций в уроках и маркетологам, которым нужны короткие промо-ролики. Еще один интересный кейс — реставрация старых видео за счет генерации недостающих кадров. Сервис полностью облачный, так что мощное железо не потребуется: достаточно браузера и интернета. Если вам нужен простой способ превратить текст в видео, не погружаясь в дебри сложных видеоредакторов, wan2.1 — отличный вариант.