CM3leon by Meta

CM3leon — это мультимодальная ИИ-модель от Meta, которая в рамках одной системы справляется и с генерацией изображений по тексту, и с задачами перевода изображений в текст. В отличие от специализированных моделей, заточенных под одну функцию, она может создавать картинки по детальным текстовым описаниям, генерировать подписи к существующим фото, отвечать на вопросы по изображениям и выполнять редактирование под руководством текста, например, менять цвета или добавлять элементы. Она работает на базе архитектуры трансформера, похожей на языковые модели только для текста, но адаптированной для одновременной обработки текстовых и визуальных токенов.

Главные особенности CM3leon — это эффективность и универсальность. Модель достигает передового уровня производительности в генерации изображений по тексту, используя при этом в пять раз меньше вычислительных мощностей, чем предыдущие методы на базе трансформеров. Её обучали с помощью предварительного обучения с дополненным поиском (retrieval-augmented pre-training) и многозадачной настройки инструкций, что позволило ей отлично справляться с самыми разными задачами без необходимости в отдельных специализированных моделях. Она особенно хороша в работе со сложными детальными промптами и в сохранении согласованности между общими формами и локальными деталями на создаваемых изображениях.

Этот инструмент будет полезен исследователям, разработчикам и креативным профессионалам, которым нужна универсальная визуальная ИИ-система. Варианты использования включают генерацию концепт-артов по подробным описаниям, автоматическое создание подписей для больших коллекций изображений, редактирование фотографий товаров с помощью текстовых инструкций и создание образовательного контента, объединяющего визуальные и текстовые элементы. Модель особенно ценна для приложений, где требуются возможности как понимания, так и генерации изображений в одном эффективном пакете.