Adobe Firefly: возможности, как использовать, примеры
ТрендыТелеканал
Pro
ИнвестицииМероприятия
РБК+
Новая экономика
Тренды
Недвижимость
Спорт
Стиль
Национальные проекты
Город
Крипто
Дискуссионный клуб
Исследования
Кредитные рейтинги
Франшизы
Газета
Спецпроекты СПб
Конференции СПб
Спецпроекты
Проверка контрагентов
РБК Библиотека
Подкасты
ESG-индекс
Политика
Экономика
Бизнес
Технологии и медиа
Финансы
РБК КомпанииРБК Life
РБК Тренды
Фото: Иван Звягин
Adobe добавила в Photoshop инструмент «Генеративная заливка» — это ИИ, который понимает обычные текстовые запросы.
Например, «добавь облака» или «убери машину». Выглядит и ощущается как магия
Что такое Adobe Firefly
Adobe Firefly — это семейство генеративных моделей искусственного интеллекта, созданное компанией Adobe для своего пакета Creative Cloud. Оно призвано обогатить и упростить творческие рабочие процессы в приложениях Adobe за счет нейросетевых инструментов.
Firefly обучали на наборе данных изображений из Adobe Stock, работ с открытой лицензией и материалов, находящихся в общественном доступе, авторские права на которые истекли. По утверждениям разработчиков, он не обучался на личном контенте пользователей Creative Cloud. Подход Adobe изначально отличается от способа обучения других ИИ-генераторов изображений — компания добавила в Creative Cloud возможность авторам изображений отказаться от использования их творчества в качестве части набора данных для обучения генеративных моделей.
Возможности Adobe Firefly
Запуск Firefly весной 2023 года стал одним из самых успешных бета-запусков в истории Adobe: пользователи бета-версии за первые полтора месяца создали более 100 млн объектов.
С момента запуска Firefly был расширен поддержкой векторной реколоризации (Firefly можно использовать для смены цвета векторных изображений) и генеративной заливки (бесшовного изменения изображения по текстовому запросу). Коммерческое использование предполагает возможность дообучить Firefly на основе собственных изображений, чтобы генерировать контент, учитывающий язык бренда компании.
В настоящее время ИИ Firefly ориентирован на генерацию эффектов для изображений и текста, а одно из главных УТП — изменение и создание изображений с учетом содержания прямо в Photoshop. В будущем Adobe планирует расширить возможности Firefly и применять эту модель в создании 3D, что позволит превращать трехмерные сцены в фотореалистичные изображения.
Firefly поддерживает функцию под названием Generative Fill, которая позволяет менять исходное изображение (добавлять и удалять объекты, менять погоду, форму предметов и т. п.) с учетом перспективы, освещения и стиля. Таким образом можно создавать необходимый контент за секунды, используя естественный язык.
Adobe также гарантирует, что созданные изображения безопасны для коммерческого использования и не нарушают интеллектуальную собственность других людей или брендов. Генеративная заливка доступна как веб-инструмент, а также как новый модуль в бета-версии Photoshop для настольных компьютеров с 23 мая 2023 года — это бесплатно для обладателей подписки Adobe Creative Cloud. Для широкой публики его планируют открыть во второй половине года.
Как воспользоваться Adobe Firefly и Generative Fill в Photoshop
Чтобы опробовать возможности Adobe Firefly в вебе, выполните следующие шаги.
- Откройте страницу https://firefly.adobe.com/
- Войдите в свою учетную запись.
- Убедитесь, что ваш аккаунт активен и у вас есть подписка Creative Cloud.
- Выберите эффект, которым хотите воспользоваться, например, текстовые эффекты или расширение границ изображения.
Чтобы запустить Generative Fill («Генеративную заливку») в приложении Photoshop вам нужно выполнить несколько шагов.
- Скачайте бета-версию Photoshop из Creative Cloud.
- Даже после скачивания свежей версии, убедитесь, что все обновления установлены (как и для основной версии Photoshop).
- Запустите программы — вы увидите уведомление о наличии новых инструментов.
- Откройте любое изображение и выделите на нем любой объект.
- Нажмите Enter и подождите секунд 10–15 — нейросеть наложит на изображение маску, которая сделает изменения бесшовными.
Примеры использования Firefly и Generative Fill
Текст
Иван Звягин
Главное в тренде
Материалы по теме
Adobe внедрила генеративный искусственный интеллект в последнюю бета-версию Photoshop
Новый инструмент генерации изображений на основе технологии Firefly от Adobe появится в бета-версии Photoshop уже сегодня.
Adobe использовала искусственный интеллект только в некоторых функциях, таких как контентно-зависимая заливка в Photoshop, но теперь она открывает доступ ко всем возможностям искусственного интеллекта в своем флагманском приложении для редактирования. Начиная с сегодняшнего дня, бета-версия Photoshop будет иметь долгожданную генеративную заливку (Generative Fill). Эта функция использует искусственный интеллект для добавления, удаления и изменения объектов с помощью текстовой подсказки (prompt).
Интернет-сообщество в настоящее время одержимо текстовыми генеративными ИИ, таким как ChatGPT и Bard, но генераторы изображений тоже становятся прибыльным бизнесом.
Компания OpenAI, которая создала ChatGPT, также имеет генератор изображений Dall-E, а еще есть Stable Diffusion, Midjourney и другие. Adobe подготовила свою версию этой технологии и назвала ее Firefly, которая собственно и будет использоваться в Photoshop.
Чтобы получить доступ к новым функциям искусственного интеллекта, вам нужно воспользоваться новой контекстной панелью задач. Все, что вам нужно сделать, это выделить объект с помощью любого инструмента выделения в Photoshop, а затем ввести в поле подсказки то, что вы хотите изменить. Вы можете добавлять новые объекты, изменять уже существующие и удалять ненужные. Adobe опубликовала несколько отличных демонстрационных видеороликов (ниже), которые демонстрируют мощь генеративного ИИ в Photoshop.
Каждый вид генеративного искусственного интеллекта сопряжен со своими собственными противоречиями, а для генераторов изображений это нарушение авторских прав.
Как и все современные системы искусственного интеллекта, генераторы изображений должны быть обучены на большом количестве данных, и иногда работа, защищенная авторским правом, может просочиться в конечные продукты. Компания Firefly прошла обучение работе с лицензированными изображениями Adobe Stock и общедоступным контентом, чтобы избежать этих этических и юридических проблем. Хотя некоторый контент Adobe Stock может быть сгенерирован самим искусственным интеллектом, так что здесь все еще существует некоторая неопределенность.
Все это звучит здорово, но есть одна загвоздка. Несмотря на то, что Adobe обещала, что генеративная заливка будет доступна в последней бета-версии Photoshop, эта опция находится не там, где должна быть в новой контекстной панели задач. В демоверсии Adobe на YouTube есть множество комментариев, в которых спрашивают, почему эта функция еще недоступна, и на данный момент нет четкого ответа.
рекомендации
Если у вас есть бета-версия 24.6 от Creative Cloud, вы сможете ознакомиться с возможностями искусственного интеллекта, как только Adobe включит его на своем сервере.
В этой версии также внесены некоторые приятные изменения в градиенты, предустановки настроек и многое другое. Если вы не хотите иметь дело со всей этой бета-ерундой, генеративная заливка будет доступна всем во второй половине 2023 года.
Новый инструмент искусственного интеллекта «Generative Fill» в Adobe Photoshop позволяет управлять фотографиями с помощью текста
Способный генератор клоуна —
Бендж Эдвардс —
Увеличить / Пример файловой фотографии компьютера Apple Lisa 1983 года, которая была значительно улучшена с помощью нового инструмента искусственного интеллекта «Генеративная заливка» в бета-версии Adobe Photoshop.
Apple/Бендж Эдвардс/Adobe
Во вторник Adobe добавила в свою бета-версию Photoshop новый инструмент под названием «Генеративная заливка», который использует облачный синтез изображений для заполнения выбранных областей изображения новым содержимым, созданным искусственным интеллектом на основе текстового описания.
В основе Generative Fill лежит Adobe Firefly, собственная модель синтеза изображений Adobe. В качестве модели искусственного интеллекта для глубокого обучения Firefly был обучен на миллионах изображений в стандартной библиотеке Adobe, чтобы связать определенные изображения с их текстовыми описаниями. Теперь это часть Photoshop, люди могут вводить то, что они хотят видеть (например, «клоун на мониторе компьютера»), а Firefly синтезирует несколько вариантов, из которых пользователь может выбрать. Генеративное заполнение использует известную технику искусственного интеллекта, называемую «раскрашивание», для создания контекстно-зависимой генерации, которая может плавно смешивать синтезированные изображения с существующим изображением.
Чтобы использовать генеративную заливку, пользователи выбирают область существующего изображения, которую хотят изменить.
После его выбора появляется «Контекстная панель задач», которая позволяет пользователям вводить описание того, что они хотят видеть в выбранной области. Photoshop отправляет эти данные на серверы Adobe для обработки, а затем возвращает результаты в приложение. После создания у пользователя есть возможность выбрать один из нескольких вариантов генерации или создать дополнительные параметры для просмотра.
-
Чтобы использовать генеративную заливку в Photoshop, сначала выберите область изображения, а затем введите описание того, что вы хотите увидеть, например «крошечный клоун».
Бендж Эдвардс
Затем генеративное заполнение передает обработку в облако, прежде чем предоставить результат.
Бендж Эдвардс
Выбрав подходящего клоуна, вы можете добавить к своему изображению дополнительные объекты, например игрушечного робота или баскетбольный мяч.
Бендж Эдвардс
jpg» data-responsive=»https://cdn.arstechnica.net/wp-content/uploads/2023/05/generative_fill_demo_3-980×735.jpg 1080, https://cdn.arstechnica.net/wp-content/uploads/2023/05/generative_fill_demo_3.jpg 2560″ data-sub-html=»#caption-1941385″>После обработки вам будет представлено несколько вариантов фотореалистичных клоунов, которые хорошо смотрятся на травянистой лужайке.
Бендж Эдвардс
При использовании инструмента «Генеративная заливка» создается новый «Генеративный слой», позволяющий неразрушающие изменения содержимого изображения, такие как добавление, расширение или удаление, управляемые этими текстовыми подсказками. Он автоматически подстраивается под перспективу, освещение и стиль выбранного изображения.
Реклама Генеративное заполнение— не единственная функция на базе искусственного интеллекта, добавленная в бета-версию Photoshop. Firefly также позволяет Photoshop полностью удалять части изображения, стирать объекты со сцены или увеличивать размеры изображения путем создания нового контента, окружающего существующее изображение.
Эти функции были доступны в генераторе и редакторе изображений DALL-E 2 от OpenAI с августа прошлого года (и примерно в то же время в различных самодельных выпусках Stable Diffusion), поэтому Adobe только сейчас догоняет их, добавляя их в свой флагманский редактор изображений.
По общему признанию, это быстрый поворот для компании, у которой может быть огромная цель ответственности, нарисованная на спине, когда речь идет о вопросах создания вредоносного или социально стигматизированного контента, использования изображений художников для обучения данных и усиления пропаганды или дезинформации.
Увеличить / Пример полного интерфейса генеративной заливки в бета-версии Adobe Photoshop.
Benj Edwards
В соответствии с этим Adobe не только блокирует создание определенных ключевых слов, защищенных авторским правом, насильственных и сексуальных, но также опирается на условия использования, которые запрещают людям создавать «оскорбительный, незаконный или конфиденциальный» контент.
Кроме того, благодаря способности Generative Fill легко искажать видимую мультимедийную реальность фотографии (по общему признанию, Photoshop делает это с момента своего создания), Adobe удваивает свою инициативу Content Authenticity, которая использует Content Credentials для добавления метаданных к сгенерированным файлы, которые помогают отслеживать их происхождение.
Генеративное заполнение в бета-приложении Photoshop в настоящее время доступно для всех участников Creative Cloud с подпиской на Photoshop или пробной версией в разделе «Бета-приложения» приложения Creative Cloud. Он еще недоступен для коммерческого использования, недоступен для лиц моложе 18 лет, недоступен в Китае и в настоящее время поддерживает текстовые подсказки только на английском языке. Adobe планирует сделать генеративную заливку доступной для всех пользователей Photoshop к концу года, чтобы каждый мог с легкостью создавать дворовых клоунов.
Если вы не являетесь подписчиком Creative Cloud, вы также можете бесплатно попробовать Generative Fill на веб-сайте Adobe Firefly, войдя в систему Adobe с помощью веб-инструмента. Adobe недавно удалила список ожидания из своей бета-версии Firefly.
Как использовать инструмент генеративной заливки в Photoshop
Время от времени Photoshop выпускает революционный инструмент, который меняет отрасль в том, как мы взаимодействуем, редактируем и проектируем наши изображения.
Генеративное заполнение — прекрасный пример такого инструмента и, вероятно, одна из самых мощных функций, выпущенных Photoshop на сегодняшний день.
В этой статье мы покажем вам, как использовать генеративную заливку, чтобы дать волю своему творчеству.
Что такое генеративное заполнение?
Генеративное заполнение работает на основе искусственного интеллекта и создает пиксели в виде реальных фотографий, полученных из библиотеки изображений Adobe Stock. В настоящее время он доступен в версии Photoshop Beta 4.6. Пользователи, подписавшиеся на план Adobe Photography, могут получить доступ к бета-версии Photoshop из приложения Creative Cloud для настольных ПК.
Генеративное заполнение можно использовать двумя важными способами. Он может расширить границы ваших фотографий, заполнив детали пикселей. Второй способ заключается в том, что вы можете ввести то, что хотите увидеть, и Generative Fill создаст это для вас.
Как использовать генеративное заполнение в Photoshop
Давайте сначала посмотрим, как генеративное заполнение может помочь вам заполнить недостающие детали фотографии, которую вы хотели бы видеть увеличенной.
Отличным примером может быть фотография крупным планом кого-то, на котором вырезана голова, и другие детали, которые вы хотели бы увидеть больше.
Расширьте и заполните детали
Сначала создайте всю рамку, обрезав изображение в бета-версии Photoshop. В этом примере мы хотим включить голову субъекта и расширить кадрирование, чтобы увидеть больше черт лица человека.
Теперь у нас есть место для использования генеративной заливки, чтобы буквально заполнить детали.
Следующим шагом является выбор одного из инструментов выделения Photoshop и создание выделения для генеративной заливки. Мы будем использовать инструмент Rectangular Marquee Tool , чтобы выделить пространство вверху.
Следующий набор шагов прост. Просто нажмите на Generative Fill . Откроется текстовое поле, но мы не хотим ничего вводить. Просто нажмите Generate .
Если вы получаете сообщение о нарушении принципов сообщества, это может быть ошибкой, и в данном случае это определенно так — помните, что это бета-версия.
Теперь просто введите «заполнить» и нажмите «Создать» еще раз.
Виола! Генеративное заполнение создало верхнюю часть головы модели и заполнило некоторые детали фона. Вы также заметите, что у вас будет три варианта на выбор. Просто нажимайте на стрелки, чтобы переключаться между вариантами, чтобы увидеть, какой из них работает лучше всего.
Панель инструментов «Генеративное заполнение» можно перемещать по экрану Photoshop, чтобы она не мешала.
Теперь просто повторите те же действия для всего изображения. Хорошей практикой является выделение некоторых готовых частей изображения, чтобы помочь генеративной заливке создать более точную визуализацию.
Всего за несколько простых шагов мы создали совершенно новый образ. Вы заметите, что каждый раз, когда вы используете генеративную заливку, Photoshop создает новый слой с маской слоя, чтобы можно было внести дополнительные корректировки.
Помимо использования масок для настройки, вы также можете исправить изображения, созданные искусственным интеллектом, в Photoshop, используя несколько других его обычных инструментов.
Создать новые элементы
Вы также можете использовать генеративную заливку, чтобы создать практически все, что вы хотите добавить к своему изображению. Допустим, мы хотим подарить этому одинокому мужчине друзей. Как и раньше, мы будем использовать инструмент Rectangular Marquee Tool и создадим поле, где мы хотим, чтобы Generative Fill творил свое волшебство.
Далее мы нажимаем Генеративное заполнение и вводим в поле «добавить двух друзей, сидящих на стульях». Затем нажмите «Создать ».
У вас будет три варианта на выбор. Когда вы генерируете людей, вам, возможно, придется нажать «Создать» несколько раз, чтобы получить благоприятный результат.
Естественно, вы можете делать больше, чем просто добавлять людей. Вы также можете добавлять объекты; вы можете разместить на изображении практически все, что угодно, используя генеративную заливку.
Если создать слишком много вариантов, время генерации может увеличиться.