Сможем ли мы отличить реальные фотографии от сгенерированных?

Нейронные сети — это разновидность искусственного интеллекта, созданная для имитации работы человеческого мозга. В последние годы в области машинного обучения наблюдается растущая тенденция к использованию мультимодальных нейронных сетей. То есть нейронных сетей, способных одновременно работать с изображениями и текстом. Одной из самых новых и необычных особенностей нейронных сетей является их способность генерировать изображения.

Благодаря последним достижениям в области нейронных сетей появился проект, основанный на технологии генерации изображений на основе текстового запроса: АктаНейро — новости дня от нейросети.

Это интересная разработка, поскольку она показывает, как нейронные сети могут быть использованы в коммерческой деятельности, а не только как инструмент для цифровых художников.

Реализовать проект удалось на нейросетях Stable Diffusion и ruDALL-E.

Stable Diffusion — программа с открытым исходным кодом от группы Stability. Ai, выпущенная в публичный доступ, это детище Эмада Мостака, бывшего менеджера лондонского хедж-фонда,, которое сможет составить конкуренцию DALL-E от OpenAI по качеству.

ruDALL-E от Sber AI — архитектуру модели DALL-E, которая воспроизводит изображения по описанию на английском языке, разработала компания OpenAI. Но, несмотря на слово «open» в своём названии, не спешит выкладывать модели в открытый доступ. SberDevices и Sber AI пришлось заново воспроизвести исходный код проекта, чтобы обучить созданную нейросеть поиску русскоязычных запросов.

Как всё устроено в АктаНейро

Из потока новостей выбираются главные и подходящие для генерации изображения сюжеты. Далее новость описывается несколькими ключевыми фразами, по ним нейросеть генерирует набор изображений, из которых выбирается лучшее.

Генерация изображений решает две задачи, которые не может решить поиск: позволяет учесть точное описание желаемого и создаёт уникальное изображение, которые можно использовать для иллюстрации статей, в копирайтинге, в рекламе, без опасения за нарушение авторских прав.

Пример генерации изображение с заданным сюжетом (моделирование ситуации).
Новость: Генри Кавилл покинет «Ведьмака» — с четвёртого сезона его заменит Лиам Хемсворт

Новости сатирического издания Панорама:
«Это не военное преступление»: гарнизонный суд оправдал кота, воровавшего мятные пряники со склада.
Роскачество: IKEA годами кормила россиян фрикадельками из сои

Мир творчества постоянно меняется, и мы должны быть открыты новому и уважать друг друга, чтобы вместе строить светлое будущее. Только ответственное отношение к технологиям с открытым исходным кодом приведёт к тем изменениям, которые мы будем рады видеть.

Реалистичные модели слияния изображений потенциально опасны в пропаганде и дезинформации, искажая историю или разрушая юридическую ценность фотографий или видео. Сможем ли мы отличить реальные фотографии от сгенерированных?

Следующие несколько лет станут революционными для графики. Мы стоим на пороге огромного сдвига, который изменит наше представление о графике в целом.