Работа с текстом картинки: Работа с изображениями в текстовом уроке

Для этого, скопируйте следующий фрагмент в Colab. Этот код сначала загрузит изображение с помощью PIL, а затем предварительно обработает его с помощью модели клипа.

Это должно отображать образец изображения, за которым следует обработанный тензор изображения.

 Форма тензора: 
 torch.Size([1, 3, 224, 224]) 

Функции изображения теперь можно извлечь, вызвав метод encode_image из модели клипа следующим образом

Это должно вернуть функции изображения tensor size

 torch.Size([1, 512]) 

3. Извлеките вложения текста

Создадим набор фрагментов текста, в которые встраиваются разные значения класса следующим образом: #СОРТ#".

Затем мы можем запустить токенизатор клипов для предварительной обработки фрагментов.

Это должно вернуть форму тензора текста

 torch.Size([3, 77]) 

Текстовые функции теперь можно извлечь, вызвав метод 'encode_text' из модели клипа следующим образом

4. Сравните встраивание изображения и встраивание текста

Поскольку теперь у нас есть встраивание изображения и текста, мы можем сравнить каждую комбинацию и ранжировать их в соответствии с их сходством.

Для этого мы можем просто вызвать модель для обоих вложений и вычислить softmax.

Это должно вернуть следующий вывод.

 Label probs: [[0.9824866 0.00317319 0.01434022]] 

Как и ожидалось, мы можем наблюдать, что фрагмент текста «фотография собаки» имеет наибольшее сходство с образцом изображения.

Теперь вы можете сделать текстовые запросы более контекстными и посмотреть, как они сравниваются. Например, если вы добавите «фото собаки, бегущей по травяному полю», как вы представляете, как теперь будет выглядеть рейтинг?

Полный сценарий

Чтобы получить полный сценарий, перейдите на мою страницу github по этой ссылке:

andreRibeiro1989/medium

clip_getting_started.ipynb.

github.com

Или перейдите непосредственно в блокнот Google Colab, перейдя по этой ссылке:

Google Colaboratory

clip_getting_started.ipynb

colab.research.google.com

чрезвычайно мощный и мощный модель встраивания текста, которую можно использовать для поиска фрагмента текста, который лучше всего представляет данное изображение (например, в классической задаче классификации) или наиболее подходящего изображения для заданного текстового запроса (например, поиск изображения).

CLIP не только мощный, но и исключительно простой в использовании. Эту модель можно легко встроить в API и сделать доступной, например, через лямбда-функцию AWS.

[1] Опенай. « CLIP: соединение текста и изображений »
https://openai.com/blog/clip/#rf36

[2] Алек Рэдфорд, Чон Вук Ким, Крис Халласи и др. « Изучение переносимых визуальных моделей на основе наблюдения за естественным языком »
arXiv: 2103.00020

Лучшее совместное представление изображения и текста

Компьютерное зрение

Два метода, представленные на CVPR, достигают передовых результатов за счет наложения дополнительной структуры на репрезентативное пространство.

Лицюнь Чен

1 июля 2022 г.

В этом году команда Amazon Search приняла две статьи, принятые на конференции по компьютерному зрению и распознаванию образов (CVPR), обе посвящены выравниванию изображений и текста или обучению нейронной сети совместному представлению изображений и связанного с ними текста. Такие представления полезны для ряда задач компьютерного зрения, включая текстовый поиск изображений и текстовый поиск на основе изображений.

Как правило, совместные модели изображения и текста обучаются с использованием контрастного обучения, при котором модели подаются обучающие образцы парами, один положительный и один отрицательный, и она учится объединять положительные примеры в пространстве представления и сталкивать положительные и отрицательные примеры отдельно. Так, например, модель может быть обучена на изображениях с парами связанных текстовых меток, одна правильная метка и одна случайная метка, и научиться связывать изображения с правильными метками в общем мультимодальном репрезентативном пространстве.

Обе наши статьи CVPR основаны на одном и том же наблюдении: простое обеспечение соответствия между различными модальностями с сильным контрастным обучением может привести к вырождению изученных признаков. Чтобы решить эту проблему, в наших статьях исследуются различные способы наложения дополнительной структуры на репрезентативное пространство, чтобы модель обучалась более надежному выравниванию изображения и текста.

Кодовые книги представлений

Нейронная сеть, обученная на мультимодальных данных, будет естественным образом группировать данные одного типа вместе в репрезентативном пространстве. сопутствующие тексты.

Новый подход к выравниванию изображения и текста рассматривает изображение и текст как два «представления» одного и того же объекта и использует кодовую книгу кластерных центров, чтобы охватить совместное пространство кодирования языка и зрения.

Для борьбы с этой тенденцией в разделе «Мультимодальное выравнивание с использованием кодовой книги представлений» мы предлагаем выравнивать изображение и текст на более высоком и стабильном уровне, используя кластерное представление. В частности, мы рассматриваем изображение и текст как два «представления» одного и того же объекта и используем кодовая книга кластерных центров, чтобы охватить совместное пространство кодирования языка и зрения. То есть каждый центр закрепляет группу связанных понятий, независимо от того, выражены ли эти понятия визуально или текстуально.

Во время обучения мы сравниваем положительные и отрицательные образцы с помощью их кластерных назначений, одновременно оптимизируя центры кластеров. Чтобы еще больше сгладить процесс обучения, мы принимаем парадигму дистилляции учитель-ученик, в которой выходные данные модели учителя обеспечивают учебные цели для модели ученика. В частности, мы используем выходные данные модели для одного представления — изображения или текста — чтобы помочь учащимся изучить другое. Мы оценили наш подход на общих эталонных тестах языка зрения и получили новый уровень техники для поиска кросс-модальности с нулевым выстрелом или поиска текста на основе изображений и поиска изображений на основе текста на типах данных, невидимых во время обучения. Наша модель также конкурентоспособна в других задачах передачи.

Обзор подхода репрезентативной кодовой книги. Для простоты показана только одна пара «ученик-учитель» (учитель для изображения, ученик для текста).

Тройное контрастивное обучение

Успех контрастивного обучения в обучении моделей выравнивания изображения и текста объясняется его способностью максимизировать взаимную информацию между парами изображения и текста или степенью, в которой особенности изображения могут быть предсказаны по характеристикам текста и наоборот.

Однако простое выполнение кросс-модального выравнивания (CMA) игнорирует потенциально полезные корреляции внутри каждой модальности. Например, хотя CMA отображает пары изображение-текст близко друг к другу в пространстве встраивания, он не может гарантировать, что аналогичные входные данные из одной и той же модальности останутся близко друг к другу. Эта проблема может усугубиться, если данные предварительной подготовки зашумлены.

В «Предварительном обучении зрительному языку с тройным контрастивным обучением» мы решаем эту проблему, используя тройное контрастивное обучение (TCL) для предварительного обучения зрительному языку. Этот подход использует как кросс-модальные, так и внутримодальные самоконтроль или обучение задачам, устроенным так, что они не требуют помеченных обучающих примеров. Помимо CMA, TCL вводит внутримодальную контрастную цель, чтобы обеспечить дополнительные преимущества в обучении репрезентации.

Слева (A) — архитектура модели с тремя функциями потерь (LMI, IMC и CMA). Справа (B) показана мотивация тройной контрастной потери. Добавление внутримодальных контрастных (IMC) потерь позволяет модели изучить более разумное вложение (синий квадрат) .

Чтобы воспользоваться преимуществами локализованной и структурной информации из изображения и текста, TCL дополнительно максимизирует среднюю взаимную информацию между локальными областями изображения/текста и их глобальной сводкой. Насколько нам известно, это первая работа, в которой учитывается информация о локальной структуре для обучения мультимодальному представлению. Экспериментальные оценки показывают, что наш подход является конкурентоспособным и достигает нового уровня техники в различных общих последующих задачах языка видения, таких как поиск изображения-текста и визуальные ответы на вопросы.

Об авторе

Лицюнь Чен

Лицюнь Чен — ученый-прикладник из группы Amazon Search.

Senior Data Scientist

Amazon стремится стать самой клиентоориентированной компанией в мире. Цель команды JP Last Mile Technology Team состоит в том, чтобы превзойти ожидания наших клиентов, гарантируя, что их заказы, независимо от того, насколько они велики или малы, будут доставлены максимально быстро, точно и с минимальными затратами. Для достижения этой цели Amazon постоянно стремится вводить новшества и предоставлять лучший в своем классе опыт доставки за счет внедрения новаторских новых продуктов и услуг в сфере доставки «последней мили». Технологическая группа JP Last Mile ищет старшего специалиста по обработке и анализу данных, который будет разрабатывать, пропагандировать и внедрять современные решения для никогда ранее не решаемых проблем, помогая пространству «последней мили» в Токио, Япония. В качестве старшего специалиста по данным вы будете тесно сотрудничать с другими учеными-исследователями, экспертами по машинному обучению и экономистами по всему миру, разрабатывая и проводя эксперименты, исследуя новые алгоритмы и находя новые способы улучшения аналитики последней мили для оптимизации обслуживания клиентов. Вы будете сотрудничать с лидерами в области технологий и продуктов для решения деловых и технологических проблем, используя научные подходы для создания новых услуг, которые удивят и порадуют наших клиентов. Наука в Amazon — это в высшей степени экспериментальная деятельность, хотя теоретический анализ и инновации также приветствуются. Наши ученые тесно сотрудничают с инженерами-программистами, чтобы применить алгоритмы на практике. Они также работают над междисциплинарными усилиями с другими учеными Amazon по всему миру. *Дополнительная информация [Отдел] https://www.amazon.co.jp/b?node=5637343051 [Аналитик данных/Инженер] https://www.amazon.co.jp/b?node=5609906051 [Местоположение] https://www.amazon.co.jp/b?node=5589794051 *Amazon стремится к созданию разнообразной и инклюзивной рабочей среды. Amazon является работодателем с равными возможностями и не допускает дискриминации по признаку расы, национального происхождения, пола, гендерной идентичности, сексуальной ориентации, защищенного статуса ветерана, инвалидности, возраста или другого защищенного законом статуса. Для лиц с ограниченными возможностями, которые хотели бы запросить приспособление, посетите веб-сайт https://www.amazon.jobs/disability/jp Основные должностные обязанности Ключевые стратегические цели для этой должности включают: Понимание движущих сил, воздействий и ключевых факторов, влияющих на доставку последней мили динамика. Масштабируйте действия, чтобы предлагать клиентам низкие цены и расширенный выбор, используя научно обоснованные методы и принятие решений. Помощь в создании производственных систем, которые получают данные из нескольких моделей и принимают решения в режиме реального времени. Автоматизация циклов обратной связи для алгоритмов в производстве. Разработайте исходные данные и предположения на основе ранее существовавших моделей для оценки затрат и возможностей экономии, связанных с различными уровнями роста и эксплуатации сети. Использование систем и инструментов Amazon для эффективной работы с терабайтами данных. О команде Команда JP по аналитике выполнения последней мили (LMEA) работает как неотъемлемая часть Amazon Logistics, чтобы гарантировать, что ее бизнес-аналитика, аналитика, инструменты и потребности в планировании удовлетворены. Предоставляя информацию, идеи и поддержку в принятии решений, мы стремимся обеспечить успех всех компонентов Amazon Logistics. Наш набор клиентов включает в себя высшее руководство, операции на станциях, внешних поставщиков, долгосрочное планирование, технологию эксплуатации (голос станции доставки, голос клиента), сетевое планирование и почти все группы бизнес-аналитики и эксплуатации в Amazon Logistics.

Специалист по обработке и анализу данных, аналитика выполнения последней мили (LMEA)

Команда Amazon Logistics (AMZL) отвечает за приобретение, проектирование, строительство и управление всеми объектами в сети станций доставки Amazon. AMZL ищет талантливого и увлеченного специалиста по данным, который поможет сформировать свой бизнес «последней мили» с помощью технических стратегий и решений, обрабатывая, анализируя и интерпретируя огромные наборы данных. Вам должно быть удобно справляться с двусмысленностью, решать проблемы и получать удовольствие от работы в динамичной, разнообразной и динамичной среде. Используя аналитическую строгость и статистические методы, вы анализируете данные, чтобы определить возможности для Amazon и наших каналов доставки. И вы сотрудничаете с другими учеными, инженерами, менеджерами по продуктам и программам для развертывания новых продуктов и решений. [Дополнительная информация] Аналитик данных отдела последней мили/инженер бизнес-аналитики Офис в Токио *Amazon стремится к разнообразию и инклюзивности рабочего места. Amazon является работодателем с равными возможностями и не допускает дискриминации по признаку расы, национального происхождения, пола, гендерной идентичности, сексуальной ориентации, защищенного статуса ветерана, инвалидности, возраста или другого защищенного законом статуса. Для лиц с ограниченными возможностями, которые хотели бы запросить приспособление, посетите страницу https://www.amazon.jobs/disability/jp Основные должностные обязанности Создание дорожной карты наиболее сложных бизнес-вопросов и использование данных для формулирования возможного анализа основных причин и решений Управление и выполнение целых проектов или компонентов крупных проектов от начала до конца, включая управление проектами, сбор и обработку данных, синтез и моделирование, решение проблем и передачу идей Партнерство с командами по продуктам, программам и инженерам для разработки и запуска моделей, исследования новых алгоритмов , а также доказать инкрементальность и стимулировать рост. Понимание движущих сил, воздействий и ключевых факторов, влияющих на динамику роста продаж. Разработка и масштабирование сквозных моделей и решений машинного обучения. Автоматизация циклов обратной связи для алгоритмов в производстве. Использование систем и инструментов Amazon для эффективной работы с терабайтами данных. О команде Команда Last Mile Execution Analytics (LMEA) компании JP работает как инте важной частью Amazon Logistics, чтобы гарантировать, что ее бизнес-аналитика, аналитика, инструменты и потребности в планировании будут удовлетворены. Предоставляя информацию, понимание и поддержку принятия решений, мы стремимся обеспечить успех всех частей AMZL. Наш набор клиентов включает в себя высшее руководство, операции станции, внешних поставщиков, долгосрочное планирование, технологию эксплуатации (голос станции доставки, голос клиента), планирование сети и почти все команды бизнес-аналитики и эксплуатации. Голос сотрудника [Гармония трудовой и личной жизни] Мы считаем, что важно проводить личное время, например, проводить время с семьей или делать все, что вам нравится, чтобы стимулировать инновации.