Wheretoget.it — сайт, помогающий находить вещи по фотографиям — Look At Me
Wheretoget.it — молодой онлайн-проект, помогающий находить понравившиеся предметы одежды по фотографиям. Он устроен достаточно просто. Зарегистрировавшись, пользователи загружают снимки вещей, которые хотят найти и купить, а читатели помогают определить марку одежды, дают ссылку на интернет-магазин, где вещь продаётся, в крайнем случае находят похожие вещи. Как правило, отыскать необходимый предмет удаётся менее чем за три часа, в 84 % случаев поиск оказывается успешным.
Сайт был запущен пару месяцев назад, но уже сейчас весьма популярен. Его создатели, Николас Мецке, Жилль Бабине и Ромен Муан из Франции, уже запустили несколько успешных проектов. Их стартапы, среди которых Ciao.com и Musiwave, были проданы за сотни миллионов долларов.
Look At Me расспросил одного из основателей Wheretoget.it о запуске сайта, решении заняться модой и об онлайн-изданиях, которые стоит читать каждый день.
|
|
Николас Мецкегенеральный директор WhereToGet.it и Hypeed.com |
О создании проекта
Идея запустить Wheretoget.it родилась во время работы с сайтом Hypeed, который мы создали в начале 2010 года. Hypeed — это одновременно онлайн-журнал и сайт, похожий на Lookbook.nu, Chictopia и раздел луков на Look At Me. Наш редактор выбирает тренды и пишет о них посты, а пользователи выкладывают свои фотографии для иллюстрации этих материалов. Они также могут голосовать за понравившиеся снимки и оставлять комментарии. Судя по хвалебным отзывам, эта концепция многим нравится. Через некоторое время после запуска проекта французский Vogue даже попросил нас управлять разделом Fashion Community на своём сайте.
С самого начала мы получали множество писем от читателей Hypeed с просьбой помочь им найти вещи, из которых составлены луки. Наши коллеги из Vogue и друзья, ведущие блоги, не раз говорили, что им присылают тонны сообщений с просьбой подсказать, где купить вещи с опубликованных фотографий. Конечно, мы не располагаем достаточным количеством времени, чтобы ответить всем. Тогда мы задумались над концепцией Wheretoget.it и решили, что это будет узкоспециализированный сайт, похожий на интересную игру с участием большого количества пользователей. Его пилотная версия работала с февраля по апрель этого года. Стартовые показатели были такими: 9 из 10 просьб находили отклик, 50 % из них — в течение трёх часов с момента появления. Тогда мы решили запустить полноценный сайт.
Об идее сайта
Суть очень проста. Допустим, вы увидели на ком-то невероятно стильный блейзер и захотели приобрести такой же, но не знаете, где найти. Можно попросить совета у друзей, и если они подскажут, то вы настоящий счастливчик. Можно самостоятельно искать вещь в интернете или в журналах, но это очень сложно, на поиски может уйти несколько часов. Так почему бы не обратиться за помощью к людям, которые любят моду и разбираются в шопинге?
О команде сайта
Сейчас над Wheretoget.it работают пять человек. Трое являются основателями проекта и отвечают за развитие бизнеса. У каждого из нас есть опыт в работе с интернет-компаниями и маркетингом. В совокупности мы запустили около десяти успешных стартапов. Самому молодому из нас было 16 лет, когда он создал свою первую компанию в интернете, сейчас ему 24. За содержание сайта отвечает редактор. Ещё один человек обеспечивает техническую поддержку.
О развитии проекта
У нас есть несколько идей. Сейчас Wheretoget.it представляет собой сайт вопросов и ответов. И хотя мы довольно молоды, у нас уже больше 50 000 пользователей, которые ссылаются на 2 000 различных интернет-магазинов. Хотелось бы теснее работать с социальными сетями, а также создать платформу, где люди смогут узнать о текущих трендах. Кроме того, планируем теснее связать Whetetoget.it с Hypeed. Hypeed используют множество известных блогеров, мы хотим привлечь их и к нашему второму проекту.
О решении заняться модой
Ни один из основателей Wheretoget.it прежде не работал в модной индустрии, и в этом наше преимущество, я считаю. Мы позволяем себе делать такое, на что инсайдер индустрии никогда бы не решился. Если вы хотите по-настоящему преуспеть в каком-то деле, вам нужно научиться смотреть на вещи свежим взглядом.
Для того чтобы получить конкретные знания о моде, мы пригласили редактора. Им стал блогер. Блогеры ощущают моду так же, как не приближённые к ней люди, и, как правило, судят непредвзято, это очень важно для нас.
Мы прагматичны и прямолинейны. Работаем с обыкновенными людьми. То, что сейчас происходит с модой, является уже не трендом, а началом глобальных изменений. Посмотрите на коллаборации H&M с Versace, Lanvin и Карлом Лагерфельдом. Истории успеха, такие как у Asos и Topshop, стали возможны. Во многом это происходит благодаря всеобщей демократизации. Эта тенденция будет продолжаться.
О ресурсах, которые стоит читать
Для того чтобы быть в курсе новостей бизнеса, я советую просматривать Women’s Wear Daily, Business of Fashion, FashionMag, Fashionista и технические сайты вроде Mashable и The Next Web. Читаю множество блогов, все перечислить сложно. Главные среди них — StyleScrapbook.com Энди, TheFashionCloud.com Тони и TheBlondSalad.com Сиары, это довольно известные авторы. Среди перспективных новичков выделю Эвиту и её Jellyjellybeans.blogspot.com, Александру с Fashionsalade.com/lovelypepa и Зину с её Fashionvibe-blog.blogspot.com.
Ещё 5 сайтов, ориентированных на модный ритейл
Svpply.com
Проект, пользователи которого рекомендуют друг другу хорошие вещи. Основываясь на данных виш-листов пользователей, сайт формирует ленту интересных товаров. К каждому продукту прилагается ссылка на магазин.
Bemydress.ru
Интерактивная примерочная, с помощью которой можно создавать комплекты одежды, узнать стоимость вещей и место, где их можно приобрести в Москве. Представлены демократичные и люксовые бренды, а также отечественные марки. Существуют иностранные аналоги: Boutiques.com в Америке, Looklet.com в Европе и Awaseba.com в Японии.
Polyvore.com
Сайт, позволяющий создавать коллажи из вещей, представленных в сотне онлайн-магазинов: от H&M до Net-a-Porter. Одежда распределена по видам, можно загружать свои фотографии, выбирать темы для оформления коллажей и регулировать параметры изображения. Есть ссылки на магазины, где вещи продаются.
Shopstyle.com
Ещё один ресурс, объединяющий интернет-магазины. Позволяет создавать свои луки и персональные лукбуки. Упор делается на дизайнерский сегмент, но встречаются и Asos с Topshop. Плюс сайта — возможность общения в группах.
Iheartluxe.com
Онлайн шопинг-гид. Здесь можно найти отзывы на одежду, косметические продукты, объекты дизайна и отели. К обзорам прилагаются ссылки на магазины и сайты.
www.lookatme.ru
Как найти понравившиеся туфли, купальник, платье, куртку, шорты, джинсы, футболку по картинке (по фотографии)
Очень часто в интернете люди, показывая фото, спрашивают «Как и где можно найти вещь, как на картинке?».
Объясню, как можно проще.
Берём фотографию с вещью, которая вам нравится, например эту:
Открываем гугл, пишем в строке поиска «платье» и нажимаем «картинки» (очень жирными красными стрелками отмечено, что надо нажать):
Гугл перебрасывает нас на множество картинок с платьями, мы ищем иконку с фотоаппаратом и нажимаем (опять же, красная жирная стрелочка показывает, на что нажимать):
После этого всплывает окошечко — Поиск по картинке:
У нас 2 варианта подгрузить нашу картинку (фото с платьем):
- Если у вас скаченная фотография (она уже сохранена на компьютер), нажимаем «загрузить файл».
- Если фото открыто в интернете, кликаем по нему правой клавишей мыши, выбираем » Копировать URL картинки» и в поле «Указать ссылку» вставляем то, что скопировали.
После этого нажимаем кнопочку «Поиск по картинке» и ждём. Google мне нашёл кучу предложений платья, которого я искала (фото в начале статьи):
Теперь нам только остаётся посмотреть ссылки на магазины, где его можно приобрести и сравнить цены.
Ура! Не надо никого спрашивать «где можно купить такое же» 😉
pe4en.com
Как найти одежду по картинке — тест от редакции
Как часто вы находили очень классную вещь в Инстаграме у звезды, в фильме или просто на случайной картинке в Pinterest? Повезло, если удалось заскринить, чтобы потом показать портнихе. Но как быть с кроем, вытачками и прочими жизненно важными деталями, ради которых картинку надо пристально рассмотреть? Благо, технологии в модной индустрии сегодня заняли лидирующую роль – Farfetch уже запускает в производство магазины будущего. Сегодня большинство разработок в сфере искусственного интеллекта направлено на усовершенствование рекомендаций. Чем лучше алгоритм знает вас, ваши параметры и вкусы, тем больше действительно подходящих вам вещей он сможет посоветовать. Казахстанские онлайн-ритейлеры не отстают. Lamoda ввела функцию поиска по картинке. Вставить можно скриншот, кадр из фильма или любую картинку, на которой отчетливо виден нужный предмет одежды. Вместе с женской половиной редакции Buro 24/7 мы решили протестировать алгоритм.
Анара Кукиева, шеф-редактор
«Подобной функцией я пользуюсь давно. В основном на Asos. Это удобно и здорово экономит время, поскольку где-то на 2-3 странице мне становится лень пролистывать еще 100 таких же, и мой шопинг на этом заканчивается. Очень часто я вижу в Instagram образы, они мне нравятся, но человек не указывает названия брендов. Единственный выход – искать что-то похожее. В этих случаях функция «поиск одежды по картинке» отлично выручает. Не всегда удается найти нужное, сложно стилизованные образы неподвластны приложению, но в любом случае это полезная штука».
Катерина Милославская, редактор раздела «Культура»
«Люблю платья, только они не любят меня. Для поиска я выбрала ультра-блестящее мини, в котором Джей Ло отжигает на вечеринке рядом с уставшей Донателлой Версаче. Поиск по картинке показал платья похожего цвета и фасона, но выглядели они как минимум уныло. Зато чуть ниже я увидела платье другого цвета и с бахромой, и мне оно понравилось даже больше, чем то, что на картинке. Люблю бахрому до ужаса. Жаль только, что ноги Дженнифер ко всему этому не прилагаются».
Айгерим Туменбай, иллюстратор
«Очень люблю Рианну и ее стиль, поэтому хотелось найти что-нибудь, что хоть на чуточку приблизило бы меня к ней. Сама функция проста и удобна в использовании, но несколько более сложные и оригинальные луки Рианны она не осилила. Пришлось выбрать более сдержанный образ, и тут программа не подвела. Но в найденных вещах нет того эджа, что присущ Рири».
Рамита Сулейменова, SMM
«В этой жизни мне повезло: чаще всего я ношу черное и его в магазинах всегда много. Раньше, чтобы не искать в каждом магазине по отдельности какой-либо предмет одежды, пользовалась Polyvore, но сайт закрыли (никогда не прощу этого SSENSE). Функция поиска по картинке экономит время, но она не всегда точна. Ей, естественно, нужны доработки, плюс многое зависит от фотографии, с которой вам хотелось бы снять образ. Если образ весь черный, то программа плохо различает, где заканчивается кофта, начинаются брюки, обувь это или, все-таки, сумка».
Диана Боровинская, менеджер по продажам
«Все используют чужие образы, а мне захотелось затестить свой – найдет ли. Тут просто no comment. Женщина в расцвете сил или беременная – это приложение точно смотрит на одежду, а не на внешность?»
Жанетта Сабырова, офис-менеджер
«Новая функция удобна, но найти реально похожую альтернативу нужным вещам сложно, как это было в моем случае. Я пыталась найти нужный лук, но предлагаемые варианты были лишь отдаленно на него похожи».
www.buro247.kz
Платье как на картинке — Блог Яндекса
Все мы по-разному подходим к выбору одежды. Кто-то действует быстро и решительно — увидел, понравилось, купил, — а кто-то подолгу размышляет над возможными вариантами. В любом случае, многим наверняка знакома ситуация: есть чёткое представление, какая вещь нужна, но в магазинах почему-то не получается отыскать ничего подходящего.
Часто образ нужной вещи имеется не только у нас в голове, но и на картинках. Например, вы увидели фотографию платья в модном блоге, и теперь ищете что-то похожее. Или в магазине вам попался идеальный пиджак, но вашего размера нет — и вы фотографируете вещь на телефон, чтобы использовать снимок как ориентир в дальнейших поисках.
Чтобы найти нужное было проще, мы выпустили приложение «Снимите одежду». Оно подбирает для вас вещи, похожие на те, которые изображены на картинках. Просто сфотографируйте понравившийся вам предмет гардероба или загрузите фото из галереи — и приложение за несколько секунд отыщет близкие варианты на Яндекс.Маркете.
О любой найденной вещи вам сообщат подробности — бренд, цену, размеры и цвета. Если вещь приглянулась, её можно отложить на будущее — или сразу приобрести, перейдя из приложения на Яндекс.Маркет. Сейчас на Маркете доступны около миллиона предметов мужской и женской одежды из российских и зарубежных интернет-магазинов.
«Снимите одежду» распознаёт вещи на фотографиях и находит похожие с помощью разработанной в Яндексе технологии компьютерного зрения. Работу приложения обеспечивают сразу две нейронные сети. Одна сеть анализирует выбранную пользователем картинку, определяет, какая вещь — скажем, юбка, брюки или пиджак — на ней изображена и выявляет её свойства: цвет, стиль, фасон и так далее. Это позволяет понять, что на снимке, например, приталенное зелёное платье. Далее алгоритм находит на Маркете все предложения, подходящие под это описание. Изображения товаров сравниваются с исходной картинкой — за это отвечает вторая нейронная сеть. Пользователю показывают те вещи, которые по результатам сравнения были признаны самыми похожими.
Приложение пока доступно только на iPhone, его можно загрузить в App Store. Сейчас «Снимите одежду» только учится и может допускать ошибки — но чем больше вы будете им пользоваться, тем лучше будет результат.
yandex.ru
Как найти товар по фотографии ~ FrenzyShopper
Нередко возникает ситуация, когда под рукой оказывается лишь изображение товара, но хотелось бы знать как он называется, какая это модель и сколько он стоит в интернет-магазинах. Из такого затруднительного положения помогают выйти сразу несколько общедоступных онлайн-сервисов, которые успешно находят товар по его фотографии.
Механизм поиска у всех примерно одинаков: сервис сравнивает указанное Вами изображение с обширной базой данных и находит похожие картинки, имеющие описание. Часто такое описание содержит название и характеристики изображённого предмета, которые и получает пользователь. Также из результатов поиска можно пройти по полученным ссылкам и попасть прямиком на сайт магазина, чтобы осуществить покупку. Поиск будет более успешен, если товар пользуется популярностью, и в интернете имеется множество его изображений. Но даже если в поисковой выдаче не будет ссылки для осуществления немедленной покупки, то располагая названием вещи, легко воспользоваться обычным поиском по зарубежным или российским интернет-магазинам.
Мы подобрали для Вас несколько удобных и понятных сервисов, осуществляющих поиск по фотографии, сопроводив каждый из них небольшим описанием и инструкцией по использованию.
Универсальный поиск по фотографиям
Поисковики из этой группы производят глобальный поиск по изображению, т.е. не ограничиваются, например, только китайскими интернет-магазинами. В качестве эталонного изображения возьмём фотографию планшета Samsung Galaxy Tab 10.1 и проверим, насколько точно он будет распознан.
1. Google.
Самый известный в мире поисковик имеет отличный поиск по изображениям. После перехода по ссылке отыщите в поисковой строке иконку с изображением фотоаппарата и нажмите на неё.
На следующем шаге можно предоставить как ссылку (1) на фотографию, так и загрузить (2) изображение со своего компьютера.
После добавления ссылки или загрузки изображения нажмите «Поиск по картинке». В нашем тесте Google показал замечательный результат, выдав название планшета на первой странице с результатов поиска. Из недостатков следует отметить лишь то, что на первой странице не было ссылок на интернет-магазины с предложением купить товар.
2. Yandex.
Российский поисковый гигант тоже умеет хорошо искать по картинкам. Пользоваться поиском по фотографиям от Yandex легко. Во-первых, следует нажать на специальную пиктограмму.
Во-вторых, выбрать изображение из памяти собственного устройства (1) или просто дать ссылку на размещённое где-нибудь в интернете (2), после чего нажать «Найти».
Yandex также показывает отличный результат поиска сразу в верхних строках выдачи результатов, совершенно верно определяя модель, но как и Google не предлагает купить его в интернет-магазине.
3. TinEye.
TinyEye, как и другие подобные сервисы, позволяет загрузить изображение (1) или просто дать на него ссылку (2).
Сервис также прекрасно справляется с задачей, сразу же отвечая на вопрос, что это за модель. Но как и упомянутые выше аналоги не предлагает ссылок для немедленной покупки.
Поиск по изображению товара в китайских магазинах
Эта группа сервисов заточена на поиск по конкретным торговым площадкам. В нашем случае по TaoBao и Aliexpress. Для проверки их эффективности возьмём какой-нибудь популярный товар, производимый в Китае, например, такие умные часы.
4. Kupinatao.com
Этот поисковик по картинкам ищет исключительно на TaoBao. Последовательность поиска аналогична предыдущим примерам. Отдаём поисковику файл (1) или ссылку (2) на него. Загружаемый файл должен быть размером не менее 200 на 200 точек и не больше 5 Мб.
На следующем шаге конкретизируем категорию товара. В нашем случае лучше всего подходит «Разное».
Первый же результат поиска точно определяет искомый товар. Особенность конкретно этого поисковика в том, что все покупки на TaoBao предлагается совершать через этот же сайт, являющийся посредническим.
5. Roowl.com.
Roowl представляет собой визуальный поисковик по товарам на Aliexpress. Попробуем найти эти же самые часы. Копируем ссылку (1) на картинку или загружаем (2) её, после чего нажимаем на «Поиск».
Результат получился даже ещё более точным, чем поиск по TaoBao. Ссылки ведут сразу на сайт торговой площадки, где можно сделать покупку.
6. Tataosou.com.
Tataosou является хорошим поисковиком по фотографиям на TaoBao. По каким-то причинам этот поисковик ищет только по одежде, но не по гаджетам, поэтому для проверки его работы воспользуемся фотографией такого простого кардигана.
Интерфейс поисковика исключительно на китайском языке, поэтому в случае затруднений пользуйтесь системами онлайн-перевода. Чтобы начать поиск, необходимо загрузить фотографию, для чего кликнуть по иконке с фотоаппаратом. После загрузки изображения, нажимаем на красную кнопку рядом.
Самое сложное — правильно выбрать категорию. Сверху расположены категории женской одежды (1), а снизу мужской (2). Посмотреть значения других иероглифов, можно в любом онлайн-переводчике.
Результат поиска достаточно точен. Кроме того, имеется возможность сравнить цену на этот товар у разных продавцов и сразу перейти к заказу.
Таким образом, все перечисленные поисковики товаров по их изображениям справились со своей задачей, что лишний раз демонстрирует, что такой способ поиска будет отличным помощником для любого любителя совершать покупки в зарубежных интернет-магазинах.
Попробуйте сами найти товар по фотографии, чтобы убедиться как эффективно это работает!
frenzyshopper.ru
Sarafan — сервис для поиска одежды по фото в Instagram — Трибуна на vc.ru
Автоматически распознает модели и соотносит их с товарами в интернет-магазинах.
Меня зовут Андрей Корхов, мне 32 года. Я руковожу компанией разработки «Анетика», и мы с командой разработали новый проект. Sarafan — это платформа для монетизации своего Instagram-аккаунта с помощью нейросетей и технологий компьютерного зрения.
При просмотре фотографий популярных блогеров многие подписчики задаются вопросом, где найти и купить такую же одежду или аксессуары. Sarafan дает такую возможность. Подписчики кликают на представленную в описанию к фото ссылку, а блогер получает деньги за переход от каждого уникального подписчика.
Одежда и аксессуары распознаются автоматически с помощью технологий нейросетей, машинного обучения, больших данных и алгоритмов компьютерного зрения. Распознанные образы автоматически сопоставляются с товарами из различных монобрендовых магазинов.
Примеры того, как это работает: polypopopoly, lerikakufterina, rina_belova_msk.
Нашим сервисом уже пользуются около 300 активных блогеров. Во-первых, мы предлагаем простой способ заработать, просто публикуя фотографии. Во-вторых, мы в основном ориентируемся на блогеров, у которых от 2 до 20 тысяч подписчиков, — для них наш сервис единственный способ получить деньги при помощи Instagram.
Одна из возможностей взаимодействия сразу с большим количеством брендов — партнёрство. В нашем случае — с eSolutions (входит в Otto Group в России). Компания работает со многими брендами по фулфилмент-модели, в том числе осуществляя маркетинговое сопровождение. Такое сотрудничество помогло нам получить первый пул брендов для работы по CPC-модели.
Преимущества для брендов
- Подключаясь к партнерской программе Sarafan, монобрендовые магазины сразу же начинают привлекать целевой трафик в свой магазин.
- Бренду не требуется производить никаких технических интеграций. Наши технологии сами распознают одежду на фотографиях и сопоставляют её с ассортиментом магазина.
- Оплата только за уникальные переходы. Прямая реклама не дает гарантий эффективности — у блогера может быть больше ботов, чем реальных подписчиков.
Монетизация
Мы работаем по CPC-модели (cost per click), 50% отдаем блогеру. Сегодня у нас девять платящих брендов.
Мы начали развивать проект с конца 2015 года — то есть ещё задолго до бума нейросетей. Само решение мы долго совершенствовали и полировали, сделав его идеальным именно для той сферы, для которой оно предназначено. Многие продукты конкурентов универсальны, что не позволяет им учитывать особенности, которые предусмотрены в нашем сервисе.
Мы выиграли грант Microsoft BizSpark на $120 тысяч. Компания также помогает нам с развитием и выходом на другие рынки. Сегодня проект развивается стабильно и очень динамично — и по трафику, и по выручке.
На начальных этапах нам удалось привлечь инвестиции первого раунда от фонда the Untitled. Сейчас мы работаем над привлечением следующего инвестиционного раунда для более быстрого масштабирования. Мы понимаем, что должны быстро расти, потому что, если это сделаем не мы, то кто-нибудь другой.
Следующий наш шаг — развитие контентных медиаресурсов.
#Стартапы
vc.ru
распознавание одежды на фотографии с помощью мобильного приложения / Anetika corporate blog / Habr
Не так давно мы решили сделать проект, который позволял бы искать одежду в различных интернет-магазинах по фотографии (картинке). Идея проста — пользователь загружает изображение (фото), выделяет интересующую его область (футболку, штаны и т.п.), указывает (опционально) уточняющие параметры (пол, размер и т.п.), и система ищет похожую одежду в наших каталогах, сортируя ее по степени схожести с оригиналом.Сама идея не то что бы новая, но качественно никем не реализованная. На рынке уже несколько лет есть проект www.snapfashion.co.uk, но релевантность его поиска очень низкая, подбор происходит в основном по определению цвета изображения. Например, красное платье он сможет найти, но платье с определенным фасоном или рисунком уже нет. Аудитория этого проекта, к слову, не растет, мы это связываем с тем, что поиск определенно низкой релевантности и, по сути, ничем не отличается, если вы выберете на сайте магазина цвет при поиске по их каталогу.
В 2013 году появился проект www.asap54.com, и здесь поиск чуть лучше. Упор стоит на цвет и некоторые небольшие опции, указываемые вручную из специального каталога (короткое платье, длинное платье, платье средней длинны). Этот проект, столкнувшись с трудностями визуального поиска, слегка завернул в сторону социальных сетей, где модники могут делиться своими «луками» в одежде, из «шазама для одежды» в «инстаграм для модников».
Несмотря на то, что проекты в этой области существуют, определенно остается непокрытой потребность поиска по картинке, очень актуальная сегодня. И решение данной проблемы созданием мобильного приложения, как это сделали SnapFashion и Asap54, наиболее отвечает тенденциям e-commerce рынка: по различным прогнозам доля мобильных продаж в США с 11% в 2013 году может вырасти да 25-50% в 2017. Такой стремительный рост мобильной торговли предвещает и рост популярности самых разных приложений, помогающих совершать покупки. И скорее всего магазины будут сами вкладываться в разработку, продвижение подобных приложений, а также активно сотрудничать с ними.
Проанализировав конкурентов, мы решили, что нужно попробовать самим разобраться с этой темой и запустили проект Sarafan www.getsarafan.com.
Фирменный стиль изначально хотели сделать ярким. Проработали множество вариантов:
В итоге остановились на стиле с яркими красками.
Для старта выбрали клиент под iOS (под iPhone). Дизайн в виде красок, работает через Rest-сервис, на главном экране приложения выбор: сделать фотографию или выбрать из галереи.
Это, пожалуй, было самым простым из всего проекта. А тем временем на передовой backend-разработки все складывалось не так радужно. И вот история наших поисков: что мы делали и к чему пришли.
Визуальный поиск
Нами было опробовано несколько подходов, но ни один из них не дал результатов, которые позволили бы сделать высокорелевантный поиск. В этой статье мы расскажем, что попробовали, и что и как сработало на разных данных. Надеемся, что данный опыт окажется полезным всем читателям.
Итак, главная проблема нашего поиска – это так называемый семантический разрыв (semantic gap). Т.е. разница между тем, какие изображения (в данном случае изображения одежды) считают похожими человек и машина. Например, человек хочет найти черную футболку с коротким рукавом:
Человек без труда скажет, что в списке ниже это второе изображение. Однако машина, скорее всего, выберет изображение 3, на котором женская футболка, но сцена имеет очень похожую конфигурацию и одинаковое цветовое распределение.
Человек ожидает, что результатом поиска будут позиции с тем же типом (футболка, майка, джисы …), приблизительно того же фасона и приблизительно с тем же цветовым распределением (цвет, текстура или рисунок). Но на практике обеспечить выполнение всех трех условий оказалось проблематично.
Начнем с самого простого, изображение со схожим цветом. Для сравнения изображений по цвету чаще всего используют метод цветовых гистограмм. Идея метода цветовых гистограмм для сравнения изображений сводится к следующему. Все множество цветов разбивается на набор непересекающихся, полностью покрывающих его подмножеств. Для изображения формируется гистограмма, отражающая долю каждого подмножества цветов в цветовой гамме изображения. Для сравнения гистограмм вводится понятие расстояния между ними. Существует много разных методов формирования цветовых подмножеств. В нашем случае их разумно было бы формировать из нашего каталога изображений. Однако даже для такого простого сравнения требуется выполнения следующих условий:
— Изображения в каталоге должны содержать одну только вещь на легко отделимом фоне;
— Нам нужно эффективно различать фон и интересующую нас область одежды на фотографиях пользователя.
На практике первое условие не выполняется никогда. О попытках решить эту проблему мы расскажем позже. Со вторым условием сравнительно проще, т.к. выделение интересующей области на изображении пользователя происходит с его активным участием. Например, существует довольно эффективный алгоритм удаления фона – GrabCut (http://en.wikipedia.org/wiki/GrabCut). Мы исходили из соображения, что интересующая нас область на изображении находится ближе к центру обведенной пользователем области, чем к ее границе и фон в данной области изображения будет относительно однородным по цвету. С использованием GrabCut и некоторых эвристик, удалось получить алгоритм, работающий корректно в большинстве случаев.
Теперь о выделении интересующей нас области на изображениях каталога. Первое что приходит в голову – сегментировать изображение по цвету. Для этого подойдет например алгоритм watershed (http://en.wikipedia.org/wiki/Watershed_(image_processing)).
Однако изображение красной юбки в каталоге может иметь несколько вариантов:
Если в первом и втором случае сегментировать интересующую область сравнительно легко, то в 3-м случае в мы выделим еще и пиджак. Для более сложных случаев этот метод не сработает, например:
Стоит отметить, что задача сегментации изображений полностью не решена. Т.е. не существует методов, которые позволяют выделить интересующую область одним фрагментом, как это может сделать человек:
Вместо этого изображение разбивается на суперпиксели (superpixel), тут стоит посмотреть в сторону алгоритмов n-cuts и turbopixel.
В дальнейшем используют их некоторое сочетание. Например, задача поиска и локализации объекта сводится к поиску сочетания суперпикселей, принадлежащих объекту, вместо поиска ограничивающего прямоугольника.
Итак, задача разметки изображений каталога свелась к поиску сочетания суперпикселей, которые соответствуют вещи данного типа. Это уже задача машинного обучения. Идея была следующая, взять множество размеченных вручную изображений, обучить на ней классификатор и классифицировать различные области сегментированного изображения. Область с максимальным откликом считать интересующей нас областью. Но тут надо снова определиться, как сравнивать изображения, т.к. простое сравнение по цвету гарантированно не сработает. Придется сравнивать форму или некий образ сцены. Как казалось на тот момент, для этих целей подойдет дескриптор gist (http://people.csail.mit.edu/torralba/code/spatialenvelope/). Дескриптор gist – это некая гистограмма распределения краев в изображении. Изображение делится на равные части сеткой какого-либо размера, в каждой ячейке считается и дискретизируется распределение краев разной ориентации и разного размера. Полученные в результате n-мерные вектора мы можем сравнивать.
Была создана обучающая выборка, вручную было размечено множество изображений разных классов (около 10). Но, к сожалению, даже при кросс-валидации не удалось добиться точности классификации выше 50%, меняя параметры алгоритма. Частично виной тому является то, что рубашка с точки зрения распределения краев будет мало чем отличаться от куртки, частично то, что обучающая выборка была недостаточно большая (обычно gist применяется для поиска по очень большим коллекциям изображений), частично то, что для данной задачи он, возможно, вообще не применим.
Еще один метод сравнения изображений – сравнение локальных особенностей. Его идея в следующем – выделить значимые точки на изображениях (локальные особенности), каким-либо образом описать окрестности данных точек и сравнивать количество совпадений особенностей у двух изображений. В качестве дескриптора использовали SIFT. Но сравнение локальных особенностей так же дало плохие результаты, большей частью из-за того, что данный метод предназначен для сравнения изображений одной и той же сцены, снятой с разного ракурса.
Таким образом, не получилось разметить изображения из каталога. Поиск по неразмеченным изображениям с использованием вышеописанных методов иногда давал приблизительно похожие результаты, но в большинстве случаев в результате не было ничего похожего с точки зрения человека.
Когда стало понятно, что разметить каталог у нас не получилось, мы попытались сделать классификатор для изображений пользователя, т.е. автоматически определять тип вещи которую хотел найти пользователь (футболка, джинсы и т.п.). Главная проблема – это отсутствие обучающей выборки. Изображения каталога не подходят, во-первых из-за того что они остались не размечены, а во-вторых они представлены в довольно ограниченном наборе пространственных представлений и нет гарантии что пользователь предоставит изображения в похожем представлении. Чтобы получить большой набор пространственных представлений для вещи мы снимали человека в этой вещи на видео, затем вырезали вещь и строили обучающую выборку по набору кадров. При этом вещь была контрастная и легко отделялась от фона. 
К сожалению, этот подход быстро отклонили, когда стало понятно, сколько видео нужно снять и обработать, чтобы охватить все возможные фасоны одежды.
Компьютерное зрение — это очень обширный сегмент, но нам (пока что) не удалось прийти к желаемому результату с высокорелевантным поиском. Мы не хотим сворачивать в сторону, добавляя дополнительные побочные функции, а будем биться, создавая поисковый инструмент. Мы будем рады услышать любые советы и комментарии.
habr.com