В приложении Яндекса на Android и iOS появилась умная камера — да-да, новая
Наверное, многие из нас переводили тексты с помощью камеры в переводчике Яндекса и искали что-то по картинкам (например, именно с помощью такого поиска в Яндексе мне удалось найти части коллекционного сервиза — ни Avito, ни ручной поиск не справились). Но Яндекс пошёл дальше, развил функциональность и выкатил новый релиз — с непередаваемыми нотками коммерции.
Камера реализована на стыке технологий перевода, поиска и компьютерного зрения — теперь она может делать несколько важных и нужных вещей:
- распознавать и искать предметы в поиске;
- распознавать предметы и ставить метку цены и ссылку на магазин, где товар можно купить;
- переводить тексты (а главное, вывески, этикетки, чеки, объявления и т.д.);
- сканировать документы и имитировать типы скана (просто фото, цветной скан, чёрно-белый скан).
Проверяем поиск товаров и их цены. Возьмём что-то местное. Всё отлично: цена адекватная (очевидно, за упаковку 6 шт.), ссылка на очевидный Яндекс.Маркет. Но вот что мне непонятно уже сейчас: эта бутылка точно есть в Яндекс.Лавке (и там куплена) — почему приложение не даёт ссылку на Лавку, в которой гораздо логичнее купить бутылку минералки, чем на Маркете?
Проверим на парфюме без коробочки. Итак, флакон с чёткой надписью камера распознала и цену нашла, а вот старый Shalimar с нечёткой надписью, но очень характерной уникальной формой флакона камера смогла найти только по поиску, без сделанного фото (то есть в режиме наведения) парфюм она не обработала. Ну и опять удивление: почему выбран не топовый сетевой магазин, а какая-то не внушающая особого доверия площадка?
Ещё интересное наблюдение: проверим схожие товары, например, творог 200 грамм, 9% и 12%. Камера в обоих случаях распознаёт товар, но не угадывает, ни вес, ни жирность (точнее, в первом случае угадывает жирность, во втором — вес). И опять же, ссылка на не самый популярный магазин (интересно, со временем будут подкидывать похожие товары из своих и партнёрских маркетов?).
Растения наведением камера не распознаёт, только по фото:
Сканер документов аккуратный, отображает и цветной, и чёрно-белый формат (кстати, иногда просят именно ч/б скан, а не фото и приходилось креативить в фотошопе).
Ну и напоследок перевод — он стал гораздо приятнее и удобнее, чем был у Яндекса раньше: больше нет дурацких жёлтых рамок и блоков. Однако сам перевод и работа с некоторыми фактурами упаковки — такое себе. Пока искала пример для перевода, камера при наведении перевела клавиатуру — так и оставим.
Что можно сказать об умной камере от Яндекса? Хороший, удобный инструмент, кейсов использования и коммерческих вариантов работы с ней — море. Вот мелочь, а хочется, чтобы Яндекс довёл идею до конца, потому что именно из таких приятных мелочей складываются пользовательские впечатления.
Умная камера «Яндекса» мгновенно переводит текст и распознаёт предметы
Разработчики «Яндекса» добавили в официальное приложение функцию умной камеры. С её помощью пользователи могут эффективно использовать технологии компьютерного зрения, машинного перевода и поиска.
В режиме реального времени «Яндекс» распознаёт и ищет предметы, которые попадают в объектив смартфона. Кроме того, всего в один тап пользователи могут переводить фрагменты текста с отсканированных документов. Для этого достаточно навести камеру смартфона на любой документ.
Примечательно, что при поиске предметов приложение «Яндекс» включает в поисковую выдачу информацию об их стоимости, а также приводит магазины, в которых они продаются. Новая функция особенно полезна для поиска предметов и аксессуаров, имя или модель которых неизвестны. С помощью приложения также можно узнать точное имя памятника архитектуры.
Приложение поможет перевести надпись на незнакомом языке. Если направить на надпись камеру, «Яндекс» тут же переведёт её с помощью «Яндекс.Переводчика». Переведённый текст появится поверх изображения. Это удобно, если нужно понять, что написано на этикетке или, скажем, указателе. В приложении также есть сканер: он позволяет сделать цифровую копию любого документа, будь то паспорт или диплом.
В основе умной камеры лежат технологии компьютерного зрения. С их помощью камера выделяет на изображении отдельные объекты и распознаёт, что перед ней — стол, стул или комнатное растение. Для этого используются нейронные сети, обученные на огромном числе примеров. Также технологии компьютерного зрения позволяют найти и распознать надпись на картинке, которую нужно перевести.
Умная камера доступна в приложении «Яндекс» для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.
Сколько калорий у вас на тарелке, что за марка машины и как решить уравнение – «Яндекс» обещает определять это по фото
В приложении «Яндекса» обновилась «Умная камера». Раньше она только определяла товары на фото, а теперь должна облегчать жизнь школьникам и зожникам. Но есть сомнения.
Волшебная камера
Мы рассказывали об этой функции, когда она только появилась. Недавно функционал камеры значительно расширился: теперь по фото можно определить калорийность еды и проверить стоимость машины соседа.
Должна определять калорийность блюд
Приложение должно определять калорийность блюд. Вот что оно делает в реальности.
Во-первых, определяет, что за продукт находится на фото, и показывает его калорийность на 100 гр – определить вес продукта камера, естественно, не может.
Функция работает шустро: камера определяет, что перед ней, за секунды. Правда, не всегда корректно. Например, может спутать апельсин с мандарином.
Думаем, по фотографии и человек спутает два фрукта.
Калорийность каждого блюда в отдельности определить нельзя. «Камера» распознает, что за блюдо перед ней (у нас тут торт «Захер»), но калорийность сообщаться отказывается – просто ссылается на сайты с рецептами, каждый из которых сообщает свою калорийность. А вот КБЖУ клубники показало сходу.
Калорийность полноценного обеда в приложении тоже не рассчитать. Оно просто сообщает: «Кажется, фотография похожа на завтрак». При этом на фотографии появляются белые точки. По клику на них открывается информация о конкретном блюде со ссылками на сайты, где указана примерная калорийность этих блюд.
С ходу определять модель машины
Вот что «Яндекс.Камера» делает действительно хорошо, так это определяет модель автомобиля, даже если он находится далеко от пользователя. Приложение сразу же показывает характеристики машины и добавляет характеристики от себя: «проста в управлении»,«экономична» и так далее.
Решать уравнения
Еще приложение поможет решать уравнения – так заявляет разработчик.
По факту, когда фотографируешь пример, встроенный поиск просто предлагает сайты для решения уравнения и обучающие видео. При этом есть сложности с распознаванием почерка:
Реакция в интернете
Новую функцию «Яндекса» пользователи уже назвали «шазамом для еды».
Может ли «Яндекс.Камера» составить конкуренцию программам, которые подсчитывают калорийность блюд и реально выполняют домашку за школьников? Нет. Сделает ли она жизнь пользователей чуть легче? Скорее всего, да. Сделает ли она жизнь веселее? Определенно.
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Яндекс Камера
Приложение для распознавания объектов окружающего мира. Утилита с помощью камеры смартфона в режиме реального времени фиксирует предметы и запускает поиск в сети.
Яндекс Камера – Android приложение от популярного российского браузера. Утилита позволяет с помощью камеры определять и искать предметы в сети.
Режимы
Приложение работает по принципу Google Lens. Утилита использует возможности искусственного интеллекта для распознавания объектов окружающего мира. Умная камера имеет четыре режима работы. Переводчик позволяет получить текст на родном языке в режиме реального времени, однако данные об иностранной речи необходимо загрузить дополнительно.
Режим поиска по фото требует сфотографировать объект и автоматически добавить изображение в Яндекс Браузер. Кроме того, утилита в режиме реального времени старается обнаружить объявления или записи о предмете, на который наведена камера. В случае фиксирования объекта на экране появляется желтая круглая метка и ссылка на источник.
В утилите имеется встроенный сканер, позволяющий получить электронную копию документа. Достаточно навести на него камеру и запустить обработку.
Режим Поэзия предлагает развлекательный и образовательный контент. При наведении камеры на объекты окружающего миры утилита начинает поиск стихов с их упоминанием.
Установка
Приложение не представлено отдельным софтом. Утилита выступает дополнением к основной программе Яндекс. Чтобы воспользоваться распознаванием предметов, необходимо открыть вкладку Маркет и найти умную камеру. При установке важно предоставить разрешение снимать фото и видео, а также доступ к мультимедиа и файлам.