Что такое Bixby Vision и для чего он нужен?
Bixby Vision — это функция, встроенная в некоторые модели Samsung Galaxy, которая дополняет приложение камеры искусственным интеллектом . Используя камеру телефона, вы можете использовать Bixby Vision для определения мест и объектов, которые может видеть камера, покупки продуктов, которые вы фотографируете, перевода текста и многого другого.
Что такое Bixby Vision?
Bixby Vision — это сочетание нескольких смежных технологий. Так как он предлагает принять меры в отношении того, что программное обеспечение обнаруживает в камере, он является частично личным помощником . Фактически, это компонент обработки изображений Биксби , личного помощника Samsung, который должен работать почти так же, как Apple Siri и Google Assistant от Google .
Это также частично приложение дополненной реальности. Дополненная реальность накладывает графику и информацию на реальные образы. В случае с Bixby Vision, Bixby идентифицирует вещи на экране камеры и может изменять их внешний вид (например, когда он переводит текст на иностранном языке) или параметры наложения, над которыми вы можете действовать, например, покупать предмет, на который указывает камера.
За кулисами все это возможно, потому что Bixby Vision основана на платформе машинного обучения искусственного интеллекта .
Как начать пользоваться приложением Bixby Vision
Bixby Vision полностью интегрирован в приложение Camera. В общем, чтобы использовать Bixby Vision:
Запустите приложение « Камера» .
Нажмите Bixby Vision в левом верхнем углу экрана.
Направьте камеру на объект. Bixby Vision попытается идентифицировать его, и через мгновение появится одна или несколько карточек с подсказкой, что вы можете сделать с объектом или какую дополнительную информацию может отобразить телефон. Просмотрите и нажмите на любые карты, которые вам нравятся.
Для некоторых функций Bixby вам нужно сделать дополнительный шаг, сначала запустив соответствующее приложение Bixby Vision.
Что вы можете сделать с Bixby Vision
Bixby Vision включает в себя множество различных возможностей, и в целом, программное обеспечение достаточно умное, чтобы показывать соответствующие параметры для любого объекта, на который вы указываете телефон. Вот список основных возможностей Bixby Vision и как их найти:
Используйте Bixby Vision для извлечения текста из изображений
Bixby Vision работает как сканер и программное обеспечение для оптического распознавания символов . Наведите камеру на какой-нибудь текст, а затем нажмите « Извлечь» . Он будет скопирован в буфер обмена, где вы можете отредактировать его или просто скопировать и вставить в другой документ.
Используйте Bixby Vision, чтобы делать покупки в Amazon
Когда вы наводите камеру на объект, Bixby Vision предложит открыть приложение Amazon Assistant и найти этот продукт (или аналогичный) для продажи. Эта функция работает лучше всего, когда вы направляете камеру на продукт в оригинальной розничной упаковке.
Найти информацию о местах с Bixby Vision
Нажмите на значок « Поместить» в правом нижнем углу окна (он имеет форму булавки карты). Переместите телефон, указывая в разных направлениях. Bixby Vision пытается найти информацию о местоположении и отображает ее в режиме дополненной реальности в виде наложений по всему экрану.
Найти похожие изображения с Bixby Vision
Наведите камеру на любой объект и нажмите « Изображения» . Bixby Vision отображает любые похожие изображения, которые он нашел в Интернете.
Перевести с Bixby Vision
Bixby Vision может переводить текст на иностранном языке и накладывать текст на английском языке поверх иностранных символов на дисплее камеры. Чтобы перевести текст, нажмите кнопку « Перевести» в левом нижнем углу окна и наведите на телефон текст, который вы хотите перевести. Не забудьте держать телефон устойчиво для достижения наилучших результатов.
Используйте Bixby Vision для поиска вина
В него встроен специальный инструмент поиска вина. Просто наведите камеру на этикетку бутылки с вином, а затем нажмите « Поиск» .
Дополнительные визуальные приложения
В нижней части экрана нажмите « Приложения» .
Вы увидите страницу «Воспроизведение и исследование», в которой перечислены несколько дополнительных приложений Bixby Vision. Это все автономные переживания, которые используют искусственный интеллект и зрение для выполнения специальных функций. Например, « Домашний декор» — это приложение AR, которое позволяет визуализировать расстановку мебели вокруг комнаты в вашем доме. Макияж использует селфи на передней панели, чтобы показать вам, как выглядит ваше лицо с различными косметическими средствами. В этом разделе есть несколько приложений для зрения, с которыми можно поэкспериментировать.
Настроит смартфон и поможет с переводом: что умеет Bixby?
Умный ассистент Bixby от Samsung не разговаривает на русском языке, однако он имеет множество полезных функций, способных изменить привычное взаимодействие со смартфоном. Одна из самых интересных — сценарии для запуска приложений и изменения настроек гаджетов в указанное время или в нужном месте. А камера Bixby поможет определить, что находится перед вами. Рассказываем, как это работает.
Что такое сценарии Bixby?
Это способ упростить и автоматизировать многие рутинные задачи на своём гаджете. Принцип простой: владелец смартфона должен указать, какие условия (или набор условий) должны выполняться, чтобы система запустила определённую команду.
Функцию поддерживает большинство актуальных смартфонов Samsung, а также ряд планшетов и аксессуаров компании. Чтобы включить сценарии Bixby, надо зайти в «Настройки», выбрать «Дополнительные возможности» и перейти в соответствующий раздел. Также можно зайти в панель быстрых настроек и выбрать соответствующую иконку.
Во время выполнения сценария на экране смартфона будет отображаться уведомление — это позволяет при необходимости остановить автоматизацию одним кликом.
Глубокая персонализация смартфона
На главном экране настроек сценариев Bixby доступно несколько вариантов под различные события. Самый очевидный — автоматизация после утреннего подъёма на работу. Пользователь задаёт время, после которого включаются разные функции. К примеру, в семь утра начинает играть любимый плейлист, увеличивается яркость экрана, включается Always-on-Display и запускается приложение погоды.
Если в квартире есть устройства умного дома, которые подключены к системе SmartThings, их тоже можно отрегулировать. Допустим, после звонка будильника в комнате включится свет, на кухне начнёт работать телевизор и запустится увлажнитель воздуха.
Другой популярный сценарий связан с отходом ко сну. После полуночи смартфон уменьшит яркость экрана, активирует режим комфорта для глаз, а уведомления будут приходить без звука. Можно добавить статус состояния зарядки — если гаджет не подключён к розетке ночью, система автоматически включит режим энергосбережения, чтобы утром батарея не оказалась разряженной.
Наиболее интересные автоматизации связаны с определением геолокации. В сценариях Bixby нужно указать точку на карте и радиус, выбрать вариант «Прибытие» или «Отбытие» по отношению к этому месту и задать различные действия.
Допустим, владелец смартфона приходит на работу. Его гаджет при этом переходит в беззвучный режим, отключает Wi-Fi и Bluetooth, активируя синхронизацию с почтовым сервисом.
Любители слушать музыку в наушниках с ANC в общественном транспорте могут настроить сценарии, при которых не надо делать лишние нажатия. К примеру, указать на карте расположение станции метро, при подходе к которой система запустит активное шумоподавление. Добавляем координаты другой станции и очерчиваем радиус — после выхода из него шумодав будет выключен. Таким образом при ежедневных поездках в подземке будут отсекаться лишние шумы. А на улице гарнитура продолжит воспроизводить треки в обычном режиме, чтобы не изолироваться полностью от внешнего мира.
Тем, кто часто ездит на машине, понравятся автомобильные сценарии. В Bixby можно добавить автоматизацию, при которой смартфон подключается к бортовой мультимедийной системе и запускает ряд действий. Самые очевидные варианты — отключение уведомлений, которые порой мешают вождению, активация чтения уведомлений вслух и увеличение шрифта, чтобы проще было отслеживать информацию с экрана гаджета. Сюда же стоит добавить запуск навигатора и проигрывание любимого плейлиста.
Ещё одна полезная опция — запуск автоматизации при занятиях спортом. В сценариях Bixby можно выбрать, при каких тренировках включатся те или иные опции. Во время утренней пробежки в парке запустится музыкальный плейлист, а на теннисном корте активируется беззвучный режим, Wi-Fi и Bluetooth будут отключены для экономии заряда батареи.
Камера Bixby Vision
Bixby Vision — это опция, встроенная в ряд смартфонов Samsung. Она дополняет камеру гаджетов искусственным интеллектом. Можно навести объектив устройства на любой предмет, чтобы получить о нём информацию. Для запуска функции достаточно зайти в приложение для съёмки, затем в раздел «Ещё» и выбрать ярлык «Камера Bixby».
У Bixby Vision есть множество полезных возможностей. Функция может работать как сканер для распознавания слов — достаточно навести камеру на любой текст, и умный софт позволит скопировать выбранные предложения в буфер обмена. Так что тратить время на перепечатывание необходимой информации больше не надо. Другая опция позволяет в режиме реального времени переводить надписи на иностранных языках — перевод накладывается поверх зарубежных слов на экране гаджета.
Если навести камеру смартфона на здание или любой предмет, камера Bixby найдёт все данные о нём в интернете — от названия объекта до результатов поиска по изображению. Понравилась какая-то вещь и хочется её купить? Можно воспользоваться инструментом для поиска товаров: сканируем предмет камерой и умная система показывает, где его выгоднее приобрести. Точно так же работает поиск вина — после того, как этикетка на бутылке попадает в объектив, опция выдаёт всю информацию о напитке.
Разработчики уделили большое внимание тому, чтобы сделать смартфон полезнее для пользователей с нарушениями зрения. Камера Bixby с помощью искусственного интеллекта умеет описывать происходящее перед ней. Например, телефон голосом проговаривает, что в объектив попала девушка, которая сидит на стуле и держит чашку. В другом случае она «понимает», что младенец лежит в кровати с игрушкой или собака сидит на газоне.
Функция может рассказывать, как называются предметы в кадре: например, кружка, ножницы, коробка и так далее. Также камера умеет читать вслух текст и определять цвет объектов. Точность распознавания во всех режимах приятно удивляет — ошибок в бытовых вещах практически нет.
Ассистент Bixby — помощник в смартфонах Samsung, делающий жизнь комфортнее. После настройки сценариев под пользовательские привычки гаджет начнёт автоматически запускать необходимые параметры и софт. В дальнейшем это сэкономит много времени — достаточно один раз потратить несколько минут на регулировки. А камера Bixby заменит одновременно сканер текста, синхронный переводчик с иностранных языков и даже гида.
Волшебная камера Bixby Vision — скрытые возможности смартфона Samsung Galaxy
Некоторые технологии облегчают нашу повседневную жизнь, но бывают такие функции в смартфоне, которыми пользуешься изредка. По первости заглянешь в меню, изучишь беглым взглядом, что предлагают, и оставишь на потом. Понимания, что нужно открывать именно это приложение, чтобы решить какие-то задачи, не возникает вовсе. И так зачастую происходит с Bixby Vision, очень часто владельцы флагманов Samsung Galaxy не подозревают, какое чудо спрятано в их устройствах.
Интеллектуальная камера умеет сканировать вывески и читать тексты, искать товары и подбирать похожие картинки, но не ограничивается этим. Пользуюсь приложением более пяти лет и могу сказать, что оно стало надежным помощником в повседневных делах. Например, я читаю книгу Дэвида Эдмондса “Убили бы вы толстяка?”, захотел найти другие книги этого автора. Обычный путь для решения этой задачи выглядит так: вы ищете внутри книги имя автора на английском языке, вбиваете в поиск и получаете результат. С Bixby Vision я просто навожу на обложку камеру и получаю висящий в воздухе подстрочник как для названия, так и для имени автора. Тут же можно поискать его в сети.
Для предметов, которые не имеют никаких обозначений, можно осуществлять ровно такой же поиск, просто фотографируете, и далее у вас есть возможность увидеть картинки с аналогичными вещами. Допустим, что я не знаю, как называется чехол для Galaxy S22, яркий и молодежный. Фото, а дальше поиск мне подсказывает, для каких моделей он существует и где его можно найти.
И таких примеров можно привести десятки, вы получаете возможность искать с помощью картинок то, что привлекает ваше внимание. Также задействуется Pinterest, что позволяет быстро найти подборки сходных вещей или графических идей! Для людей творческих это незаменимая штука.
Но давайте вернемся к переводу с одного языка на другой, в памяти телефона их десятки, тут полное раздолье. Вы можете сфотографировать страницу книги и тут же получить перевод.
Мой приятель хорошо говорит и пишет на английском языке. При общении с англичанами он ленится цитировать книги, так как его перевод всегда далек от оригинала и выдает то, что его сделал иностранец. Он говорит об этом следующее: “Меня стали раздражать похвалы о том, насколько хорошо я знаю язык, от британца это звучит обычно как издевка, показывающая, насколько я далек от правильного использования оборотов и идиом”. Используя Bixby Vision, он экономит время, за считанные секунды “сканирует” камерой нужный кусочек книги, распознает его и тут же переводит. А так как задействованы большие данные, перевод зачастую берется из оригинала, либо он максимально близок к нему. Попробуйте как-нибудь перевести Шекспира, возьмите любое произведение. Вы удивитесь, что алгоритм не просто переводит текст, как любой иной, а ищет оригинал и подставляет правильные строки, написанные великим автором. Для таких произведений это оправданно, но перевод художеств вашего бухгалтера, конечно же, будет идти по другим алгоритмам, что вполне объяснимо.
В магазине вы можете сканировать вино, даже если у вас нет аккаунта Vivino и вы не хотите его заводить, но главное, что вы можете получить подсказку, сделать выбор, о котором, скорее всего, не пожалеете.
Для людей с ограниченными возможностями есть раздел специальных настроек. В нем можно включить описание того, что камера видит перед собой. Поставил чашку на книгу, сделал фотографию, через несколько секунд Bixby Vision говорит: “Чашка на книге”. Большинство привычных предметов определяются безо всяких проблем.
Можно не делать фотографию, а просто включить такой режим, и тогда камера начнет говорить обо всем, что попадет в ее поле зрения. Вы крутите телефон в разные стороны, а он озвучивает предметы вслух.
Так даже можно читать тексты! Открываете книгу, на ощупь наводите камеру, и она начинает зачитывать написанное. Минус только в том, что голос не очень приятный, читает робот. Он зачитывает все, что увидел перед собой. Но в целом можно сказать, что распознавание работает хорошо и можно приспособиться к такому режиму работы, особенно находясь где-то в городе, когда человеку нужно “посмотреть” на разные книги на полках.
И ровно так же можно определять цвета вокруг себя, наводите камеру, и она озвучивает, какие цвета на предметах видит, но сами предметы не описывает. Думаю, в будущем можно будет получать подсказку о том, что перед вами книга с красной обложкой, чашка синего цвета и так далее. Очевидно, что развитие идет в этом направлении.
В настройках есть возможность убрать те или иные пункты, они не будут отображаться в меню, если вам не нужны, что удобно.
Для меня как человека, постоянно работающего с различными текстами, их распознавание в Bixby Vision, возможность тут же получить электронную копию и отправить куда-то становятся палочкой-выручалочкой. Отличная опция, которую сложно переоценить. То, что когда-то предполагало много времени, потраченного на набор на клавиатуре, теперь делается в пару кликов.
По отдельности функции Bixby-камеры, возможно, не нужны. Кто-то не интересуется вином, кто-то не ищет по фотографиям предметы, а кто-то сиднем сидит дома и никуда носа не высовывает. Но все вместе дает инструмент, который пригодится современному и активному человеку. Думаю, что именно такие люди в массе своей пользуются флагманами от Samsung, ведь это осознанная покупка. Приятно, что в Samsung не стали пытаться изобрести велосипед и сделали интеграцию Bixby Vision с уже существующими, популярными социальными сетями и сервисами, увязали в одной оболочке все то, что нравится людям. Отличная камера от Samsung плюс популярные сервисы – это беспроигрышная связка.
В моем окружении много тех, кто приобрел флагманы от Samsung и пользуется камерой в повседневных делах, но крайне немного тех, кто освоил Bixby. Причина в том, что люди просто не добираются до этого пункта, оставляют на потом. Но когда показываешь, как это работает, или люди видят, что ты делаешь на телефоне, они моментально погружаются и начинают пользоваться камерой Bixby. Причина? Она банальна – это удобно и просто, а главное, полезно. Советую и вам попробовать, чтобы у вас сложилось собственное мнение о камере Bixby и о том, что она умеет. Отличный инструмент, дополняющий стандартные возможности смартфонов Samsung Galaxy.
Samsung Bixby: что это и как работает
Многие пользователи, которые недавно приобрели новый смартфон от компании Samsung, обнаружили на нем приложение под названием Bixby. Если вы также столкнулись с этим приложением, то предлагаем ознакомиться с нашей статьей. Здесь вы узнаете, что такое Bixby от Samsung, как оно работает и как им пользоваться.
Что такое Samsung Bixby
Samsung Bixby – это голосовой помощник, который был представлен компанией Samsung весной 2017 года вместе со смартфонами Galaxy S8 и S8+. Фактически, Samsung Bixby является сильно переработанным приложением S Voice, которое предустанавливалось на смартфоны Samsung еще со времен Galaxy S III. Как и S Voice, помощник Samsung Bixby может отвечать на вопросы пользователей, выполнять несложные поручения или искать информацию.
Изначально, данный голосовой помощник был доступен только на смартфонах от компании Samsung, при чем как на новых, так и на старых моделях. Единственное ограничение – версия операционной системы. Для того чтобы установить Бикси на старый смартфон от Samsung, он должен работать под управлением операционной системы Android Nougat или более новой версии Android. Но, позже сфера применения Биксби расширилась, Samsung начала внедрять данного помощника в другую свою технику, например, в умные телевизоры и даже холодильники.
Голосовой помощник Samsung Bixby включает в себя три отдельных компонента, это Home, Voice и Vision. Дальше мы более подробно рассмотрим каждый их этих компонентов.
Bixby Home, Voice и Vision
Bixby Home – это приложение, которое доступно из главного экрана смартфона. Чтобы его открыть нужно провести пальцем вправо по главному экрану или сделать короткое нажатие на кнопку Bixby.
Bixby Home собирает разнообразную информацию, которая может быть интересна пользователю, и отображает ее в виде ленты с вертикальной прокруткой. Основное содержание этой ленты — это унифицированные карточки, которые содержат информацию из различных источников. Пролистывая эту ленту, пользователь может узнать о погоде, своей фитнес-активности, запланированных событиях, установленных будильниках и напоминаниях и т. д.
Ленту Bixby Home можно настроить под собственные потребности. Пользователь может отключить неинтересные карточки или наоборот, закрепить те, которые содержат наиболее актуальную и полезную информацию. Основным источником информации для карточек являются другие приложения Samsung, но Bixby Home может получать данные и со сторонних приложений. Например, есть карточки таких приложений как Spotify, CNN и Flipboard.
Bixby Voice – это приложение, которое запускается с помощью длительного нажатия на кнопку Bixby. Приложение Bixby Voice – это голосовая часть помощника Биксби, что-то вроде Siri, но от Samsung.
С помощью Bixby Voice можно отдавать голосовые команды и общаться с помощником с помощью голоса. Например, можно спросить о прогнозе погоды, попросить отправить текстовое сообщение, набрать номер телефона, изменить настройки или установить напоминание. Также поддерживаются и более сложные команды, в частности, Биксби может запускать приложения в режиме разделенного экрана, редактировать фотографии, напоминать о расположении вашего автомобиля, воспроизводить видео на телевизоре и многое другое. Компания Samsung заявляет, что Биксби может распознать и выполнить более 3000 различных голосовых команд. При этом помощник может взаимодействовать со сторонними приложениями, например, с Facebook, YouTube, Instagram, Uber, Google Maps или Gmail.
Также у Bixby Voice есть возможность общаться с пользователем в «телефоном режиме». Для этого пользователю нужно поднести телефон к уху, так как это делается во время телефонного звонка. Это позволит комфортно взаимодействовать с помощником в публичных местах.
Bixby Vision – это компонент помощника Биксби, который встроен в приложение камеры. Этот компонент использует машинное обучение и базы данных партнеров Samsung для того, чтобы сделать камеру более полезной.
С помощью Bixby Vision можно идентифицировать фотографируемые объекты в режиме реального времени и искать о них информацию в различных интернет-сервисах. Например, для определения фотографируемых достопримечательностей и интересных мест Bixby Vision использует данные сервиса FourSquare.
Также Bixby Vision умеет распознавать QR-коды и переводить текст. Для того чтобы перевести иностранный язык достаточно навести камеру на текст и в поле зрения сразу появится его перевод. Эта функция поддерживает достаточно большой набор языков, поэтому она может быть очень удобной.
Из необычных возможностей Bixby Vision нужно отметить функцию «Макияж». Данная функция использует фронтальную камеру для того, чтобы применить к вашему лицу виртуальный макияж. На данный момент, таким образом можно «примерить» почти всю продукцию производителя косметики Sephora.
Как пользоваться Samsung Bixby
Для того чтобы начать использовать голосовой помощник Биксби можно воспользоваться отдельной кнопкой, которая присутствует на корпусе многих новых моделей от Samsung. Например, такая кнопка есть на Galaxy S8, Galaxy S9, Galaxy S9 Plus, Note 8 и Note 9. Быстрое нажатие на эту кнопку откроет Bixby Home, а более длительное нажатие вызовет Bixby Voice. Кроме этого, Bixby Home можно открыть если провести пальцем слева направо по главному экрану.
При первом открытии Samsung Bixby нужно будет принять пользовательское соглашение и предоставить доступ к своим данным. После этого можно настроить помощника под собственные требования. Для этого откройте Bixby Home, нажмите значок шестеренки в правом верхнем углу и перейдите в «Настройки».