- Функция Guided Vision предоставляет аудиоописания через камеру и Gemini Live.
- Он разработан специально для слепых и слабовидящих людей.
- В нем содержатся инструкции по оформлению, центрированию объектов или перемещению по комнате.
- Оно умеет считывать этикетки, расшифровывать меню и распознавать предметы домашнего обихода.
Использовать камеру телефона, чтобы спросить у Gemini, что находится перед вами, — это не совсем новая функция. Однако Google готовит более специфичную функцию, которая выходит за рамки распознавания объектов: она также предоставляет звуковые подсказки для правильного кадрирования сцены и получить более полезное описание.
Этот инструмент называется Управляемое зрение и является частью Gemini Live. Он разработан для слепых или слабовидящих людей, хотя может быть полезен и для чтения трудноразличимых надписей, ориентирования на карте в условиях недостаточного освещения или распознавания некоторых предметов домашнего обихода.
Однако система Guided Vision не предназначена для замены зрения, вспомогательных технологий для передвижения или здравого смысла пользователя. Искусственный интеллект может неправильно интерпретировать изображение с камеры, поэтому важно понимать как его возможности, так и ограничения.
Что такое управляемое зрение и как оно работает?

Функция Guided Vision — это функция обеспечения доступности, встроенная в данную систему. Gemini Live Он в режиме реального времени анализирует то, что снимает камера телефона, и предоставляет голосовые описания. Пользователь может общаться с ассистентом, задавать вопросы об окружающей обстановке и получать подсказки для правильного определения того, что он хочет увидеть.
Главное отличие от традиционного использования камеры в Gemini Live заключается в следующем: Слуховая ориентация во время кадрированияЕсли объект находится вне кадра, расположен слишком близко или плохо виден, Близнецы могут попросить вас переместить телефон, медленно осмотреть комнату камерой или сфокусироваться на конкретном предмете.
Например, если вы хотите узнать состав продукта, система Guided Vision может предложить вам увеличить изображение этикетки, отодвинуть телефон в сторону или держать камеру неподвижно. Как только изображение станет достаточно четким, система попытается прочитать и описать информацию.
Ответ не обязательно должен ограничиваться общим описанием. Запустив программу в рамках Gemini Live, вы можете выполнить следующие действия: последовательные вопросы Запросить более подробную информацию, уточнить ответ или сосредоточиться на конкретной части сцены.
Что можно делать с помощью управляемого зрения?

Google представляет Guided Vision как вспомогательный инструмент для решения повседневных задач, требующих визуального восприятия. Среди подтвержденных компанией областей применения можно выделить следующие:
- Внимательно читайте мелкий шрифт: Это может помочь сосредоточиться на содержании этикеток продуктов питания, упаковки и других трудноразличимых текстов, а также ознакомиться с ними.
- Для просмотра диаграмм используйте их при слабом освещении: Это позволяет навести камеру на меню ресторана и попросить Gemini описать или зачитать его содержимое.
- Определите предметы домашнего обихода: Она способна распознавать элементы в поле зрения камеры и помогать вам их различать.
- Изучите сцену: Ассистент может попросить вас медленно панорамировать изображение, чтобы собрать больше информации об окружающем вас пространстве.
- Получите более точные описания: Вы можете задать дополнительные вопросы об объекте или конкретной части изображения.
Данный инструмент не функционирует как система слежения. Он не может определить местоположение объекта, невидимого для камеры, и не может узнать, где что-либо было оставлено ранее. Его возможности ограничены следующим: Проанализируйте изображения, которыми обменивались во время разговора..
Также не следует предполагать, что система всегда будет правильно распознавать текст, товары, расстояния или визуальные характеристики. Освещение, движение, качество камеры и положение объекта — всё это может влиять на результат.
Как активировать функцию «Управляемое зрение» на Android

Если на вашем устройстве доступна функция Guided Vision, вы сможете настроить её через меню. Настройки приложения GeminiGoogle также позволит вам запустить его из меню TalkBack или добавить в ярлыки специальных возможностей Android.
Доступные сочетания клавиш могут различаться в зависимости от телефона и системных настроек. Android позволяет назначать определенные функции специальных возможностей плавающей кнопке, ярлыку в быстрых настройках или одновременному нажатию обеих клавиш регулировки громкости.
Следовательно, кнопки регулировки громкости не являются исключительным инструментом управления функцией Guided Vision. Для их использования необходимо... предварительно назначить функцию сочетанию клавиш специальных возможностей. соответствующий.
Общая процедура будет следующей:
- Обновите приложение Близнецы из Google Play.
- Откройте Gemini и перейдите в настройки приложения.
- Найдите этот вариант. Управляемое зрение когда он станет доступен.
- Завершите первоначальную настройку и предоставьте необходимые разрешения для использования камеры и микрофона.
- Если вы используете TalkBack, проверьте доступные параметры в его меню.
- Также вы можете зайти в настройки специальных возможностей Android и связать функцию «Управляемое зрение» с одним из поддерживаемых ярлыков.
Для использования вам потребуется запустить Gemini Live, поделиться изображением с камеры и объяснить голосом, что вам нужно идентифицировать или прочитать. После этого ассистент проанализирует изображение и сможет подсказать, как переместить телефон, чтобы улучшить кадрирование.
Точное расположение элементов управления может различаться в зависимости от производителя, версии Android и модели телефона. Кроме того, эта опция может появиться не сразу, даже если вы обновили приложения, поскольку Google в данный момент проводит обновление. постепенное внедрение.
Требования к системе управляемого зрения и ее доступность
Функция Guided Vision появится на совместимых телефонах, использующих Android 9 или более поздняя версияДля использования этой функции не потребуется Android 17, поскольку она распространяется в основном через приложение Gemini и сервисы Google.
Необходимо также соблюдать следующие условия:
- Используйте совместимое устройство Android.
- Установите и обновите приложение Gemini.
- Находиться в стране, где доступен сервис Gemini.
- Завершите первоначальную настройку функции.
- Предоставьте доступ к камере и микрофону.
- иметь хотя бы 18 лет.
Компания Google анонсировала функцию Guided Vision как одну из будущих. Поэтому её доступность может варьироваться в зависимости от страны, языка, устройства и используемой учетной записи. Даже если телефон соответствует минимальным требованиям, инструмент не станет доступен всем пользователям в один и тот же день.
Функцию Guided Vision не следует путать с общей функцией камеры Gemini Live. Последняя позволяет вести диалоги о том, что видит телефон, в то время как Guided Vision включает в себя функцию, специально разработанную для... визуальная доступность и звуковое сопровождение оформления.
Важные предупреждения и ограничения

Как и любая функция, основанная на искусственном интеллекте, Guided Vision может совершать ошибки, пропускать важные элементы или неправильно описывать то, что находится перед камерой. Google прямо предупреждает об этом. Это не медицинское устройство и не средство передвижения..
Следовательно, его не следует использовать для:
- Передвигайтесь по улицам, зданиям или другим пространствам.
- Обнаружение препятствий во время движения.
- Пересечение дороги или выявление опасных ситуаций.
- Замените трости, собак-поводырей или другие средства передвижения.
- Замените советы профессионалов или гидов, специализирующихся на безопасном путешествии.
- Принимать медицинские, диетические решения или решения, касающиеся безопасности, основываясь исключительно на реакции Близнецов.
Также рекомендуется избегать передачи изображений, содержащих личные данные, конфиденциальные документы, банковскую информацию или изображения других людей без их согласия. Хотя камера помогает ориентироваться в окружающей обстановке, ответственность за выбор отображаемой информации для помощника по-прежнему лежит на пользователе.
Функция Guided Vision представляет собой значительный шаг вперед в обеспечении доступности Android, объединяя камеру, голосовой чат и подсказки по кадрированию в реальном времени. Она может быть весьма полезна для чтения трудноразличимого текста или распознавания повседневных предметов, но ее следует использовать… дополнительный инструмент и ни в коем случае не в качестве замены решений, специально разработанных для обеспечения мобильности и безопасности.
Индекс