Google добавит в Android Guided Vision и память Gemini о местонахождении вещей

Google представила две будущие функции Gemini в сентябрьском Android Drop. Guided Vision будет использовать камеру Gemini Live, чтобы описывать предметы и текст перед пользователем, а также голосом подсказывать, как переместить телефон для более удачного кадра. Вторая функция позволит попросить Gemini сохранить в Find Hub место, где лежит вещь без Bluetooth-трекера — например, ключи или паспорт. Google обозначает обе возможности как coming soon, поэтому публичного доступа к ним на момент анонса нет.

Guided Vision: камера с голосовой обратной связью

Guided Vision создаётся вместе с сообществами незрячих и слабовидящих пользователей. Функция должна описывать изображение с камеры в реальном времени, читать мелкий текст на упаковке или меню и распознавать бытовые предметы. Её отличие от обычного вопроса по фотографии — интерактивная обратная связь: если объект не попал в кадр, Gemini попросит сдвинуть камеру, провести ею по пространству или отцентрировать предмет.

По данным Google, Guided Vision готовится для телефонов с Android 9 и новее в странах, где доступен Gemini. На странице Android отдельно указаны возрастное ограничение 18+, необходимость первоначальной настройки и совместимого устройства. Компания предупреждает, что функция может ошибаться, не является медицинским устройством или средством мобильности и не предназначена для навигации либо обнаружения препятствий.

Find Hub запомнит указанное место, но не будет отслеживать вещь

Новая связка Gemini и Find Hub рассчитана на предметы без трекера. Пользователь сможет сообщить голосом, где оставил вещь, и при желании приложить фотографию. Запись появится в отдельной вкладке remembered items, а Gemini сможет позднее воспроизвести сохранённое описание.

Это не система определения координат: Find Hub не будет видеть фактическое или текущее положение предмета. Точность полностью зависит от информации, которую ранее передал пользователь. Google указывает Android 16 или новее, вход одновременно в Gemini и Find Hub, а также доступность обоих сервисов в стране.

Доступность и ограничения

Google не назвала точную дату начала развёртывания ни для Guided Vision, ни для сохранения местоположения вещей. Android Drop распространяется через приложения и сервисы Google постепенно, но формулировка coming soon означает, что сам анонс ещё не подтверждает возможность использовать эти две функции прямо сейчас. Требования к версии Android различаются: Android 9+ для Guided Vision и Android 16+ для памяти Find Hub.

Официальное описание опубликовано в блоге Google об Android; технические оговорки и требования перечислены на странице сентябрьского Android Drop.