Google добавила в ИИ-помощника Gemini новую функцию для режима Gemini Live, который анализирует изображение с камеры в реальном времени. Обновление получило название Guided Vision и позволяет искать конкретные объекты в кадре.
Guided Vision станет доступна на смартфонах с Android 9 и более новыми версиями системы. Функцию можно будет вынести в ярлыки специальных возможностей для быстрого доступа.
Новинка вышла вместе с сентябрьским пакетом обновлений Android Drop. Помимо Guided Vision, в этот пакет вошли способность Gemini запоминать расположение вещей через Find Hub и интеграция чек-листов Google Keep в приложении «Сообщения».
Guided Vision помогает Gemini Live детально описывать содержимое кадра. В демонстрации Google пользователь навёл камеру на полку со специями и попросил найти орегано — ассистент точно указал местоположение приправы и даже направил руку пользователя к нужному месту.
Функция пригодится не только для поиска вещей дома. Например, в плохо освещённом ресторане Guided Vision поможет разобраться с меню и сделать заказ. Также её можно использовать для чтения мелкого текста на упаковках товаров.
Google предусмотрела и обратную связь: если камера направлена неверно, Gemini подскажет, как изменить ракурс, переместить устройство или расположить объект по центру кадра для точного распознавания.