Содержание
Google вывела перевод жестового языка из лаборатории в смартфон
Google DeepMind представила SL2T — мультиязычную AI-модель, которая переводит жестовый язык в текст. Технология уже работает в потребительских продуктах: на Pixel 11 она поддерживает ввод на американском жестовом языке (ASL) в Gboard и ответы через Live Transcribe. Другие устройства и языки компания обещает добавить позже.
Как это работает
Пользователь показывает жесты камере смартфона, а SL2T превращает их в потоковый текст. Так можно искать информацию, писать сообщения и документы, обращаться к Gemini или отвечать собеседнику без перехода на обычную клавиатуру. По словам участников тестирования Google, для носителей ASL такой способ часто быстрее и естественнее набора текста на английском.
Модель обучили более чем на 100 тысячах часов данных по свыше чем 50 жестовым языкам. Она анализирует движения рук, лица и корпуса и выполняет полноценный перевод, а не просто сопоставляет отдельные жесты со словами. В тесте FLEURS-ASL система получила 70 баллов BLEURT в режиме zero-shot — Google называет это лучшим опубликованным результатом для перевода ASL в английский.
Что с приватностью
На устройстве MediaPipe Holistic преобразует видео в набор координат ключевых точек тела. На сервер для перевода отправляются именно эти геометрические данные, а исходный видеопоток сразу удаляется. Команда также отдельно дорабатывала распознавание для левшей, жестов одной рукой и защиту от выдуманного текста, когда человек не использует жестовый язык.
Почему это важно
Для примерно 70 миллионов глухих и слабослышащих людей, использующих более 200 жестовых языков, это шаг к такому же удобному взаимодействию с AI, какое уже получили пользователи голосового ввода. Возможность напрямую писать, искать и управлять Gemini жестами делает смартфон и AI-инструменты доступнее без дополнительных устройств. Сейчас SL2T бесплатно доступна сначала на Pixel 11, а расширение списка устройств и языков станет главным показателем практической ценности технологии.