Sign-to-text на Pixel 11: как переводить американский жестовый язык в текст
Содержание статьи

Sign-to-text — функция Gboard, которая использует камеру телефона для распознавания американского жестового языка (ASL) и вывода английского текста во время жестов. Google разрабатывала ее при участии сообщества глухих и людей с нарушениями слуха. Это не универсальный переводчик всех жестовых языков и не замена профессиональному переводчику: справка Google указывает поддержку ASL и совместимых устройств Pixel 11, а в Gboard требуется английский язык en-US или en-CA.

Функция может пригодиться для сообщений, заметок, поиска в интернете или запроса в Gemini. Перевод появляется в текстовом поле активного приложения, поэтому пользователь может сочетать жесты с обычным вводом и править результат клавиатурой. Перед использованием важно знать требования, правильно расположить камеру и понимать, как Google описывает обработку данных.

Что делает sign-to-text и чего не делает

Когда пользователь жестикулирует перед фронтальной камерой, Gboard оценивает положение рук, лица и верхней части тела и преобразует распознанное в английский текст. Функция поддерживает жесты одной и двумя руками. Ее можно использовать в приложениях, которые принимают ввод Gboard, например в сообщениях или заметках.

Не следует смешивать ASL с другими жестовыми языками. Украинский жестовый язык, польский, британский BSL и другие системы имеют собственную лексику и грамматику; поддержка ASL не означает автоматический перевод этих языков. Текстовая интерпретация также не всегда передает нюансы мимики, контекста, региональных вариантов и темпа. Для юридических, медицинских и других важных разговоров проверяйте результат с человеком, а не полагайтесь только на автоматический перевод.

Sign-to-text не является видеозвонком: он вводит текст, а не заменяет живое общение. Для спонтанных разговоров лицом к лицу Google предлагает другой инструмент — Live Transcribe, который преобразует услышанную речь в текст. Это противоположное направление преобразования, поэтому выбирайте инструмент под конкретную задачу.

Требования к Pixel и Gboard

По справке Google, нужны:

  • телефон Google Pixel 11;
  • последняя версия Gboard;
  • язык клавиатуры English (United States) или English (Canada);
  • разрешение Gboard на использование камеры.

Наличие Android или Gboard само по себе не гарантирует функцию на другой модели телефона. Если у вас Pixel предыдущего поколения, проверьте официальные условия, прежде чем искать скрытый переключатель. Не устанавливайте стороннюю клавиатуру или APK, обещающие открыть возможность: функция зависит от поддержки устройства и системной интеграции.

Как добавить инструмент и начать жесты

  1. Обновите Gboard через Google Play и убедитесь, что клавиатура выбрана активной.
  2. В настройках языков Gboard добавьте English (US) или English (Canada), если нужного языка нет.
  3. Откройте приложение с текстовым полем и вызовите Gboard.
  4. На панели инструментов нажмите Sign-to-text. Если кнопки нет, откройте меню Gboard; при необходимости перетащите значок на панель в режиме редактирования.
  5. Прочитайте вводные подсказки и разрешите доступ к камере, если согласны использовать функцию.
  6. Расположите телефон так, чтобы фронтальная камера отчетливо видела руки, лицо и верхнюю часть тела.
  7. Начните жестикулировать. Распознанные слова появятся в активном поле; для завершения уберите руки из поля зрения камеры или вернитесь к обычной клавиатуре.

Перед отправкой сообщения перечитайте текст. Как и обычное автоматическое распознавание, sign-to-text может пропустить жест, предложить другое слово или потребовать повтора. Gboard позволяет редактировать текст стандартной клавиатурой, выбирать варианты в подсказках и продолжать ввод без потери позиции.

Для первого теста выберите короткую фразу без личных данных и сравните результат с тем, что вы хотели сказать. Так проще понять, как функция реагирует на кадрирование и темп именно в вашем окружении, прежде чем использовать ее в важном разговоре.

Как расположить телефон для точного распознавания

Поставьте смартфон устойчиво; не держите его в руке, если дрожание мешает камере. В предварительном просмотре убедитесь, что руки не выходят за края кадра, лицо видно, а верхняя часть тела попадает в изображение. Равномерный свет помогает камере распознавать движения; яркий источник позади может превратить человека в темный силуэт. Снимите перчатки и уберите предметы, закрывающие кисти, если это не мешает естественным жестам.

Не пытайтесь компенсировать нестабильное распознавание резкими движениями. Изучите демонстрационные подсказки Gboard и придерживайтесь естественного темпа. Если текст не появляется, сначала проверьте разрешение камеры, язык клавиатуры, интернет-соединение и выбран ли Gboard в этом поле ввода. Некоторые приложения могут заменять клавиатуру или ограничивать ее функции.

Приватность: камера, координаты движений и хранение

Во время работы sign-to-text использует фронтальную камеру, поэтому может отображаться системный индикатор камеры. По описанию Google, функция не отправляет на сервер полную видеозапись: передается 2D-представление ключевых точек движений, которое обрабатывается для перевода. Google заявляет, что координаты, видео и переводы не сохраняются, не передаются другим и не используются для обучения моделей.

Тем не менее это серверная обработка координат, а не полностью локальная офлайн-функция. Используйте ее в комфортном месте и не направляйте камеру на посторонних без согласия. Проверьте разрешение Gboard в Настройки → Приложения → Gboard → Разрешения → Камера; названия меню могут немного различаться. Когда функция не нужна, разрешение можно отозвать, но sign-to-text перестанет работать до повторного предоставления доступа.

Если телефон или камера нестабильно работают и в других программах, проверьте системные разрешения и обновления Android; не путайте это с ограничением самой функции. О похожей проверке разрешений на ПК можно прочитать в материале о камере и микрофоне в Windows, а о защите данных на телефоне — в статье о приватности Android и безопасности сети.

Типичные проблемы

Кнопки нет. Проверьте, что это Pixel 11, Gboard обновлен, а раскладка en-US или en-CA добавлена. На других моделях пункт может быть недоступен.

Камера не запускается. Проверьте системное разрешение для Gboard и закройте программу, уже использующую камеру. Если появляется предупреждение о нагрузке на систему, следуйте подсказке Gboard и закройте лишние приложения.

Текст неточный или задерживается. Проверьте кадрирование, освещение, стабильность соединения и видимость лица и рук. Исправьте фразу клавиатурой или повторите фрагмент; не отправляйте важные сведения без проверки.

Нужен другой жестовый язык. Текущая справка описывает ASL-to-English. Изменение языка интерфейса не добавит автоматически украинский или польский жестовый язык.

Итог

Sign-to-text на Pixel 11 преобразует ASL в текстовое поле Gboard и может упростить набор сообщений и заметок, но поддерживает ограниченный набор устройств и языков. Проверьте требования, добавьте английскую раскладку, обеспечьте видимость рук и лица и перечитывайте результат. Google сообщает об отправке координат движений для серверного перевода, но не полного видео; учитывайте это, предоставляя Gboard доступ к камере.

Перед разговором предупредите собеседника, что текст создается автоматически и может появляться с задержкой. Имена, адреса, суммы и сроки лучше перепроверять или уточнять вручную: похожие жесты и быстрые переходы между ними повышают риск ошибки. Для официальных переговоров, медицинских вопросов или юридически значимых сообщений не считайте функцию сертифицированным переводчиком. Выберите способ общения, который подходит по точности и конфиденциальности именно для этой ситуации.