Содержание
Зачем Google переносит LiteRT в браузер
Google представила LiteRT.js — JavaScript-binding для LiteRT, который позволяет запускать ML и AI-модели прямо в браузере. Для разработчиков это способ перенести локальный inference в веб-приложения без отдельного сервера и без отправки пользовательских данных в облако.
Что такое LiteRT.js
LiteRT.js работает с .tflite моделями и использует оптимизации LiteRT, знакомые по edge-устройствам. В браузере рантайм может опираться на WebAssembly для CPU, WebGPU для GPU-ускорения и экспериментальный WebNN для NPU.
Google позиционирует LiteRT.js как эволюцию подхода для тех, у кого уже есть TensorFlow Lite-модели или модели, которые можно конвертировать из PyTorch через LiteRT Torch. В initial release входят npm-пакет, документация и демо.
Почему это полезно веб-разработчикам
Главные преимущества — приватность, низкая задержка и отсутствие серверных расходов. Если модель запускается локально, изображение, аудио или другой пользовательский ввод можно обрабатывать прямо на устройстве. Это особенно важно для real-time задач: object detection, audio processing, depth estimation, image upscaling и похожих сценариев.
По данным Google, LiteRT.js может обгонять другие web runtime до 3 раз на некоторых CPU/GPU задачах. А при использовании GPU или NPU через WebGPU/WebNN ускорение против стандартного CPU-выполнения в отдельных сценариях может доходить до 5–60 раз.
Примеры сценариев
Google показывает демо с YOLO, оценкой глубины по вебкамере и апскейлом изображений через Real-ESRGAN. Это не просто игрушечные примеры: такие задачи раньше часто требовали серверного inference или нативного приложения, а теперь могут работать внутри обычного веб-интерфейса.