Всем привет.
Работаю над задачей детекции артикуляционных движений языка через фронтальную камеру смартфона. Конкретно нужно стабильно классифицировать вертикальное движение (подъём / опускание / нейтральное положение) в реальном времени. Среда бытовая — обычное освещение, без доп. оборудования. Аудитория - дети, что добавляет вариативности по анатомии и поведению перед камерой.
Пощупал MediaPipe, но с самим языком он так себе работает. Подскажите, есть ли подходы, которые реально работают, или это в принципе задача с жёсткими ограничениями, при таких условиях съёмки. Или может можно подтянуть из смежных областей что-то, условно, из трекинга деформируемых объектов или промышленного детекшена, где похожая задача уже решена достаточно хорошо?
Если кто-то реально делал детекцию или трекинг внутриротовых объектов (язык, зубы) на мобильном железе что реально может сработать с высокой точностью детекшена?
Заранее спасибо.

Вам понадобятся нанодатчики, встроенные в мышцы гортани и ротовой полости.

сейчас практически все мобилки умеют отслеживать направление взгляда. скорее всего библиотеки готовые где то есть.
и думаю что прокатит нейронку по месту обучать на типовой мимике.

Read Their Lips: Удобный бесплатный веб-сервис для расшифровки речи без звука. Вы загружаете видео, выделяете область лица говорящего, и нейросеть анализирует движения губ. Отлично справляется с английским языком.
Lip Reading AI (Android / iOS): Приложение, позволяющее распознавать беззвучное движение губ в шумной обстановке или при общении с людьми с нарушениями речи.
LipreadPro: Продвинутый онлайн-инструмент, который загружает ваше видео и выдает текстовую расшифровку артикуляции говорящего в виде читаемого текста.

1. Wi-Fi Sensing: использование существующих сигналовРоутер или mesh-система анализирует состояние канала (Channel State Information — CSI) между передатчиком и приемником. Когда человек идет, садится или дышит, меняются параметры приема.Плюсы: Не требует дополнительных камер или аппаратных датчиков движения.Минусы: Возможны ложные срабатывания от домашних животных или роботов-пылесосов. Где используется: Продвинутые роутеры (например, функция WiFi Motion в оборудовании Xfinity, некоторые роутеры Asus). Эффективно применяется для охраны, мониторинга активности пожилых людей (упал/не двигается) или домашней автоматизации. В теории можно и движения языка отслеживать объект достаточно специфической формы. Если сможешь обучишь этому нейронку спецлужбы к себе точно загребут.

https://github.com/ruvnet/ruview