En un nuevo estudio, Apple enseñó a su modelo de inteligencia artificial a reconocer movimientos de mano que no formaban parte del conjunto de datos de entrenamiento original. Aquí están los detalles.

¿Qué es EMG?

Apple publicó un nuevo estudio titulado EMBridge: Aprendizaje de Representación Cruzada para Aumentar la Generalización de Movimiento de Mano a partir de Señales EMG en su blog de Investigación en Aprendizaje Automático. Este estudio será presentado en la Conferencia ICLR 2026 en abril.

En el estudio, los investigadores explican cómo un modelo de inteligencia artificial reconoce movimientos de mano a pesar de que ciertos movimientos no forman parte del conjunto de datos original.

Para lograr esto, desarrollaron EMBridge, un marco de aprendizaje de representación cruzada que cierra la brecha de modalidad entre EMG y pose.

EMG, o electromiografía, mide la actividad eléctrica producida por los músculos durante la contracción. Sus aplicaciones prácticas van desde el diagnóstico médico hasta la fisioterapia y el control de extremidades protésicas.

Recientemente (esto definitivamente no es un campo nuevo), ha sido investigado de manera más amplia en dispositivos portátiles y sistemas AR/VR.

Por ejemplo, las gafas Ray-Ban Display de Meta utilizan tecnología EMG a través de un dispositivo que se lleva en la muñeca, que Meta llama Neural Band. Este dispositivo se describe como "permitiendo navegar por las características de Meta Ray-Ban Display interpretando tus señales musculares".

En el trabajo de Apple, las señales EMG utilizadas para el entrenamiento no fueron detectadas por un dispositivo de muñeca. En su lugar, los investigadores utilizaron dos conjuntos de datos:

  • emg2pose: "[…] un conjunto de datos EMG de código abierto a gran escala que contiene 370 horas de sEMG y datos de posición de mano sincronizados entre 193 participantes. Incluye varios movimientos de mano discretos y continuos que abarcan 29 grupos de comportamiento diferentes, como hacer un puño o contar hasta cinco. Las etiquetas de posición de la mano se generaron utilizando un sistema de captura de movimiento de alta resolución. El conjunto de datos completo contiene más de 80 millones de etiquetas de posición y es comparable en escala a los mayores equivalentes de visión por computadora. Cada usuario realizó cuatro sesiones de grabación para cada categoría de movimiento de mano, cada una con una disposición de banda EMG diferente. Cada sesión duró entre 45 y 120 segundos, y los usuarios realizaron de 3 a 5 movimientos similares o movimientos de forma libre. Utilizamos ventanas de 2 segundos no superpuestas como secuencias de entrada. EMG se normaliza, filtra con un filtro de paso de banda (2–250 Hz) y se filtra notch a 60 Hz."
  • NinaPro DB2: "Utilizamos dos conjuntos de datos EMG de NinaPro para una evaluación más completa de EMBridge. En particular, NinaPro DB2 contiene datos EMG-pose emparejados de 40 participantes. Incluye 49 movimientos de mano (incluyendo flexiones de dedos básicas, agarres funcionales y movimientos compuestos) realizados por 40 participantes sanos. Las señales EMG se registran con 12 electrodos colocados en el antebrazo a una velocidad de muestreo de 2 kHz, y los datos cinemáticos de la mano se capturan con un guante de datos. Para la clasificación de movimientos de mano hacia adelante, utilizamos NinaPro DB7, que contiene datos de 20 participantes sin amputaciones recopilados utilizando el mismo dispositivo EMG y conjunto de movimientos que DB2."

Teniendo todo esto en cuenta, es fácil ver cómo el EMBridge de Apple podría abrir el camino para que un futuro modelo de Apple Watch (o otros dispositivos portátiles) controle Apple Vision Pro, Macs, iPhones y otros dispositivos portátiles, especialmente los rumores sobre las futuras gafas inteligentes.

En la práctica, las posibilidades podrían ser significativas, desde nuevos métodos de interacción hasta mejoras en accesibilidad.

Por supuesto, el estudio en sí no menciona un producto o aplicación específica de Apple, pero sí señala:

"Una de las posibles aplicaciones prácticas de nuestro marco es la Interacción Humano-Computadora portátil. En escenarios como aplicaciones de control de VR/AR y prótesis, un dispositivo que se lleva en la muñeca debe extraer continuamente movimientos de mano de EMG."

¿Qué es EMBridge?

EMBridge fue el camino para que los investigadores cerraran la brecha entre las señales EMG reales y los datos de posición de mano estructurados.

El modelo entrenado utilizando un marco de representación cruzada recibió primero un preentrenamiento por separado en datos EMG y de posición de mano.

Luego, los investigadores alinearon dos representaciones para permitir que el codificador EMG aprendiera del codificador de posición. Esto permitió que EMBridge aprendiera a reconocer patrones de movimiento de mano a partir de señales EMG.

Una vez completado este proceso, el sistema fue entrenado pidiendo al modelo que reconfigurara partes de los datos de posición ocultando algunas de ellas y utilizando únicamente la información extraída de las señales EMG.

El resultado fue explicado por los investigadores de la siguiente manera:

"Según lo que sabemos, EMBridge es el primer marco de aprendizaje de representación cruzada que realiza clasificación de movimientos de mano desde cero a partir de señales EMG portátiles y muestra potencial para el reconocimiento de movimientos de mano en el mundo real en dispositivos portátiles."

Para reducir los errores de entrenamiento causados por la evaluación negativa de movimientos similares, los investigadores enseñaron al modelo a reconocer que las poses representaban configuraciones de mano similares. Esto permitió que el modelo generara objetivos suaves para estas poses y las estructurara en lugar de evaluarlas de manera completamente independiente.

Esto ayudó a estructurar el espacio de representación del modelo y aumentó su capacidad de generalización a movimientos que nunca había visto antes.

Los autores evaluaron EMBridge en dos pruebas comparativas, emg2pose y NinaPro, y encontraron que constantemente superaba los métodos existentes, especialmente en el reconocimiento de movimientos de mano desde cero (o nunca antes vistos). Lo importante es que lo logró utilizando solo el 40% de los datos de entrenamiento.

Una limitación importante en el artículo es que el modelo depende de conjuntos de datos que contienen tanto señales EMG como datos de posición de mano sincronizados. Esto significa que su entrenamiento aún depende de conjuntos de datos específicos que pueden ser difíciles de recopilar.

Aún así, el estudio es interesante, especialmente en un momento en que el control de dispositivos basado en EMG está en auge.

Para obtener detalles técnicos completos sobre EMBridge, siga este enlace, que incluye componentes como Q-Former, MPRL y CASCLe.

Productos Que Vale La Pena Revisar En Amazon

  • El libro de David Pogue 'Apple: Los Primeros 50 Años'
  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2ª Generación) – Paquete de 4
  • Apple Watch Series 11
  • Adaptador CarPlay Inalámbrico