Yeni çalışmada, Apple, yapay zeka modeline, orijinal eğitim veri setinin bir parçası olmayan el hareketlerini tanımayı öğretti. İşte detaylar.

EMG Nedir?

Apple, Makine Öğrenimi Araştırma blogunda EMBridge: EMG Sinyallerinden El Hareketi Genelleştirmesini Artırmak için Çapraz-Mod Temsili Öğrenme başlıklı yeni bir çalışma yayınladı. Bu çalışma, Nisan ayında ICLR 2026 Konferansı'nda sunulacak.

Çalışmada, araştırmacılar, belirli el hareketlerinin orijinal veri setinin bir parçası olmamasına rağmen, bir yapay zeka modelinin el hareketlerini nasıl tanıdığını açıklıyor.

Bunu başarmak için, EMG ve poz arasındaki modalite farkını kapatan bir çapraz-mod temsili öğrenme çerçevesi olan EMBridge'i geliştirdiler.

EMG, yani Elektromiyografi, kasların kasılması sırasında ürettiği elektriksel aktiviteyi ölçer. Pratik uygulamaları, tıbbi teşisten fizik tedaviye ve protez uzuv kontrolüne kadar uzanır.

Son zamanlarda (bu kesinlikle yeni bir alan değil), giyilebilir cihazlar ve AR/VR sistemlerinde daha yaygın bir şekilde araştırılmıştır.

Örneğin, Meta'nın Ray-Ban Display gözlükleri, Meta'nın bir Neural Band olarak adlandırdığı, bilek üzerine takılan bir cihaz aracılığıyla EMG teknolojisini kullanıyor. Bu cihaz, "kas sinyallerinizi yorumlayarak Meta Ray-Ban Display'in özelliklerinde gezinmenizi sağlar" şeklinde tanımlanıyor.

Apple'ın çalışmasında, eğitim için kullanılan EMG sinyalleri bir bilek cihazı tarafından algılanmadı. Bunun yerine, araştırmacılar iki veri seti kullandı:

  • emg2pose: "[…] 193 katılımcı kullanıcı arasında 370 saatlik sEMG ve senkronize el poz verisi içeren büyük ölçekli açık kaynak EMG veri seti. 29 farklı davranış grubunu içeren çeşitli ayrık ve sürekli el hareketleri, örneğin yumruk yapma veya beşe kadar sayma gibi. El poz etiketleri, yüksek çözünürlüklü bir hareket yakalama sistemi kullanılarak oluşturulmuştur. Tam veri seti 80 milyondan fazla poz etiketi içerir ve en büyük bilgisayarla görme eşdeğerleri ile benzer ölçekte. Her kullanıcı, her el hareketi kategorisi için dört kayıt oturumu gerçekleştirdi, her biri farklı bir EMG bant yerleşimi ile. Her oturum 45–120 saniye sürdü ve kullanıcılar 3–5 benzer hareket veya serbest form hareketleri gerçekleştirdi. Girdi dizileri olarak örtüşmeyen 2 saniyelik pencereler kullanıyoruz. EMG, örnek normalleştirilmiş, bant geçiren filtre (2–250 Hz) ve 60 Hz'de notch filtrelenmiştir."
  • NinaPro DB2: "Daha kapsamlı bir EMBridge değerlendirmesi için iki NinaPro EMG veri seti kullandık. Özellikle, NinaPro DB2, 40 katılımcıdan eşleştirilmiş EMG-poz verilerini içerir. 40 sağlıklı katılımcı tarafından gerçekleştirilen 49 el hareketi (temel parmak bükmeleri, işlevsel kavramalar ve birleşik hareketler dahil) içerir. EMG sinyalleri, 2 kHz örnekleme hızında önkol üzerine yerleştirilen 12 elektrot ile kaydedilir ve el kinematik verileri bir veri eldiveni ile yakalanır. İleriye dönük el hareketi sınıflandırması için, DB2 ile aynı EMG cihazı ve hareket seti kullanılarak toplanan 20 amputasyonsuz katılımcıdan veri içeren NinaPro DB7 kullanıyoruz."

Tüm bunlar göz önüne alındığında, Apple'ın EMBridge'inin gelecekteki bir Apple Watch modelinin (veya diğer giyilebilirlerin) Apple Vision Pro, Mac'ler, iPhone'lar ve diğer giyilebilir cihazları, özellikle de söylentilere göre gelecek akıllı gözlükleri kontrol etme yolunu açabileceğini görmek kolaydır.

Uygulamada, yeni etkileşim yöntemlerinden erişilebilirlik iyileştirmelerine kadar olan olanaklar önemli olabilir.

Elbette, çalışma kendisi belirli bir Apple ürününü veya uygulamasını belirtmiyor, ancak şu ifadeyi belirtiyor:

"Çerçevemizin potansiyel pratik uygulamalarından biri giyilebilir İnsan-Bilgisayar Etkileşimidir. VR/AR ve protez kontrol uygulamaları gibi senaryolarda, bilek üzerinde takılan bir cihazın EMG'den el hareketlerini sürekli olarak çıkarması gerekir."

EMBridge Nedir?

EMBridge, araştırmacıların gerçek EMG kas sinyalleri ile yapılandırılmış el poz verileri arasındaki boşluğu kapatma yoluydu.

Çapraz-mod çerçevesi kullanılarak eğitilen model, önce EMG ve el poz verileri ayrı ayrı ön eğitim aldı.

Daha sonra, araştırmacılar iki temsili hizalayarak EMG kodlayıcısının poz kodlayıcısından öğrenmesini sağladı. Bu, EMBridge'in EMG sinyallerinden el hareketi desenlerini tanımayı öğrenmesini sağladı.

Bu işlem tamamlandıktan sonra, sistem, poz verilerinin bazı kısımlarını gizleyerek ve modelin yalnızca EMG sinyallerinden çıkarılan bilgileri kullanarak bunları yeniden yapılandırmasını isteyerek eğitildi.

Sonuç, araştırmacılar tarafından şöyle açıklandı:

"Bildiklerimize göre, EMBridge, giyilebilir EMG sinyallerinden sıfırdan el hareketi sınıflandırması gerçekleştiren ilk çapraz-mod temsili öğrenme çerçevesidir ve giyilebilir cihazlarda gerçek dünya el hareketi tanıma potansiyeli göstermektedir."

Benzer hareketlerin olumsuz olarak değerlendirilmesi nedeniyle oluşan eğitim hatalarını azaltmak için, araştırmacılar modele, pozların benzer el yapılandırmalarını temsil ettiğini tanımayı öğrettiler. Bu, modelin bu pozlar için yumuşak hedefler oluşturmasını sağladı ve onları tamamen bağımsız olarak değerlendirmek yerine yapılandırdı.

Bu, modelin temsil alanını yapılandırmaya yardımcı oldu ve daha önce hiç görmediği hareketlere genelleme yeteneğini artırdı.

Yazarlar, EMBridge'i iki kıyaslama testi olan emg2pose ve NinaPro üzerinde değerlendirdi ve mevcut yöntemleri sürekli olarak geride bıraktığını, özellikle de sıfırdan (veya daha önce hiç görülmemiş) el hareketi tanıma konusunda başarılı olduğunu buldular. Önemli olan, bunu yalnızca %40 eğitim verisi ile başardı.

Makaledeki önemli bir sınırlama, modelin hem EMG sinyalleri hem de senkronize el poz verilerini içeren veri setlerine bağımlı olmasıdır. Bu, eğitimlerinin hala toplaması zor olabilen özel veri setlerine bağlı olduğu anlamına gelir.

Yine de, çalışma ilginçtir, özellikle EMG tabanlı cihaz kontrolünün yükselişte olduğu bir dönemde.

EMBridge ile ilgili tam teknik detaylar için, Q-Former, MPRL ve CASCLe bileşenleri dahil, bu bağlantıyı takip edin.

Amazon'da Kontrol Edilmeye Değer Ürünler

  • David Pogue’un ’Apple: İlk 50 Yıl’ kitabı
  • Logitech MX Master 4
  • AirPods Pro 3
  • AirTag (2. Nesil) – 4 Paket
  • Apple Watch Series 11
  • Kablosuz CarPlay adaptörü