Eye2S

Künye

MacBook'un kendi kamerası üzerinde çalışan, gerçek zamanlı bir artırılmış gerçeklik algı sistemi. Bir dedektörün yeni bir nesneyi tanıması normalde yeniden eğitim isterken Eye2S, kameraya tutulan altı kareden öğreniyor: GrabCut cismi onu tutan parmaklardan ayırıyor, DINOv2 gömüleri sonrasında onu örnek düzeyinde tanıyor — "bir kalem" değil, o kalem. Eller imleç sürmüyor, jest olarak okunuyor; bir nesneye davranış bağlamak ise bir klasöre Python dosyası bırakmaktan ibaret, yeniden başlatmadan canlı yükleniyor.

Geliştirdikleri

• 01Az örnekle nesne öğrenme: altı kare, cismi onu tutan elden ayıran GrabCut segmentasyonu ve çalışma anında eklenen isimli bir kimlik
• 02DINOv2 gömüleri üzerinde örnek düzeyinde tanıma (Apple MPS'te fp16); öğrenilmiş nesnelerin elsiz de bulunması için YOLOE görsel-istem tespiti
• 03MediaPipe el takibi ve öğrenilen jestler — dört tekrarda kaydedilir, hızdan, konumdan ve uzaklıktan bağımsız bir temsille eşleştirilir
• 04Canlı yüklenen eklenti sistemi: bir .py dosyası bırakmak yeterli; bozuk eklenti karantinaya alınır, HUD onunla birlikte düşmez
• 05Kod yazmadan otomasyon kuralları — bir nesne görüldüğünde kabuk komutu, AppleScript, Kısayol, uygulama veya webhook çalıştırma
• 06Bir cismin tek tespit olarak kalmasını sağlayan kimlik hakemliği: iç içe kutuların birleştirilmesi, berabere kalan etiketin skorla çözülmesi, çözülemezse işaretlenip otomasyondan çıkarılması
• 07Çıkarım arkada koşarken kaplamanın akıcı kalması için Kalman ile ekstrapole edilen kutular ve ayrı iş parçacıklı render döngüsü

Teknolojiler

• Python
• PyTorch
• DINOv2
• YOLOE
• MediaPipe
• OpenCV
• Apple MPS