Harf tanıma
Koç
Kelime (deneysel)
Kameraya bir ASL harfi gösterin; tanınan harf metne yazılır. Gösterilen harfi kameraya yapın; doğru tuttuğunuzda halka dolar. Bir ASL kelimesi kaydedin; onaylarsanız metne eklenir.
Kamerayı açınca tarayıcı izin ister. Görüntü cihazınızdan çıkmaz, kaydedilmez.
- 24 ASL harfi · J ve Z hareketli olduğu için yok
- 50 kelime · deneysel; el, yüz ve omuzlar görünmeli
- ASL (Amerikan İşaret Dili), TİD değil
- İlk kamera açılışında yaklaşık 15 MB iner; sonraki açılışlarda inmez
- İlk kamera açılışında en fazla 24 MB iner; Wi-Fi önerilir
Kamera açılamadı
Kamera iznini nasıl veririm?
- iPhone ve iPad (Safari): Adres çubuğundaki aA (yeni sürümlerde ⋯) düğmesine dokunun → Web Sitesi Ayarları → Kamera → İzin Ver. Sonra Yeniden dene'ye dokunun. Seçenek görünmüyorsa: Ayarlar → Uygulamalar → Safari → Kamera → Sor ya da İzin Ver.
- iPhone'da Chrome: Ayarlar'da Chrome'u bulun ve Kamera'yı açın, sonra sayfaya dönüp Yeniden dene'ye dokunun.
- Android (Chrome): Adres çubuğunun solundaki simgeye (ayar ya da kilit) dokunun → İzinler → Kamera → İzin ver. Kamera listede yoksa: Ayarlar → Uygulamalar → Chrome → İzinler → Kamera → Uygulamayı kullanırken izin ver.
- Bilgisayarda Chrome ya da Edge: Adres çubuğunun solundaki site bilgileri simgesine tıklayın → Kamera'yı açın ya da İzin ver'i seçin. Yine açılmazsa macOS'ta Sistem Ayarları → Gizlilik ve Güvenlik → Kamera, Windows'ta Ayarlar → Gizlilik ve güvenlik → Kamera bölümünden tarayıcınıza izin verin. Tarayıcıyı yeniden başlatmanız gerekebilir.
- Firefox: Adres çubuğundaki üzeri çizili kamera simgesine tıklayın → Engellendi yazısının yanındaki × ile engeli kaldırın → Yeniden dene.
- Mac'te Safari: Menü çubuğunda Safari → bu sitenin ayarları → Kamera → İzin Ver.
Kamerasız örnek
Kaydı başlatın. Geri sayımdan sonra işareti bir kez, doğal hızda yapın.
Harf Bekleniyor --
Nasıl çalışır
ASL Assistant, kameraya gösterdiğiniz ASL parmak alfabesi harflerini tarayıcınızda tanır ve metne yazar. Görüntü cihazınızdan çıkmaz.
- 24 ASL harfi · J ve Z hareketli olduğu için yok
- 50 kelime · deneysel
- ASL (Amerikan İşaret Dili), TİD değil
Tanıma üç adımda
- Kamera elinizi görür Tarayıcı, görüntüdeki elin 21 eklem noktasını bulur. Görüntünün kendisi saklanmaz, hiçbir yere gönderilmez.
- Noktalar sayılara dönüşür Parmakların açıları ve aralarındaki mesafeler 93 sayılık bir özete çevrilir.
- Model harfi tahmin eder Model, 24 harften hangisine en çok benzediğini ve ne kadar emin olduğunu söyler. Ekle'ye bastığınızda harf metne yazılır.
Kelime modu (deneysel)
Yaklaşık 2–3 saniyelik bir hareket kaydedilir; el, yüz ve omuz noktaları birlikte değerlendirilir. Siz onaylamadan metne hiçbir kelime eklenmez.
Ne kadar iyi tanır?
- Harf: ayrılmış test verisinde doğru. Bu veri eğitimle aynı fotoğraf dizilerinden geldiği için kameradaki başarı daha düşük olabilir.
- Kelime: modelin hiç görmediği kişilerin kayıtlarında doğru. Bazı kelimeler birbirine karışabilir.
Modeller harf ve kelime arasından seçer. İlk kullanımda harf modeli yaklaşık , kelime modeli yaklaşık indirilir.
Sınırlar
- Yalnızca tek tek harfleri ve 50 kelimeyi tanır; cümle çevirmez.
- Farklı el, ışık ve kamera açılarında hata yapabilir.
- Gerçek telefonlarda henüz sınanmadı.
- Referans görselleri yeniden hazırlanıyor; M, N, S, T ve E çizimleri birbirine çok benziyor.
Gizlilik
Görüntü cihazınızdan çıkmaz. Tanıma tarayıcınızda yapılır; görüntü kaydedilmez. Yazdığınız metin yalnızca bu tarayıcıda saklanır.
Sayfa açıldığında model indirilmez; kamera, örnek ya da test ilk başladığında indirilir. Çalıştırıcılar herkese açık içerik ağlarından (jsDelivr, Google) gelir.
Teknik ayrıntılar
- Harf modeli: karar ağaçları (LightGBM); girdisi tek elin 93 sayılık özeti.
- Kelime modeli: dönüştürücü ağ (SignTransformer); girdisi 45 kare × 168 sayı ve hangi karelerin gerçek olduğunu söyleyen bir maske.
- İki model de tarayıcıda çalışır; sunucuya ne görüntü ne de sayı gönderilir.
Geliştiriciler için: modeli örnek dosyalarla test edin (Model Test)
Veri kaynakları ve emeği geçenler
- ASL Alphabet (yeni sekmede açılır)
- Akash Nagaraj, 2018 · GPL-2.0 (sağlayıcının belirttiği lisans)
- American Sign Language Dataset (yeni sekmede açılır)
- Ayush Thakur · CC0 1.0
- ASL_SemCom alt kümesi (yeni sekmede açılır)
- ASL-Fingerspelling ile ilişkili · koşulları kayıtlı değil; görseller paylaşılmıyor
- Google - Isolated Sign Language Recognition (Kaggle, 2023) (yeni sekmede açılır)
- Deaf Professional Arts Network ve Georgia Institute of Technology tarafından sağlandı · CC BY 4.0 (yeni sekmede açılır), yarışma kurallarına bağlı
- ASL harf kartı (yeni sekmede açılır)
- Ds13, Gallaudet yazı tipinden; Marnanel vektörleştirdi · Wikimedia Commons, kamu malı
Lisans
Kaynak kodu PolyForm Noncommercial 1.0.0 (yeni sekmede açılır) lisansı altındadır: kişisel, eğitim ve araştırma amaçlı kullanım serbesttir; ticari kullanım izin gerektirir. Model dosyaları aynı lisansla yayınlanır; eğitim verilerinin koşulları da geçerlidir.
Kullanılan yazılımlar
Modeli kamerasız deneyin
Yayındaki modeller hazır örnekler üzerinde tarayıcınızda çalışır. Kamera açılmaz; sonuçlar bu cihazda hesaplanır.
Tek örnek
Bir örnek seçin; model onu çalıştırır ve sonucu gösterir.
Durum: Örnek bekleniyor
Başka model, başka örnek ya da kendi dosyanız
Harf modeli, tek bir el duruşuna bakıp 24 harften birini seçer.
Tüm örnekler
Harf modelinin hazır örneklerini sırayla çalıştırır ve kaçının doğru olduğunu sayar.
Sonuç
BeklemedeTahmin -
- Beklenen
- -
- Güven
- -
- Süre
- -
En olası üç sonuç
Bir örnek seçtiğinizde sonuç burada görünür.
Teknik ayrıntılar Detay
- Kaynak
- -
- Biçim sürümü
- -
- Girdi
- -
- Gerçek kare
- -
Tüm örneklerin sonucu
Bu örnekler, eğitimde ayrılan test bölümünden her harf için birer kayıttır. Eğitim fotoğraflarıyla aynı dizilerden geldikleri için kamerada başarı daha düşük olabilir. Süreler bu cihazda ölçüldü; kamerayla canlı tanımada elin bulunması da zaman alır.
Kelime modeli, Google'ın ASL yarışma verisiyle eğitildi. Yarışma kuralları bu verinin paylaşılmasına izin vermediği için gerçek kayıtlardan çıkarılan örnekler yayınlanmaz. Yayındaki tek örnek yapaydır ve yalnızca modelin baştan sona çalıştığını gösterir. Projeyi kendi bilgisayarınıza kurarsanız bu örnekleri orada yerel olarak oluşturabilirsiniz.
| Örnek | Beklenen | Tahmin | Güven | Süre | Sonuç |
|---|
Telefonda açın
Telefonunuzun kamerasıyla kodu okutun; ASL Assistant telefonda açılır. Hiçbir şey yüklemeniz gerekmez. Bağlantıyı paylaşarak da gönderebilirsiniz.
- Telefonunuzun kamera uygulamasını açıp kodu çerçeveye alın.
- Çıkan bağlantıya dokunun.
- Kamerayı açın; tarayıcı sorduğunda izin verin.
Diğer telefonun kamerasını koda tutun ve çıkan bağlantıya dokunun.
Kamerayı ilk açtığınızda yaklaşık 15 MB (kelime modunda en fazla 24 MB) indirilir; sonraki açılışlarda yeniden indirilmez. Mobil veride Wi-Fi önerilir.