BİLGEGÖZ-VISION

Görme Engelli Dostu Akıllı Kol Saati


Tarih: Başlangıç, 2018

Pozisyon: Mucit, Tasarımcı


Problem & Amaç

Görme engellilerin çevrelerindeki dünyayı algılamakta zorluk çekmeleri ve görme engelliler için üretilen mevcut sistemlerin oldukça pahalı veya kullanışsız olması bugün büyük bir sorundur. Bu projenin amacı ise görme engelli insanların hayatlarını kolaylaştırmak için kamera ile görülen nesnelerin ve metinlerin kulaklıktan kullanıcıya sesli olarak söylenmesini sağlayan, kol saati biçimde ve düşük maliyetli bir cihaz geliştirmektir.


BİLGEGÖZ-VISION YouTube Videosu


Açık Kaynak Kodlar ve 3B Model: İÇİN TIKLAYIN


Projenin Getirdiği Yenilikler

  • Nesne algılama ve metin okuma hizmetlerinin aynı anda kullanıldığı sistemlerin dünyada ilk örneği.
  • Algılanan nesnenin aynı zamanda uzaklığının ve yönünün de algılandığı ilk cihaz olması.
  • Görme engellilere nesne algılama ve metin okuma gibi hizmetler sunarak yardımcı olan ilk kol saati biçimindeki cihaz olması
  • Kol saati biçiminde olmasıyla görme engelli insanların el koordinasyonunu destekleyen ilk cihaz.
  • Konuşarak bilgi aktarabilmesinden dolayı kullanımı için herhangi bir eğitime veya alışma sürecine gerek duyulmaması.
  • Makine öğrenmesi teknikleri ile görme engelli insanlara çok daha gelişmiş düzeyde bir bilgi akışı sağlayabilecek bir yazılıma sahip olması.
  • Google’ın zengin makine öğrenmesi platformu olan Tensorflow ile geliştirilmiş bir model kullanarak nesne tanımlama yapması ve böylece %97’ye varan doğruluk oranına ulaşabilmesi.
  • Yine Google tarafından desteklenen Tesseract OCR metin okuma yazılımı sayesinde birçok koşulda yüksek doğruluk ile metin okuyabilmesi.
  • Türkçe, İngilizce, Almanca ve Fransızca olmak üzere 4 farklı dilde çalışabilmesi. Dil sayısı artırılabilir.
  • 100 TL’den az bir maliyete sahip ilk görme engelli yardımcı sistemi olması.
  • 3B yazıcıdan baskı gibi kolay üretim yöntemlerinin kullanılması.
  • Eski bir cep telefonu bataryasının kullanılması ile geri dönüşüme katkılı olarak üretilmesi.
  • Düşük maliyeti ve kolay üretimi sayesinde sosyoekonomik düzeyi düşük yerler dahil herkese ulaşabilmesi.
  • Üst düzey yazılıma sahip olması ve düşük maliyetli elektronik elemanlar ile yapılmış olması sayesinde hem ucuz hem de kabiliyetli bir sistem olması.

Genel Mekanik Yapı

Yapılacak cihaz için kol saati biçimi uygun görülüp seçilmiştir. Nedenleri:

  • El koordinasyonunu sağlamak
  • Kullanıcıya kolaylık sağlamak ve ergonomik bir cihaz ortaya çıkarmak
  • Kolay taşınabilir olmasını sağlamak ve kullanıcıya yük olmasını engellemek
  • Kullanıcıların anormal hissetmesini engellemek (Normal bir kol saati)

80x76x31 mm boyutlarında tasarlanan Bilgegöz, 3B yazıcıdan basılmış bir gövdeye sahiptir. 3B yazıcıdan PLA malzeme kullanılarak basılan bu cihaz, oldukça dayanıklı ve sağlığa zararı olmayan bir gövdeye sahiptir.

3B model için kullanılan program: Tinkercad
Tinkercad Bazı tasarım özellikleri:

  • Üst kapak açılabilir
  • Çanta kayışından kordon
  • Soğutma için petekli
  • Kamera 7° yukarı bakmakta

Ara Birimler

Cihazın sahip olduğu bağlantı noktaları:

  • Kulaklık girişi (3.5mm jak)
  • Şarj noktası (MicroUSB)
  • Hafıza kartı girişi(MicroSD)
  • Hata ayıklama noktaları(Port)

Kontroller:

Kullanıcının cihaz üzerindeki kontrolü iki farklı anahtar ile yapılmaktadır:

  • Birincisi cihazın arkasında bulunan ve güç düğmesi görevi gören anahtardır.
  • Bilgegöz’ün sağ ön tarafında bulunan devirmeli anahtar (Toggle Switch) ise cihazın iki farklı çalışma moduna geçmesini sağlar. (Optik karakter okuma ve nesne algılama modu)

Elektronik


Bilgegöz’ün elektronik bağlantıları ince, yarı esnek ve renkli kablolar ile elemanların birbirlerine direkt olarak lehimlenmesi ile yapılmıştır. Cihazın bataryası en alt kısma yerleştirilerek diğer malzemeler için yer tasarrufu yapılmış ve bağlantılar, kabloların en kısa olacak şekilde ayarlanması ile yapılmıştır.


Batarya


Şarj Entegresi

DC-DC Step-Up Dönüştürücü


Raspberry Pi Zero Bilgisayarı


Kamera

Bilgegöz’ün nesne algılama ve metin okuma yapabilmesi için bir “USB yılan kamera” çok küçük boyutlarda bir devre yapısına sahip olduğu için kabı sökülüp iç elemanları çıkarılarak kullanılmıştır. Raspberry Pi ile bağlantısı ise USB kablosunun kesilip Raspberry Pi Zero’nun micro usb portuna 4 ince kablo ile lehimlenmesi ile yapılmıştır.

Bu kameranın seçilmesinin nedenleri:

  • Uygun fiyatı (25 TL),
  • Yeterli çözünürlüğe sahip olması (3.2 MP),
  • Küçük boyutlu ve hafif olması (39,8×12,5x9mm 3g),
  • USB gibi kolay kullanılan bir arayüz ile çalışması ve böylece sadece 4 kablo ile bilgisayara lehimlenebilmesi,
  • Odak noktasının ayarlanabilmesi.

Dezavantajları:

  • Görüş açısının çok geniş olmaması (78 derece)

Bilgegöz’ün Kamerası

Kutusu ile


Ses Kartı

Raspberry Pi Zero’da kulaklık bağlantısı bulunmamaktadır. Bilgegöz/Vision’un kulaklık ile bağlantısı bu proje için tasarlanan ses kartı ile mümkün olmaktadır. Bu özgün ses kartında bulunan kulaklık jak bağlantı noktası sayesinde ses çıkışı olarak 3.5mm jaka sahip herhangi bir hoparlör veya kulaklık kullanılabilmektedir.

Nasıl Çalışır?

  • Raspberry Pi’nin GPIO 13 ve 18 pinlerinden analog ses sinyalleri PWM ile taklit edilir,
  • Dijital ve stereo bir ses çıkışı sağlanır,
  • Bu ses çıkışı, yapılan “Alçak Geçiş Filtresi” (Low Pass Filter) kulaklık için uygun hale getirilir.

Alçak Geçiş Filtresi, istenmeyen yüksek frekans aralığındaki ses sinyallerin elenerek sadece istenen (düşük) frekanstaki sinyallere izin verir.

Bu filtrenin yapımı için bu malzemeler kullanılmıştır:

  • 2 adet 270 Ω ve 2 adet 150 Ω direnç,
  • 2 adet 10 µF ve 2 adet 0.33 µF kondansatör,

Böylece Raspberry’den çıkan 5V sinyaller ses arayüzüne uygun hale getirilir.


Yazılım


Görüntü İşleme

Nesne algılama ve metin okumanın aynı anda çalıştırılmasıyla kullanıcının Vision ile o anda hem mevcut olan cisimleri öğrenmesi hem de metinleri dinlemesi amaçlanarak bu projenin yazılım çalışmalarına başlanmıştır.

Ancak bu işlem yüksek kapasiteli işlem gücü gerektirdiğinden kullanılan bilgisayar olan Raspberry Pi Zero bu, işlevleri aynı anda yerine getirememektedir.

Bu amaca ulaşmak için atılan adım, bu yazılımlar arasında geçiş yapabilecek bir sistem kurmaktır. Böylece aynı anda olmasa da kullanıcının düşüncesi dahilinde istenilen mod anahtar yardımı ile seçilebilir ve iki görev de yerine getirilmiş olur.

Kullanılan iki yazılım için seçilen makine öğrenmesi teknikleri (Yapay sinir ağları gibi) ile geliştirilmiş modeller (Tesseract OCR ve Tensorflow), projenin amacına en uygun ve yaygın oldukları için seçilmiştir.

Tesseract OCR / Optik Karakter Tanıma

Tensorflow


Nesne Algılama

Vision’da nesne algılama, Tensorflow’un Object Detection API’si ile geliştirilen bir model kullanılarak yapılmıştır. Bu model ve üzerine eklenen bu proje için geliştirilmiş özgün veri aktarım yazılımı “BLINDSOFT_TRANSFUSION.py” ile kamera kadrajında bulunan herhangi bir nesnenin tanımı, yönü ve uzaklığı belirlenip kullanıcıya kulaklıktan bildirilebilmektedir. Şimdilik 90 nesne Vision’a tanımlanmıştır fakat bunun kolayca geliştirilebilmesi mümkündür.

Kurulum aşamaları:

  • Tensorflow
  • OpenCV
  • Protobuff Paketi
  • Object Detection API
  • Ejde Electronics’in modeli

Raspberry Pi Zero Uyumluluk Çalışmaları:
OpenCV, tensorflow ve protobuff versiyonları Zero’daki ARMv6 işlemci için uygun olanları ile değiştirilmiştir.

FPS kıyaslaması:
Raspberry Pi Model 3: 0.8 FPS
Raspberry Pi Zero: 0.07 FPS

“Object_detection_2.py”

  • Nesne tanımlama işlemini yapar.
  • PiCamera ve Webcam ile uyumludur.
  • Nesnelerin tanımlamalarını yaparak onları etiketler.
  • Nesnelerin konularını da başlangıç ve bitiş olarak belirler. (Örn. Xmin, Xmax, Ymin, Ymax)
  • Bu verileri bir for döngüsünde kadrajdaki tüm cisimler için hesaplar ve “classtransfer()” fonksiyonu ile bu proje için geliştirilmiş yazılımı olan “BLINDSOFT_TRANSFUSION.py”a aktarır.

classtransfer(classes,boxes,IM_WIDTH,IM_HEIGHT,lang)

Parantez içerisinde belirtilen değişkenlerin anlamı:

  • 1-classes; tanımlanan nesnenin türü
  • 2-boxes; Xmax, Xmin, Ymax ve Ymin değerleri
  • 3-IM_WIDTH,IM_HEIGHT; pencerenin boyutu, 640×480
  • 4-lang; nesnenin hangi dilde tanımlanmasının istendiği

BLINDSOFT_TRANSFUSION.py

Classtransfer() fonksiyonuyla nesnenin tanım kelimesi, genişlik, yükseklik, Xmin, Xmax, Ymin ve Ymax değişkenleri “BLINDSOFT_TRANSFUSION.py”a aktarılmış olur. Böylece bu yazılımda hem gelen veriler sayesinde nesnenin uzaklığı hesaplanabilir hale gelir hem de tüm verilerin metinden sese çevirme ile kullanıcıya aktarılabilmesi kolaylaşır. Nesnelerin ne kadar uzakta olduğunun hesaplanması için trigonometrik oranlar ve Pisagor Teoremi kullanılmıştır.

Yeşil olarak gösterilen değişkenler piksel cinsindendir. İfade ettikleri: 

Wa = IM_WIDTH ifadesine de eşittir, kadrajın genişliğidir. Bu projede 640 değerindedir,
Wo = ∣Xmax – Xmin∣ ifadesine eşittir, örneğimize göre 100 pikseldir,
W1 = ∣kadrajın yatayda orta noktası – cismin yatayda orta noktası∣ ifadesine eşittir, nesnenin orta noktasının yatay bileşeninin bulunduğu düzlemin orta noktasına olan uzaklığını belirtir.

Turuncu ile yazılan ve X harfi ile başlayan değişkenler ise tanımladığımız bu piksel değerlerinin santimetre cinsinden karşılığıdır: 

Vision’a tanımlanmış her nesnenin ne kadar genişlikte olduğu da (santimetre cinsinden) önceden belirtildiği için bu piksel değerlerin, Şekil 13’de de görüldüğü gibi oranlanması ve trigonometrik bağıntılar ile pisagor teoreminin kullanılması sayesinde nesneye olan gerçek uzaklık bulunabilir.
classtransfer()” fonsiyonu ile gönderilen diğer bir değişken olan “lang” değişkeni ile de Vision’un hangi dilde tanımlama yapacağı belirtilir. Bilgegöz/Vision; Türkçe, İngilizce ve Almanca olmak üzere 3 dil desteklemektedir. Cihaza daha fazla dil eklenebilir.
Nesnelerin hangi yönde bulunduğu ise nesnenin ve kadrajın orta noktalarının kıyaslaması ile yapılır.


OCR – Optik Karakter Tanıma

Bu Vision’un anahtar ile arasında geçiş yapılabilen 2 moddan ikincisidir ve Tesseract OCR ve Espeak yazılımları kullanılarak çalıştırılmaktadır.
Tesseract OCR sayesinde kamera kadrajında görülen herhangi bir optik içerik, metin haline çevrilir. Tesseract OCR yazılımı gözetimli makine öğrenmesi yöntemini kullanır ve kendisine daha önceden etiketlenmiş(tanımlanmış) tüm karakterleri tanıyabilir.

“tesseract /home/pi/ocr/images/1.jpg stdout”

  • Python’daki OS kütüphanesi kullanılarak komut satırına verilir.
  • “Object_detection_2.py” tarafından çalıştırılır.
  • Kendisine o anda sağlanan karedeki optik karakterlerin metne çevrilmesini sağlar.
  • Bu işlem, kamera tarafından sağlanan video görüntüsünün her karesi için tekrarlanır. Ve sürekli olarak kameranın görüntülediği metin yenilenerek kullanıcıya sesli olarak iletilir.

Metinden Sese Çevirme

“BLINDSOFT_TRANSFUSION.py” yazılımındaki metinlerin sesli olarak kullanıcıya aktarılabilmesi için Espeak adında bir kütüphane kullanılır. Bu kütüphane:

Türkçe, İngilizce ve Almanca da dahil olmak üzere 51 farklı dilde ve 6 farklı ses tonunda çalışabilmektedir.

Çalışması için gerekli komutlar da yine OS kütüphanesi ile kullanılarak verilmektedir.

“espeak -vtr ” + output + ” 2>/dev/null” komutu ile Espeak’a bir metinsel içerik sağlanır,
Ses dosyası elde edilir, Bu dosya raspberry pi’de oynatılarak seslerin kullanıcıya ulaşması sağlanır,
Her kare için gelen metne bunun uygulanması ile metinlerin sürekli olarak okunması sağlanır.


Görme Engelliler Derneği İle Anket

İzmit görme engelliler derneği ile bir kahvaltı etkinliğinde cihaz denettirilerek Bilgegöz projesi için kullanım deneyimleri ve geliştirme önerileri hazırlanan anket sayesinde alınmıştır. Alınan eleştiri ve öneriler sayesinde Bilgegöz projesinin yeni geliştirme planları yapılarak farklı kullanım senaryolarına uygun farklı prototipler oluşturulmuştur. 

Uygulanan anket sonucu elde edilen öneriler:

  • Kameranın konumu konusundaki seçeneklerin artırılması (Gözlük, cep telefonu, şapka, göğüs, kol…)
  • Navigasyon ve engel uyarı sisteminin eklenmesi
  • Ayarlanabilir ses özelliği ve daha yüksek ses
  • Cihazın boyutlarının küçültülmesi ve hafifletilmesi
  • Kişilerin yüzlerini tanıması

Son Geliştirmeler


Bilgegöz İkinci Sürüm

Bilgegöz projesinin yazılımı farklı konfigürasyonlarla farklı kullanım senaryoları için üretilmiş cihazlara da uyumludur.

Mobil Uygulama Sürümü (Android)

Bilgegözün yazılım altyapısı Android Studio ve Java formatına uygun hale getirilerek Bilgegöz mobil uygulaması Android için üretilmiştir. Böylece kullanıcılara bu teknolojiyi kullanmak için sunulan sistemlerin sayısı artırılmıştır.


Bulgular


  • Bu projede görme engellilere yardımcı olması amacıyla onlara kulaklıktan nesne tanımlama ve metin okuma hizmetleri sunulmaya çalışılmıştır.
  • Nesne tanımada %97’ye varan doğruluk oranında tanımlama işlemi yapılmıştır.
  • Bu hizmetlerin bir kamera ile optik tabanlı bir sistem geliştirilmesi ile en uygun yapılabileceğine varılmıştır.
  • Bu hizmetler ergonomi bakımından en uygun olan kol saati biçiminde bir cihaz üretilerek sunulmuştur.
  • Gövdenin üretiminde 3B yazıcı kullanılarak amaca uygun, sağlam ve hafif bir tasarım yapılmıştır.
  • Cihazın bileğe rahat bir şekilde takılabilmesi için ve maliyeti de düşürmek için çanta kayışından kordon üretilmiştir.
  • Bağlantı noktaları kullanıcı için en uygun noktalara yerleştirilmiştir.
  • Cihazın enerji gereksinimleri hesaba katılarak 2600mAh 3.8v değerinde bir bataryanın en uygun olduğuna karar verilmiştir.
  • Tüm yazılımların çalışacağı işlem birimi olarak ise Raspberry Pi Zero, küçük boyutlarından ve uygun maliyetinden dolayı tercih edilmiştir.
  • TP4056 sarj entegresi kullanılarak cihazın her zaman rahatlıkla şarj edilebilmesi sağlanmıştır.
  • Bir Dc-Dc Step-Up voltaj dönüştürücü kullanılarak Raspberry Pi için uygun gerilim sağlanmıştır.
  • Cihazın dijital ses çıkışının yapılabilmesi için analog sinyaller dijital sinyaller ile PWM kullanılarak taklit edilmiştir. Ve Raspberry Pi’nin ses çıkışının kullanım için istenen aralığa getirilmesi maksadıyla bir alçak geçiş filtresi (Low Pass Filter) tasarlanmıştır. Bu, Vision’un ses kartı olarak isimlendirilen ve proje için özel olarak üretilen elektronik elemandır.
  • Vision’un kamerası olarak piyasadaki en küçük boyutlu bir web kamerası seçilmiştir. Aynı zamanda bu kameranın maliyeti de oldukça düşüktür.
  • Vision’un nesne tanıma ve metin okuma modları arasına geçiş yapılabilmesi için bir devirmeli anahtar (toggle switch) kullanılmıştır.
  • Nesne tanıma için Tensorflow ve OpenCV kütüphaneleri kullanılmıştır.
  • EjdeElectronic’in “Object_detection_2.py” yazılımı modifiye edilerek nesnelerin tanımlanmasının yanında mesafe/konum ölçme ve sese dönüştürme amacına uygun hale getirilmiştir.
  • Metin okuma için, Tesseract OCR kütüphanesi kullanılmıştır. Bu kütüphanenin kullanılması için gerekli kodlar “Object_detection_2.py” yazılımına eklenmiştir.
  • Nesnelerin tanımları(Örnek: araba), konumları(Örnek: kuzeybatı), uzaklıkları ve metinlerin sesli olarak kullanıcıya söylenmesi için Espeak adında bir “text to speech” yazılımı kullanılmıştır.
  • Bu cihaz ile nesne tanıma ve metin okumanın aynı anda çalışabileceği ispatlanmış ve böylece de görme engelli insanlara bu iki hizmeti eş zamanlı olarak sunulması ile onların gerçek hayatlarını daha kolay sürdürmeleri sağlanmıştır.
  • Basit ve düşük maliyetli bir bilgisayar ile web kamerası ile bile optik tabanlı makine öğrenmesinin güçlü yapısı sayesinde hata oranı oldukça düşük sonuçlara erişilebileceği ispatlanmıştır.
  • Aynı zamanda görme engellilere yardımcı sistemler için çok karmaşık ve pahalı cihazların yanında 100 TL gibi çok cüzi bir maliyete sahip bir cihazın da yeterli performansı göstererek amaca uygun bir şekilde nesne algılama ve metin okuma görevlerini yerine getirebileceği gösterilmiştir.
  • Böylece, oldukça basit bir tasarıma sahip fakat güçlü ve hedef doğrultusunda geliştirilmiş yazılıma sahip bir cihazın başta görme engelli yardımcı sistemleri olmak üzere sağlık cihazlarında maliyeti çok etkili bir şekilde aşağı çekebileceği ispatlanmıştır.

Sonuç ve Tartışma


Projede görme engelli insanlara eşlik eden yardımcı bir sistem geliştirilmiştir. Kol saati biçiminde bir cihaz üretilerek bu cihazın üzerine yerleştirilen kamera ve makine öğrenmesi ile nesne algılama ve metin okuma uygulamalarını birleştirip sesli olarak kullanıcıya bilgi veren bir yazılım geliştirilmiştir. Python programlama dili kullanılmıştır. Tensorflow ve OpenCV ile nesne algılama yapılması sağlanmıştır. Metin okuma Tesseract OCR yazılımı ile, metinden sese çevirme ise Espeak yazılımı ile yapılmıştır.

Dünyada ilk defa geliştirilen bu sistem ile görme engellilerin hayatı kolaylaştırılmış olacaktır. Ayrıca maliyetinin oldukça az olması sayesinde sosyoekonomik durumu düşük olan bireyler dahil herkesin kolaylıkla bu teknolojiyi temin ederek hayatlarını kolaylaştırması sağlanır. Bu ve benzer çalışmalara başlangıç yaparak Türkiye’nin teknolojik ürünlerde dışa bağımlılığını azaltmaya destek olacaktır. Bu sistemin üretime geçirilmesi, ülke ekonomisine hem ihraç edilmesi ile hem de yeni iş imkanları açması ile katkı sağlayacaktır.


Öneriler


  • Nesne algılama ve metin okuma hizmetlerinin bir anahtar ile aralarında geçiş yapılması bu projenin ilk aşaması olarak yeterlidir. Ancak bir sonraki aşamada, daha yüksek işlem gücüne ve belleğe sahip bir bilgisayar kullanılarak bu hizmetlerin tam eş zamanlı olarak verilmesi planlanmaktadır. Eğer bu yapılırsa cihaz, nesne veya metin olarak gördüğü her şeyi kullanıcının düşünüp mod değiştirmesine gerek kalmadan ona bildirebilir. Örneğin cihaz, nesne algılarken görüntü içerisinde metinsel bir içerik de mevcut ise metnin olduğunu kullanıcısına bildirmesi ile kullanıcısının daha doğru karar vermesini sağlayabilecektir. Tam eş zamanlı bir sistem kurmak için bazı yazılım geliştirmeleri de gerekmektedir. Bu iki hizmetin aynı anda çalıştırılabilmesi iki yöntem ile mümkündür. Birincisi, iki yazılım aynı programda harmanlanarak her kare için art arda çalışması sağlanabilir. İkincisi, iki yazılımın paralel çalıştırma yöntemi ve bilgisayarın da birden fazla çekirdeğe sahip olması ile sağlanabilir.
  • Bilgegöz’ün boyutunun ilerleyen zamanlarda teknolojinin gelişmesi gelişmesine paralel olarak küçülmesi sağlanabilir. Çok daha küçük bir kol saati boyutuna getirilmesi kullanılacak olan elemanların küçüklüğüne bağlıdır. Batarya ve bilgisayar teknolojisinin gelişmesine bağlı olarak daha küçük bir batarya ve bilgisayar kullanılarak çok küçük boyutlara yaklaşılabilir. Eğer yeteri kadar küçük boyutlu malzemeler tedarik edilebilirse bu projedeki sistem normal bir kol saati gibi çalışan bir saate bile entegre edilerek görme engelli insanların çok daha normal görünümlü bir aleti kollarında taşımaları sağlanabilir.
  • Bilgegöz’ün elektronik elemanları birbirlerine ince kablo ve lehim yöntemi kullanılarak bağlanmıştır fakat ileri aşamalarda bir PCB tasarımı yapılarak Vision’ın kendi devresi geliştirilebilir. Böylece Raspberry Pi Zero dahil cihazda oldukça yer kaplayan elemanlar yerine sadece devre üzerinde çok küçük alanları kaplayan yüzey montajlı (SMD) entegreler kullanılarak cihazın boyutu ciddi miktarda küçültülebilir.
  • Kullanılan düşük fiyatlı web kamerası yerine daha yüksek çözünürlüklü bir kamera kullanılarak doğruluk oranı artırılabilir.
  • Cihazın boyutunu küçültebilmek ve işlem gücünü artırıp yazılımların daha yüksek hızlarda çalışabilmesini sağlamak için Raspberry Pi Zero yerine daha iyi işlemciler kullanılabilir. Bu öneri de PCB baskı önerisinin bir parçasıdır çünkü Raspberry Pi’lardan daha küçük boyutlara inebilmek için günümüzdeki cep telefonu ve bilgisayarlarda bulunduğu gibi işlemci tedarik edilip devre üzerine takılması gerekmektedir.
  • Daha verimli bir batarya ile hacim küçültülüp enerji kapasitesi yani çalışma süresi artırılabilir.
  • Ses kartı daha fazla geliştirilerek gürültü önleyici entegrelerin kullanılması ile daha kaliteli bir ses çıkışı elde edilebilir.
  • Eğer yapılacak geliştirmeler ile cihazın internet erişimi sağlanabilirse;
    • Çevrimiçi görüntü işleme modelleri ile daha fazla nesne daha yüksek doğrulukla tanımlanabilir.
  • Yüz tanıma sistemi eklenebilir. (Karşıdaki kişinin tanınması)
    • Yüz ifadelerinin ve duyguların algılanması sağlanabilir.
    • Hava durumu tahminleri kullanıcıya sunulabilir.
    • Her kullanıcının yeni nesne ekleyebilmesi mümkün hale getirilebilir.
    • Yol tarifi verilebilir.
    • Yemekler algılanarak besin değerleri ve kullanıcının diyeti kendisine bildirilebilir.
  • Ayrıca cihazca çeşitli sağlık sensörleri eklenerek kişinin sağlık bilgileri takip edilebilir.
  • Bilgegöz, görme engelli insanlar için bir “Akıllı Kişisel Asistan” görevi görerek onların daha birçok ihtiyacını da gidererek onların hayatlarını kolaylaştırabilir.

Yapılabilirlik ve Yaygın Etki


  • Vision, oldukça basit bir mekanik ile elektronik yapıda olmasına rağmen gelişmiş ve karmaşık yazılıma sahip olmasından ve 3B yazıcıdan faydalanmasından dolayı üretimi oldukça kolaydır.
  • Cihazın seri üretime geçebilmesi için kalan tek aşama PCB tasarımıdır. Artık Bilgegöz tamamen seri üretilebilir hale gelecektir.
  • Ayrıca projenin 3B tasarım dosyaları, devre şemaları ve yazılımı açık kaynaklı olarak paylaşılarak dünyanın her yerinden insanların bu cihazı ucuz bir şekilde üreterek kullanmaları sağlanabilir.
  • Vision bir görme engelli insanın hayatında en çok ihtiyaç duyduğu nesne tanıma ve metin okuma işlemlerini aynı anda yerine getirdiği için onların hayatında büyük bir etki sağlayabilecek bir potansiyele sahiptir.
  • Cihazın düşük maliyeti sayesinde herkes için erişilebilir olması sağlanmıştır.
  • Bu proje ile makine öğrenmesinin özellikle görme engellilerin hayatında kullanılması ile ilgili öncü bir çalışma yapılmıştır. Bu çalışmanın ilerleyen zamanlarda benzer yeni teknolojilere ve projelere model olacağı düşünülmektedir.

Bu Projenin Aldığı Ödüller


40. Pekin Genç Bilim Yarışması (BYSCC) Temsilcisi 2020

Pekin Bilim ve Teknoloji Kurumu / Pekin’de düzenlenecek olan 40. Pekin Genç Bilim Yarışması’nda Türkiye temsilcisi olarak seçildi

Ulusal TÜBİTAK 2204-A teknolojik Tasarım Üçüncüsü

TÜBİTAK (Türkiye Bilimsel ve Teknolojik Araştırma Kurumu) / 50. Lise Öğrencileri Araştırma Projeleri Final Yarışmasında Teknolojik Tasarımda 3. sırada

OKSEF 2019 Birincisi (Enerji ve Mühendislik Kategorisi)

Oğuzhan Özkaya Eğitim Kurumları / Oğuzhan Özkaya Okullarında düzenlenen OKSEF’te (Oğuzhan Özkaya Eğitim – Karademir Bilim Enerji Mühendisliği Fuarı) Enerji ve Mühendislik kategorisinde birincilik


Sunu Kutucuğu



Bilgegöz Projesinin Fotoğrafları



Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir