Tübitak Kodlama Projesi – Uzaktan Kontrollü Robotik El Projesi

Merhabalar bu yazımızda sizlere internet üzerinden kontrol edilebilen bir robotik el paylaşımında bulunacağız. Sistemi farklı kılan ise el değerlerini okumak için Leap Motion adı verilen bir kızıl ötesi kamera kullanması. Projeyi inceleyelim.

Proje Adı: Robotik El Sisteminin Üç Boyutlu El Hareketleri İle Online Sistem Üzerinden Kontrolü – Tele Touch

Bu çalışmada;gerçek el hareketlerinin üç boyutlu ortamda eş zamanlı olarak robotik el tarafından taklit edilmesini sağlayan yazılımın ve mekanik sistemin kurulması amaçlanmıştır. Kurulan sistemde,el hareketleri Leap Motion’dan görüntü işleme metodu ile okunmakta, TCP/IP protokolü ile veriler robotik ele ulaştırılmaktadır. Uzaktan kontrol edilebilme kabiliyeti ile gerçekleştirilen sistem geliştirilerek;bomba imha,uzay yüzeyi için tasarlanmış insansız keşif araçları,ameliyat robotunun kullanıldığı alanlarda ve otomasyon sistemlerinde yeni gelişmelerin önünü açacaktır.

Proje yapımı üç temel aşamada planlanmıştır. İlk aşama kullanıcının el ve parmak değerlerini okumak ve robotun bulunduğu ortam bilgilerini göstermek için C# .net’te hazırlanmış arayüz yazılımını kapsamaktadır. İkinci aşamada alınan parmak ve el değerlerinin robot ele internet üzerinden ulaşabilmesi ve aynı zamanda TCP/IP protokolü üzerinde görüntü ve sensör bilgilerinin aktarımı yapabilmek için Python kodunu kapsamaktadır. Son olarak servo motorları kontrol ve sensör değerlerini okuma amaçlı Arduino platformu kullanılmıştır. Kullanıcı ellerini ve parmaklarını hareket ettirdiği zaman LeapMotion görüntü işleme yöntemini kullanarak el bilgileri dijital çıktılar olarak vermektedir. Kullanıcı bağlanmak istediği cihazın IP adresini arayüzde girdikten sonra karşı cihaza(servera) bağlanılır. Ardından kullanıcının parmak ve el hareketleri hiçbir eldiven ya da sensör kullanmadan robot el tarafından taklit edilir. Bu projede server için tercih edilen cihaz RaspberryPi olmuştur. Bu cihazdaki Python kodu clientların bağlanmasını sağlar. Bağlantı sonrasında RaspberryPi’a bağlı olan Arduino kartından sensör değerleri okunmakta ve OpenCV sayesinde alınan kamera görüntüleri birleştirilerek kullanıcı arayüzüne gönderilmektedir. Okunan değerler arayüzde gerçek zamanlı grafikler olarak çizdirilmekte ve kamera görüntüleri EmguCV aracılığı ile gösterilmektedir. Arayüzden gelen el ve parmak verileri de aynı şekilde Arduino’ya gönderilmekte elin hareket etmesi sağlanmaktadır.

https://www.youtube.com/watch?v=tMYQEaX3TbA

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir