Tak Bisa Melihat, Pemuda Ini Bikin Aplikasi Berdasar AI yang Bisa Ceritakan Dunia di Sekitarnya
Aplikasi tersebut kemudian berkembang jauh melampaui fungsi awalnya sebagai alat untuk membaca dokumen.
ScribeMe kini dapat memanfaatkan kamera smartphone untuk memahami lingkungan pengguna secara real-time.
Alih-alih hanya membacakan tulisan yang tertangkap kamera, AI dapat mendeskripsikan objek dan situasi yang dilihatnya.
Pengguna juga bisa bertanya mengenai apa yang berada di hadapannya secara real-time.
Misalnya, pengguna dapat menggunakan ScribeMe untuk mengenali sebuah benda, mencari toko, mengetahui apa yang terjadi di sekitarnya, hingga memahami informasi visual yang sulit diakses menggunakan pembaca layar biasa.
Kemampuannya semakin luas setelah ScribeMe diintegrasikan dengan kacamata pintar Ray-Ban Meta.
Dengan integrasi ini, pengguna tidak perlu terus memegang smartphone dan mengarahkan kameranya ke depan.
Kamera yang terpasang di kacamata dapat menangkap lingkungan dari sudut pandang pengguna.
ScribeMe kemudian memproses gambar tersebut dan menyampaikan informasinya melalui suara.
Bagi pengguna tunanetra, konsep tersebut punya keuntungan lain, yakni kedua tangan tetap bebas.
Salah satunya tetap dapat digunakan untuk memegang tongkat ketika berjalan. Salah satu contoh penggunaannya dialami langsung oleh Karen, ketika berlibur ke Kenya pada Juni 2026.
Saat mengikuti safari, Karen menggunakan ScribeMe melalui kacamata pintar Meta. AI memberikan penjelasan termasuk apa yang sedang dilakukan hewan-hewan tersebut, dan seberapa jauh jaraknya.
Dalam kehidupan sehari-hari, Karen juga memanfaatkan aplikasi buatan kakaknya tersebut untuk menemukan ruang kelas, mengenali toko, memilih pakaian, hingga membantu belajar.
ScribeMe kini mendukung sekitar 20 bahasa, termasuk bahasa Arab.
Dukungan bahasa Arab menjadi salah satu hal yang dianggap penting oleh Mark karena ia mengaku kesulitan menemukan kemampuan tersebut pada layanan pesaing yang pernah digunakannya.
Perjalanan ScribeMe juga mendapat pengakuan melalui sejumlah kompetisi teknologi.
Salah satunya adalah Vodafone AI Assistive Tools Hackathon 2024, kompetisi yang digelar Vodafone Egypt untuk mendorong pengembangan teknologi bagi penyandang disabilitas.