Saat itu, Amr bin Ash berencana akan membangun sebuat masjid besar di tempat gubuk tersebut dan otomatis harus menggusur gubuk reot Yahudi itu.
Lalu dipanggillah si Yahudi itu untuk diajak diskusi agar gubuk tersebut dibeli dan dibayar dua kali lipat.
Akan tetapi si Yahudi tersebut bersikeras tidak mau pindah karena dia tidak punya tempat lain selain di situ.
Karena sama-sama bersikeras, akhirnya turun perintah dari Gubernur Amr bin Ash untuk tetap menggusur gubuk tersebut.
KH Abdurrahman Arroisi dalam salah satu jilid bukunya 30 Kisah Teladan (1989) menjelaskan, si Yahudi merasa dilakukan tidak adil, menangis berurai airmatanya, kemudian dia melapor kepada khalifah, karena di atas gubernur masih ada yang lebih tinggi.
Dia berangkat dari Mesir ke Madinah untuk bertemu dengan Khalifah Sayyidina Umar bin Khattab.
Sepanjang jalan si Yahudi ini berharap-harap cemas dengan membanding bandingkan kalau gubernurnya saja istananya begitu mewah, bagaimana lagi istanya khalifahnya?
Kalau gubernunya saja galak main gusur apalagi khalifahnya dan saya bukan orang Islam apa ditanggapi jika mengadu?
Sesampai di Madinah dia bertemu dengan seorang yang sedang tidur-tiduran di bawah pohon Kurma, dia hampiri dan bertanya, bapak tahu di mana khalifah Umar bin Khattab?
Dijawab orang tersebut, ya saya tahu, Di mana Istananya? Istananya di atas lumpur, pengawalnya yatim piatu, janda-janda tua, orang miskin dan orang tidak mampu.
Pakaian kebesarannya malu dan taqwa. Si Yahudi tadi malah bingung dan lalu bertanya sekarang orangnya dimana pak? Ya di hadapan tuan sekarang.