Ketika sedang shalat tahajjud, dia melihat anaknya yang masih kecil bangun disampingnya. Dia merasa kasihan kepada anak itu karena malam begitu dingin. Oleh Karena itu Dia berkata, “Anakku, tidurlah! Malam masih panjang.” Namun, anak itu berkata,” Tetapi mengapa ayah bangun?”
Abu yazid menjawab,” Anakku, Dia telah memintaku agar bangun untuk-Nya.” Anak itu berkata,” aku telah menghafal firman Allah Swt., Sesungguhnya Tuhanmu mengetahui bahwasanya kamu berdiri (shalat) kurang dari dua pertiga malam, atau seperdua malam atau sepertiganya dan (demikian pula) segolongan dari orang -orang yang bersamamu.(QS AL Muzzamil [73]: 20) Siapakah mereka yang berdiri bersama Nabi Saw.?”
Abu yazid menjawab,”Mereka adalah para sahabatnya” Anak itu berkata, “Jangan larang aku untuk menemanimu dalam ketaaatan kepada Allah.”
Abu yazid kebingungan dan berkata,” Anakku, kamu masih kanak-kanak, belum baligh”
Anak itu berkata,”Ayah, aku melihat ibu menyalakan api dari potongan-potongan ranting yang kecil lalu menjalar ke kayu yang besar. Aku takut Allah menyiksa kami (anak-anak) lebih dahulu daripada orang-orang dewasa jika kami lalai untuk taat kepada-Nya.”
Ketika itu, Abu yazid merinding karena takut kepada Allah. Dia berkata “Subhanallah. Anakku, bangunlah!! Kamu lebih pantas berdiri dihadapan Allah dari pada ayahmu!!”