Abdullah İbn Mes’ud, aynı zamanda son derece zâhid ve müttakî idi. Dünyevî hiçbir zevk onu çekememişti. Bundan dolayı onun emin eline verilen bütün vazifeleri en yüksek doğrulukla yerine getirir; beytü’l-mâl’in her şeyini korur ve her şeyi ancak yerine, ehil ve hakkı olana verirdi. Bu hususta o kadar itina ederdi ki: Bir defasında Sa’d b. Ebi Vakkas ile arasında bir ihtilaf oldu. Sa’d, beytü’lmâl’den bir miktar borç para almış, ödeme zamanı geldiğinde borcunu ödemediğini görünce, ona ağır sözler söylemiş ve kalbini kırmıştı.
İbn Mes’ud altmış yaşındayken hastalandı. Bir gece rüyasında Rasûlullah’ı gördü. Hz. Peygamber onu davet ediyordu.
İbn Mes’ud’un vefatı yaklaştığı zaman Hz. Zübeyr ile oğlu Abdullah yanına gelmişlerdi. Hicrî otuzikinci yılda vefat etti. Onu Hz. Zübeyr ve oğlu teçhiz ve tekfin ettiler. Sahih rivâyetlere göre cenaze namazını bizzat Hz. Osman kıldırdı. Hz. Osman b. Mazun ise onu kabrine indirdi.