1952 Aralığında Gümüşhaneli dergahı postnişini ve eski tekke arkadaşı Kazanlı Abdülaziz Bekkine‘nin vefatı üzerine, İstanbul‘a nakl olarak Fatih‘te Bulvara nazır Ümmü Gülsüm Mescidi‘nde vazife gördü. 1.10.1958 tarihinde Fatih İskenderpaşa Camii şerifine nakloldu ve vefatına kadar bu vazifede kaldı.
Vefatı
Mehmed Zahid Efendi rahmetullahi aleyh ömrünün son yıllarında rahatsız idi; ayakta gezmesine rağmen; şiddetli ağrılarından muzdaripti. 1979 yazında uzun zaman kalmak üzere gittiği Hicaz‘dan, ağır hasta olarak 1980 Şubat‘ında dönmek zorunda kalmıştı. 7 Mart 1980‘de ameliyata girdi ve midesinin üçte ikisi alındı.
Ameliyattan sonra tedricen düzeldi, hatta 1980 Ramazanı‘nda hiç aksatmadan oruç tuttu. Hatimle teravih kıldı, vaaz verdi, yazın Balıkesir Ilıca‘ya, Çanakkale Ayvacık sahiline ağrıyan ayakları için götürüldü, hac mevsimi gelince de Hicaz‘a gitti. Fakat ameliyata sebep olan rahatsızlığı nüks etmiş ve ağrılar tekrar başlamıştı. Haccı güçlükle ifadan sonra 6 Kasım 1980‘de çok ağır hasta olarak İstanbul‘a döndü. Tam bir hafta sonra 13 Kasım 1980‘de (5 Muharrem 1401) Perşembe günü öğleye yakın, dualar, yasinler, tesbih ve tehliller ve gözyaşları ile uyur gibi bir halde iken ahirete irtihal eyledi.
Cenaze namazı 14 Kasım 1980 Cuma günü İstanbul Süleymaniye Camii‘nde muhteşem, mahzun, vakur ve edepli bir cemm-i gafîr tarafından kılınarak, mübarek vücudu, Kanunî Süleyman Türbesi arkasında, kendisinden feyz aldığı hocaları ve üstadlarının yanındaki istirahatgahına defnolundu.
Bu esnada Süleymaniye, Şehzadebaşı, Fatih ve çevrelerinde trafik durmuş, Süleymaniye‘nin içi ve avlusu kamilen dolduğu gibi, cemaat sokaklara taşarak Esnaf Hastahanesi‘nin yanına kadar uzanmıştı. Vefatını duyanlar içinde Anadolu‘nun en uzak şehirlerinden olduğu kadar Avrupa‘dan gelenler de vardı. Uzakta bulunan muhiblerinden çoğu da vaktinde haber alamama yüzünden cenazesine yetişememişlerdi.
Ahlakve şemaili
Merhum uzunca boylu, şişmanca, heybetli, beyaz tenli, dolgun pembe yanaklı, uzunca ak sakallı, geniş alınlı, aralıklı kaşlı, irice başlı, gül yüzlü, sevimli; alımlı bir kimse idi. Gençken zayıf olduğunu, öksüzlükte yemek yerine yumurta içivererek böyle iri vücutlu olduğunu gülerek anlatırdı. İlk görüşte insanda sevgi ve saygı uyandıran bir hali vardı. Tanıdığına, tanımadığına selâm verir güleryüz gösterir, gönül alırdı. İlk nazarda koyu kestane renkli görünen, fakat dikkatle bakılması imkânsız, esrarlı ve derin manalı gözleri vardı. Gözü içinde kırmızılık, sırtında ve karnında ise avuç içi kadar iri bir ben mevcutlu.
Hafızası çok kuvvetli idi, konuşması tatil ve safiyane idi. Çok kere halk telaffuzu kullanır, karşısındakine söz fırsatı tanır. Kesinlikle bildiği bir şeyi bile sanki ilk duyuyormuş gibi yumuşak bir tavırla dinler, manalı ve nükteli cevap verirdi. Sohbetleri hoş, hutbeleri fevkalade celalli olurdu. Hutbe esnasında sesini yükseltir, ordu önündeki bir komutan gibi celadetle ve irticalen konuşurdu.