علامه آیت الله حسن زاده ­ی آملی از شاگردان مشهور علامه طباطبایی- نوشته است: در شب پنج شنبه 21 رجب المرجب 1387 هـ.ق از محضر مبارک علامه طباطبایی با تنی چند از افاضل دوستان استفاده می ­کردیم، در حاشیه­ ی درس سخن از استادش مرحوم آقا قاضی و اساتید و شاگردان او به میان آمد، از آن جمله فرمودند:

"آن مرحوم اساتید بسیار دیده است و چند نفر را نام بردند تا این که فرمودند پدر او مرحوم حاج میرزا حسین قاضی تفسیر و سوره­ ی انعام نوشته و من دیدم، ولی اکنون نمی­دانم کی دارد و در دست کیست."

و فرمودند:

حاج میرزا حسین قاضی از شاگردان مرحوم میرزای شیرازی بود و چون از نزد میرزا خواست خداحافظی کند و به تبریز برود، مرحوم میرزا به او گفت، حالا که می­روی شب و روز یک ساعت به خود بپرداز. بعد از چندی که مرحوم میرزا از دیگران درباره­ ی مرحوم حاج میرزا حسین قاضی حال پرسید. در جواب گفتند، آقا آن یک ساعت تبدیل به بیست و چهار ساعت شده که همواره در مراقبت و حضور و عزلت است، اما عزلتی که (هرگز میان حاضر و غایب شنیده­ ای من در میان جمع و دلم جای دیگر است)

"در این واقعه شیرین و دلنشین هم باید از تاثیر نفسانی میرزای شیرازی سخن گفت و هم از قابلیت مرحوم میرزاحسین قاضی که هم فاعل در فاعلیت تام بوده و هم قابل در قابلیت، تاثیر نفوس مستعده این چنین است!"

نظری، مرتضی. آن مرد آسمانی: خاطره ­های از زندگی فیلسوف بزرگ شرق، آیت الله سید محمدحسین طباطبایی. تهران: دفتر نشر فرهنگ اسلامی، ‎1382. ص. 62