مرحوم علامه طباطبایی پیرامون اخلاق استاد خود مرحوم قاضی و کرامت های وی چنین می­ فرماید:

من و همسرم از خویشاوندان نزدیک مرحوم میرزا علی آقای قاضی بودیم. او در نجف برای صله رحم و تفقد از حال ما به منزل ما می­ آمد. ما کرارا صاحب فرزند شده بودیم ولی همگی در همان دوران کودکی فوت کرده بودند. روزی مرحوم قاضی به منزل ما آمد در حالی که همسرم حامله بود و من از وضع او آگاه نبودم. هنگام خداحافظی به همسرم گفت:

"دختر عمو، این بار این فرزند تو می­ ماند و او پسر است و آسیبی به او نمی­ رسد. نام وی عبدالباقی است."

من از سخن مرحوم قاضی خوشحال شدم و خداوند به ما پسر لطف کرد و بر خلاف کودکان قبلی زنده ماند و آسیبی به او نرسید و ما هم نام او را عبدالباقی گذاردیم.

لقمانی، احمد. علامه طباطبایی میزان معرفت. تهران: موسسه انتشارات امیر کبیر، شرکت چاپ و نشر بین‌الملل، 1380 ،‎1382. ص. 27