実家が隣

実家が隣にあります。
母親は元保育士です。
子どもの面倒をよく見てもらってます。
周りにはいいねとよく言われますが謙遜して『そんな事ないよ、実家が隣にあると色々大変な事もあるよ』と言いますが、中には嫌みに聞こえるみたいで変な顔されます。
どう答えたほうが正解ですか？
不器用なので返し方が分かりません。