返済出来れば良いと思う。。
返済期間中はローンが通りにくくなるけど、月4万×4年なら200万弱、6年でも300万いかないから家を買う前に返済できるでしょう。
私も奨学金を480万借りていたけど、3年で完済。（学生時代の貯金で3月に纏めて返済したので利子一部免除になったのと、ローンは全額返済に充てました）

後は、結婚かな。
人によっては気にすると思うけど、全額奨学金に頼っているわけじゃ無いし、私大の一人暮らしだと仕方が無いよ。