弟が気になって仕方ない

２才年下の弟がいます。
彼女いない歴24年。
大卒後就職したけどまだ実家に住んでいます。
仕事が終われば真っ直ぐ帰宅、休みの日は両親と出掛けたり一人で出掛けたり…友達が一人もいません。
中学時代にいじめられてから、不登校になったりしたけど本人も頑張って大学卒業しました。
でもやっぱり、他人が未だに怖いみたいでその場では話をしたりするけど、連絡先も交換せず
職場でも歓迎会や忘年会などしか参加しません。
でも弟は性格が良くて昔から可愛いです。
弟が淋しい思いをしないように、私も実家に帰りたいと思うようになりました。
旦那に話したら同居は無理と言われました。
なので、私は暇があれば弟に会いにいって一緒に出掛けたりしています。
旦那におかしいと言われたのですが、私の感情はおかしいですか？