義理きょうだいについて

結婚して1年半。同居して1年です。
夫婦中、義理母とも仲良しです。(義理父はすでに他界)

わたしの家族は小さい時に親が離婚・兄弟も6歳上と4歳上の兄がいますが(6歳上の兄は転勤族)・4歳上の兄夫婦は母と同居)私も県外に住んでいるせいか、葬式ぐらいしか揃うことがありません。
実家に帰るのも各自バラバラなので仲良しというより母親も含めて互いに興味がない家族です。気になれば各自連絡取るしと一定の距離感があります。

その家族で生活をしてきたせいか旦那の姉と兄が頻繁に実家にくるので違和感を感じます。
私が同居をしているわけですし少し控えてほしいと思うのですが、実家から近いところに住んでいる兄弟はそうゆうものなのでしょうか？

『私は母に結婚して実家に嫁がいなければ自由に出入りしてもいいが、嫁がいたらアナタは家をでた身だから自由に帰ってきてはいけないと教わり、そうゆうものだと思っていました。』

私は嫁としては何もできず、結婚前から義理母に良くしてもらったので義理母になにかあれば将来仕事を辞めてでも介護をする覚悟で同居を決めたのですが、2週間に1度のペースで義理姉+孫か兄夫婦がきます。兄嫁に関しては実家の物置で義理母と仕事をしているので私と顔は合わせませんが2日置きに来ています。

そして私の発言や態度が少しイラっとするとすごい剣幕で義理兄には怒られ、罵りられます。
旦那の顔をつぶしているとか言われたりもします。
義理兄は元ヤクザなので正直怖いです・・・。旦那は格闘技をやっているので安心ですが
私は優しい時とのギャップで疲れてしまいます。

私の発言で何かいわれるので会話もほとんどできません。顔もひきつります。
私は社交的なのですが義理兄弟とは上手くできず悩んでいます。

アドバイスをいただけないでしょうか？