このこと、義弟は何て言ってるの？
義弟に「こんなこと言われたけど、引き受けたら私が非常識と思われるから。」って義弟経由で断ってもらう。

夜伽を配偶者でもない嫁でもない血の繋がらない他人がやってたらどう考えてもおかしい。
挨拶に来た関係者もこの人誰？ってなる。
故人に近い親族一同で何とかするものでしょ。