我本身是北部人，工作也在北部，男友南部人。近期因一些重要的事經常需要到南部處理，男友總是要我住他們家，但他的家人已經告訴過他也告訴過我他們不喜歡家裡一直有外人，所以我一直明確的拒絕他，也一直告訴他他的家人不喜歡這樣，嘴巴都要說爛了他還是沒有要在乎他家人的感受，拒絕他之後就會表現的很不開心，請問各位，像這樣的狀況該怎麼處理呢？