男人不同房影响感情吗