这取决于具体情况。根据我国法律规定，夫妻双方负有互相扶持和扶助的责任与义务。倘若在婚姻关系中，配偶中的任何一方因疾病或缺乏自理能力而需要照顾时，另一方却拒绝承担起相应的扶养义务，那么这将构成违法行为，严重的甚至可能涉嫌犯罪，触犯我国刑法中的“遗弃罪”。情节特别恶劣者，可处以五年以下有期徒刑、拘役或者管制等严厉惩罚。
《民法典》第一千零五十九条
夫妻有相互扶养的义务。需要扶养的一方，在另一方不履行扶养义务时，有要求其给付扶养费的权利。
《中华人民共和国刑法》第二百六十一条
对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
