我老公和我在同一学校教书，他和另一女同事好上了，我们还住在同一宿舍楼，而且是学生宿舍楼，我住二楼，她住一楼，我想他经常先在她下面住半晚再上来的。有过一晚，他就在下面住了整晚，我知道他在里面，但三更半夜不敢踢门，因为我不够他打。那女的现在已怀孕，五个月了吧，小孩应该是我老公的。我说要离婚，他一点反应也没有，但他和她看来是断不了的。我也已经有了一个6岁的女儿，我该怎么办，是否该离婚？