Có nên kết hôn với người từng 2 lần ly hôn vợ?

Tôi gần 40 tuổi, chưa từng kết hôn, tôi có quen 1 anh hơn 5 tuổi, đã ly hôn 2 lần và có 2 con riêng. Khi biết chuyện, gia đình tôi phản đối vì hoàn cảnh của anh.