Suspención o pérdida patria potestad

Tengo un hijo de 6 años lo he criado sin ayuda del padre biológico, me separe de el por violencia me maltrataba y un día zamarreo a mi hijo y nos separamos (lo resumí al máximo este detalle) luego interpuse una demanda por violencia.

Me amenazo de muerte pero no concluí la demanda por la amenaza de el, de exigir visitas para mi hijo, tengo muchos testigos de su violencia hacia nosotros cuando mi hijo era bebé, después de un año de separación me involucré con otra persona la que actualmente es mi esposo quién se responsabilizo por mi hijo y a quién mi hijo conoce como padre, cuando nos hemos comunicado con el padre biológico para pedir su autorización para viajar de vacaciones con mi hijo fuera del país siempre se niega por antojo nunca me ha ayudado en lo absoluto y hoy el demandara visitas y temo por la seguridad de mi hijo, que puedo hacer para velar por la seguridad de mi bebé si la ley ampara al padre bilógico con las visitas, podre pedir perdida o suspensión de la patria potestad como resguardo a mi hijo?

Por favor necesito ayuda me preocupa esta situación y ya estoy cansada de vivir con miedos por esta persona siempre limitándonos por su personalidad tan especial, no quiero pensión ni nada solo quiero proteger a mi hijo y al fin poder decidir yo sobre mi hijo sin consultar con alguien que jamás le preocupo el bienestar del niño.

Tamara