Abuela de mi hijo no permite el contacto entre mi pareja, yo y mi hijo

Yo tengo una hija nacida el 18 de diciembre del 2017, hay mala relación de mi parte con la madre y padrastro de mi pareja, no así con el padre.
Mi pareja tiene 19 años y yo 19 igual, la cosa es que ella tiene prohibido que mi pareja venga a mi casa con la niña por temas de morbosidad (sexo, relaciones y eso).

Yo no voy a su casa por que el padrastro al momento de saber que la niña estaba embarazada el me golpeo y amenazó lo cual produjo que yo por meses me callara y hiciera lo que ellos me decían hasta que recurrí a contarle el hecho a mi familia por lo que ellos me dieron la orden de no ir más para su casa. Que puedo hacer yo como papá si quiero ver a mi pareja y a mi hija pero la Sra. no deja que eso pase, incluso quería verla este finde por fuera de la casa y no dejo tampoco que salieran a dejármela.

Ignacio S.