¿El padre de mi hijo puede llevarlo a su casa?

Mi hijo tiene 2 años y medio, hasta hace pocos días finalice mi relación amorosa con su padre, ahora el me reclama el porqué mi hijo no puede ir a su casa a visitar a su abuela materna, con quien hace dos años tuve diferencias porque el padre de mi hijo tuvo intento de suicidio acabando en una clínica psiquiátrica durante un mes (ella me culpó de todo, habló mal de mi y de mi hijo, aunque no creo que esto sea relevante, pero puede explicar mi sentir). Yo no niego visitas a esa señora a mi casa para que visite a su nieto pero la vergüenza de ella ha hecho que no sea capaz de llamarme en todo este tiempo, ni siquiera para preguntar por su nieto. La pregunta es teniendo como antecedente el intento de suicidio del padre de mi hijo (no sólo una vez, sino dos), el puede sacar a mi hijo de mi casa y llevarlo a la suya?. Además, tiene otra demanda de paternidad por gemelos, eso también influye en su expediente? (los problemas en su vida ocasionaron sus intentos de suicidio, uno en marzo del 2011 y otro en febrero del 2012).

Espero puedan responderme o guiar donde puedo ir, porque de verdad esta situación llegó hace tiempo a su limite y hasta el momento no he hecho nada concreto, y creo que el terminar la relación con el, me obliga a solucionar esta situación legalmente.

pamela