¿Cómo puedo quitarle al papá de mi hijo la convivencia?

Tengo 19 años me divorcie hace 2 meses mi hijo tiene casi 2 años y cuando viene el papá a verlo el niño llora demasiado y no se que hacer no quiero que se lo lleve a su casa pero el dice que tiene derecho por que me da la pensión del niño ya hable con el le dije que no lo busque que espere que el niño crezca un poco más pero no quiere.

Puedo hacer algo legal por mi hijo ya fui con el abogado que me ayudo con el divorcio dice que ya no se lo enseñe pero si me demanda por no prestárselo en que me perjudica a mi si el me demanda pues yo veo que el niño le tiene miedo el tenía más de 7 meses que no lo miraba y yo le digo que le de tiempo pero el dice que se lo va llevar llorando y que en su casa lo va calmar a mi me preocupa el niño con verlo se pone mal no duerme bien y todo el día llora que puedo hacer para que ya no lo vea.

Como Le Puedo Quitar Al Papa De Mi Hijo La Convivencia