Me quiere denunciar por abandono. Me puede quitar al niño

Denuncié al padre de mi hijo hace 2007 y mea pasado manutención hasta 2010 el nunca a echo régimen de visitas y le denunciado 2 veces más por impago de pensión y los he ganado.

Yo ahora en Madrid se me a acabado el paro y no cobro nada desde octubre y ido a bruselas un mes a buscar trabajo, el padre de mi hijo sea enterado y ahora me quiere denunciar por abandono del menor pero yo no le he abandonado le dejado con mis padres y mi hermano y el cole pagado y todo.

¿El tiene derecho a denunciarme por abandono?. Mi hijo empezó a irse con esa familia cuando tenía 4 años antes no le querían y ahora solo se le lleva la abuela en verano 1 mes y el padre solo le ve un día. El miedo que tengo que si me pueden quitar a mi hijo y que puedo hacer en ese caso.

Marta