¿Quitar patria potestad?

Quisiera que me orientaran por favor ya que yo estoy interesada en quitarle el apellido paterno a mi hijo esto fue por que por presión de mi madre le rogué al papá del niño que le diera su apellido pero el nunca a estado con nosotros ni a visto por mi hijo ahora ya tengo una pareja estable y tengo un bebé de 3 años el nos a visto incluso desde antes de que naciera mi primer bebé y me gustaría que mi hijo llevara el apellido de el ya que esta creciendo y me pregunta el por que no se apellida igual que su papá y pues a mi me gustaría cambiárselo ya que le ahorraría tal vez decepciones cuando este más grande aparte para el su papá por que el a estado cuando esta enfermo lo lleva a la escuela lo mantiene y lo ama, el papá biológico se fue a estados unidos hay forma de quitarle la patria potestad?

Y no se que hacer…

Angelica