¿El padre de mis hijos puede tomar alguna represalia si me voy lejos?

Quería consultar, si me voy fuera de mi comunidad autónoma un par de meses o tres por trabajo y dejo a los niños con mi pareja actual y sus padres para cuidarlos los días que yo no estoy, mi exmarido podría tomar alguna represalia o quitarme la custodia de los niños? Ahora mismo tenemos la custodia compartida y yo volvería todos los fines de semana para verlos durante ese tiempo.

No se si el tiempo que los niños pasan la custodia conmigo yo puedo dejarlos con quién quiera o si estoy obligada a convivir con ellos, ya que seria algo temporal y a muy corto plazo.
Tampoco se si para que sea seguro debería de tener algunos papeles formalizados con mi pareja actual, porque hasta el momento no tenemos nada de eso hecho, aunque si que estábamos pensando hacerlo en un futuro no muy lejano.

María Del Mar Estevez Fernández