Arreglo de casa por tercero

El padre de mis 3 hijos hace 5 años puso 4 millones de pesos para arreglar la vivienda dónde vivíamos. Hace 3 años el se fue de la casa me depósito 4 meses pensión de alimentos y nunca más lo hizo.
Ahora yo me casé hace 2 años con otra persona con separación de bienes y el padre de mis hijos me está pidiendo vender mi casa que está solo a mí nombre y que le devuelva los 4 millones que el puso para hacer arreglos.

Yo vivo ahí actualmente con lo esposo y mis tres hijos.
Es así como dice el padre de mis hijos debo vender la casa para devolverle a el? Tengo que devolverle a el esa plata si el nunca me a dado dinero para los tres hijos que tenemos en común. La casa la compre yo está a mi nombre. Nunca me casé con el solo convivimos. Mi hijo mayor tiene 18 años y estudia. El otro 15 y estudiar. El otro 7 años y estudia.

Catalina