Compromiso de compraventa de propiedad

Compre una casa usada con subsidio + crédito hipotecario y antes de firmar las escrituras hicimos un compromiso de compraventa dónde yo le pasé al vendedor 800.000. – pesos los cuales me tenía que devolver cuando le pagaran la casa, y quedó escrito en el compromiso de compraventa que tenía un plazo de 100 días hábiles.

El trámite se demoró más del plazo por ambas partes.
Por mi parte se demoró lo del crédito en el banco pero el se demoró casi dos meses por tener mal inscrito el rol de la propiedad en el registro Civil y después en el conservador.
Y ahora el vendedor dice que no me devolverá el dinero (los 800.000. – pesos).
Porque nos pasamos en el plazo.
Que debo hacer ya que yo no encuentro que des justo que se quede con esa plata que además me la conseguí y debo devolverla.
¿Qué debo hacer?

Maribel