Devolución de garantía antes de la mudanza

El día miércoles 25/3/ fui a ver una habitación para arrendar. Ese mismo día pagué el mes de garantía (sin firmar contrato, recibiendo un recibo que estipula que se efectúa un pago a modo de depósito) y quedamos de palabra en realizar la mudanza el día domingo 29/3/, iniciando a pagar el mes de arriendo el día miércoles 1/4/.

El día domingo 29/3/ fui con la intención de instalarme según lo acordado y la habitación no estaba habitable a pesar de la promesa del dueño, motivo por el cual no me pude quedar. Por este motivo a día siguiente (lunes 30/3/) decidí cancelar la mudanza a este sitio y notifiqué al dueño. El dueño entonces no me quiere devolver el depósito pagado, a pesar que no hayamos firmado contrato, ni me haya mudado. ¿Qué debo hacer? ¿Es legítimo mi reclamo por la devolución de la garantía?

Joaquin