Anular mandato dado a un abogado

Hace un 6 meses fui despedido de una empresa contrate un abogado para reclamar año de servicio y otros derechos. El problema es que me integre nuevamente a la empresa y llegamos a un mutuo acuerdo con el finiquito. El cual será pagado en cuotas mensuales.
Mi pregunta es como hago para dar de baja al abogado que tengo. Ua que en este caso solucione el problema solo.

Le firme un poder notarial y cada vez que lo llamo no contesta. Que consecuencias puedo tener al respecto.
De que forma hago para que el mandato quede nulo y no me cobre por algo que nunca hizo. Antes de haber contratado este abogado había contratado otro el cual si movilizo los papeles pero en fin nunca llegaba el finiquito. Espero puedan aclararme y guiar en este tema que es muy complejo. Desde ya muchas gracias.
Espero sus comentarios.

Osman A.