no tienes que pagar nada, porque el comprador en ningún momento es sujeto pasivo u obligado tributario. El Ayuntamiento no te puede pedir que le pagues una cosa de la que no está obligado, tienes que hacer un recurso e indicarle al ayuntamiento que "se lea bien la ley" y que se de prisa en notificarle al vendedor, ya que por lo que dices de los 4 años, lo más probable es que ni te pueda cobrar a ti ni al vendedor porque prescribirá.
-Lo pactado por terceros no afecta a la administración, el problemas lo podrías tener si es el vendedor el que te reclamara a ti lo que a él le exigiera el ayuntamiento, pero aún en este caso, no estarías obligado.