Lo más seguro es que vyas al notario requiriendole para que le notifique que queda sin efecto.
Más barato e igual de práctico sería notificarselo mediante burofax con certificación de texto.
Y más todavía que te entregara el poder haciendole firmar que queda sin efecto. Y lo digo, sin dudar de la buena fe de nadie, porque en ocasiones la simple retirada no es suficiente debido a que en la escritura de poder se suele facultar a los letrados para soplicitar copia del misma.
No obstante es de suponer que con la simple notificación al letrado será suficiente.