Legalmente no existe que yo sepa ningún impedimento para realizar otro tipo de actividades mercantiles en ese local, no obstante si la otra parte quiere que se siga dedicando al comercio de ropa, vd. no puede hacer nada.
Es algo que depende de la voluntad de las partes