In "visibilità" ci sono tre opzioni:
"Tutti"
"I miei contatti"
"Nessuno"
Fuori da questo, salvo eventuali azioni da smanettoni, c'è solo il blocco.
Ne traggo che se li togli dalla rubrica e te li salvi, per dire, in Appunti, e poi setti la privacy su "i miei contatti", dovrebbero non vederti più, solo loro.