borrar unset pero *.xml como se hace

quiero borrar todos los archivos xml de mi servidor

yo se que para borrar un archivo es con unset pero si pongo :

<?php
$direcion="*.xml";
unlink($direcion);

esto falla porque?

unlink acepta es nombre de archivos, no patrones. Sin embargo, puedes apoyarte de glob

saludos