Hola,
El metiche de Itunes se abre porque cuando lo instalaste lo pusiste como tu reproductor por defecto (Default Media Player) o reproductor universal.
2 opciones
1.- No abras tus archivos desde el utorrent, sino desde la carpeta donde la tienes haciendo click derecho>abrir con>"lista de programas">VLC y listo.
2.- Cambia tu reproductor universal.
Abre el VLC (desde el programa y no desde un video o cancion)
Ve a la pestaña herramientas>preferencias
Una vez en esa ventana, estaras en el nivel de "interface"
Deslizate hacia abajo hasta que encuentres un boton que diga "establecer asociaciones de archivo"
seleccionalos todos y por tanto estas poniendolo como tu reproductor universal
Espero te haya servido
Suerte