Estructura

A la carpeta raiz de tu estructura agraga a los usuarios que tendran permisos sobre ella y dales como permisos :
-List folder contents
-Read and execute
-Read
Asegurate de quitar el grupo Todos (everyone) de esa lista de usuarios con permisos.
Y abajo quita la marca en la opcion : Allowinheritable permissions from parent to propagate to this object.
De esta forma no dejas que estos permisos de heredes hacia las subcarpetas y sus contenidos.

Luego en cada subcarpeta haces la misma operacion de permisos pero les das la opcion de control total.

De esa forma debe funcionarte. Un Saludo.