4번 to leave 도 형용사로 가능 할 수 있을 것 같습니다. 떠나려는 의도를 가진 사람으로 불가능하지는 않을 것 같습니다. 설명이 4번은 준동사라서 불가능하다는 설명이 이해가 되지 않습니다. 반대로 그자리는 준동사의 자리가 아닌가요?
부정사가 형용사적 용법으로 쓰일 때 거의 관계는 수식을 하려는 명사는 그 부정사의 목적어가 됩니다. 그런데 본문은 목적어가 building이므로 수식을 받는 명사는 주어인 visitors 라 본다면 주어 + to 부정사 + 목적어가 되어 성립되지 않는 구조입니다. 분사가 온다면 해석이나 문장 구조 면에서 적절합니다.
현재분사도 준동사니까 준동사 자리는 맞죠! 근데 to 부정사가 의도나 예정을 의미할 때는 미래의미를 담게 되어서, 의미 상 현재분사를 썼을 때 건물을 떠나는(떠나고 있는) 방문객들은 ~~하도록 당부받는다.가 더 자연스러운 것 같아요!