Это из-за того, что на воротах есть триггер, который осуществляет зум камеры, если в него зайти и выйти, то зум поменяется, но положение игрока нет. Чтобы всё норм было, нужно проходить через ворота напрямую