El tema de pegarse a los laterales de los bloques es algo que por las propias físicas de Unity funciona así por defecto y no me molesté mucho en modificarlo porque tampoco le di mucha importancia.
El hecho de que se haya salido de los límites con Q y E tiene pinta de bug, porque en verdad sí que está restringido.