no deberías usar dos colliders, sino solo uno. Lo que yo haría es saber cual es la rotación actual del objeto para que cuando choque con el collider lo lleve hacia donde quiero
