Muito obrigado pelo feedback!
E o controle vertical não era pra ser invertido não, isso é um problema do input system da unity, porque quando ele recebe o input do analógico do controle de Xbox ele pede pra inverter o eixo Y, mas não exige isso de outros controles. Vou tentar ajeitar isso nas próximas builds que fizer no jogo, se tiver algum outro bug parecido pra reportar, pode mandar!