У меня игра с похожими механиками и я смог сделать вращение локальными. Просто помести камеру в дочерний объект игрока. При вращении гравитации вращай игрока, а мышкой вращай камеру.
Спасибо за совет, но он почему-то не сработал. Я решил пойти по другому пути и решил rotationY домножать на коэффицеты... Так или иначе я достиг цели!
На сцене он работал, а в игре и коде, не работает
