Спасибо большое за отзыв!)
Надо будет поискать решение данной проблемы. Такой проблемы пока что ещё ни у кого не было и даже на совсем слабых ПК все шло более менее хорошо.
Ограничение fps есть в 144 кадра. Я сильно накосячил в плане того, что привязал физику к количеству кадров. (Заметил только потом, когда игру на стриме показывали).
Насчёт сборщика мусора ничего сказать не могу, ещё не разбираюсь, но я сделал так, чтобы все удалялось, после уничтожения. Всю графику держу в памяти, но она очень мало весит. Не знаю почему так вышло, тоже будет над чем мне продумать на будущие.