Спасибо за коммент:)
Знаем, будем думать теперь об этом не в последнюю очередь:)
Попробуйте все статичные объекты пометить как static (галочку у gameobject нажать в инспекторе). Дальше подсказать не смогу, уже на код смотреть надо, да и сам в оптимизацию не особо умею..
