Попробуйте все статичные объекты пометить как static (галочку у gameobject нажать в инспекторе). Дальше подсказать не смогу, уже на код смотреть надо, да и сам в оптимизацию не особо умею..
