Судя по всему, рука начинает прыгать в момент, когда коллайдеры едва пересекаются. В общем это баг, в основном замечал на сердцах.