Коллайдер Unity трясется после столкновения с другим коллайдером

У меня МАЛЕНЬКАЯ проблема. В Unity 3D 2020 Beta я поместил игрока со сферическим коллайдером на нем и несколько кубов (стен) с коллайдерами ящиков. Я добавил скрипт контроллера игрока к объекту игрока.

Я поместил камеру над плоскостью, где находится игрок и стены, и сделал так, чтобы игрок поворачивался в сторону положения мыши. Я использовал rigidbody.AddForce для движения в FixedUpdate функции. Скрипт контроллера плеера прилагается ниже:

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class PlayerController : MonoBehaviour
{
     [Header("Keys")]
     public KeyCode forward;
     public KeyCode backward;
     public KeyCode left;
     public KeyCode right;
     public KeyCode fire;
     [Header("Health")]
     public int hitpoints = 3;
     [Header("Movement")]
     public float speed;
     public float turningSpeed;
     [Header("Shooting")]
     public GameObject bulletPrefab;
     public Transform bulletSpawner;
     public float bulletSpeed;
     public float reloadTime;

     private float currentReload;
     private Rigidbody rb;
     private Quaternion targetRotation;
     void Start()
     {
         rb = GetComponent<Rigidbody>();
         currentReload = reloadTime;
     }


void LateUpdate()
{
    if (hitpoints == 0)
        Die();
    // Rotation
    var ray = Camera.main.ScreenPointToRay(Input.mousePosition);
    RaycastHit hit;
    if (Physics.Raycast(ray, out hit))
    { 
        targetRotation = Quaternion.LookRotation(hit.point - transform.position);
        Debug.DrawLine(transform.position, hit.point, Color.white);
    }
    transform.rotation = Quaternion.Slerp(transform.rotation, targetRotation, turningSpeed * Time.deltaTime);
    transform.eulerAngles = new Vector3(0, transform.rotation.eulerAngles.y, 0);

    currentReload += Time.deltaTime;
    // Shooting
    if (Input.GetKeyDown(fire) && currentReload >= reloadTime)
    {
        currentReload = 0f;
        GameObject bulletGO = Instantiate(bulletPrefab, bulletSpawner.position, transform.rotation);
        bulletGO.transform.position = bulletSpawner.position;
        Bullet bulletScript = bulletGO.GetComponent<Bullet>();
        bulletScript.speed = bulletSpeed;
        Destroy(bulletGO, 5f);
    }
}
void FixedUpdate()
{
    // Movement
    if (Input.GetKey(forward))
    {
        rb.AddForce(Vector3.forward * speed, ForceMode.Force);
    }
    if (Input.GetKey(backward))
    {
        rb.AddForce(-Vector3.forward * speed, ForceMode.Force);
    }
    if (Input.GetKey(left))
    {
        rb.AddForce(Vector3.left * speed, ForceMode.Force);
    }
    if (Input.GetKey(right))
    {
        rb.AddForce(Vector3.right * speed, ForceMode.Force);
    }
    //transform.position = new Vector3(transform.position.x, 10, transform.position.z);
    // ON RIGIDBODY I HAVE CONSTRAINS:
    // POSITION: Y (thats why I commented the line above)
    // ROTATION: X, Z (topdown -> so I want only rotation on Y)
}

private void Die()
{
    Destroy(gameObject);
}

}

Но проблема в том, что когда игрок очень сильно ударяется о стену, коллайдер сфер начинает трястись, и игрок не смотрит точно на положение мыши (в большинстве случаев оно находится где-то в 10 градусах от стены - это зависит от того, насколько сильно я ударил по стены).

Я могу записать, если это поможет. Если вам нужна какая-либо информация, не стесняйтесь спрашивать! Любая помощь будет оценена по достоинству! :)