Как изменить положение FAB со вставки на перекрытие с BottomAppBar?

В этом случае вы не можете использовать атрибут app:layout_anchor, чтобы FAB мог пересекаться с BottomNavigationView без выреза.

Вы можете использовать атрибуты ConstraintLayout, чтобы центрировать FAB по верхнему краю BottomNavView

И используйте либо 0dp возвышение на BottomNavBar, либо большое возвышение на FAB, чтобы FAB можно было положить поверх него.

Для получения дополнительной информации проверьте документацию.

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    android:layout_width="match_parent"
    android:layout_height="match_parent">

    <com.google.android.material.floatingactionbutton.FloatingActionButton
        android:id="@+id/floating_button"
        style="@style/Widget.MaterialComponents.FloatingActionButton"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        app:backgroundTint="@color/purple_200"
        app:layout_constraintBottom_toTopOf="@id/navigation"
        app:layout_constraintEnd_toEndOf="@id/navigation"
        app:layout_constraintStart_toStartOf="@id/navigation"
        app:layout_constraintTop_toBottomOf="@id/navigation"
        app:elevation="10dp"
        app:layout_constraintTop_toTopOf="@id/navigation"
        app:srcCompat="@drawable/ic_baseline_star_24"
        app:tint="@color/white" />


    <com.google.android.material.bottomnavigation.BottomNavigationView
        android:id="@+id/navigation"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:background="@color/background"
        android:visibility="visible"
        app:layout_constraintBottom_toBottomOf="parent"
        app:menu="@menu/bottom_nav_menu" />

</androidx.constraintlayout.widget.ConstraintLayout>