SocketException Операция над сокетом не может быть выполнена из-за того, что в системе недостаточно места в буфере или из-за того, что очередь переполнена.

Ваш цикл while вызывает BeginReceiveFrom() с очень высокой скоростью. Пока операционная система не отключится и не откажется выделять больше ресурсов, не должно пройти более доли секунды.

Вам придется сделать это по-другому, вызывайте BeginReceiveFrom только после того, как вы что-то получили. В DoReceiveFrom().

Что я делаю, так это использую класс StateObject, который содержит объект IAsyncResult. Это следует использовать как для TCP, так и для UDP. Вот пример для UDP.

    // Used for receiver to signal client that data has been received
    // 'readonly' for .Net 4.8
    private readonly ManualResetEvent receiveDone = new ManualResetEvent(false);

    /// <summary>
    /// Supports async receive on UDP socket
    /// </summary>
    private class StateObject
    {
        // Client socket.  
        public UdpClient workSocket = null;
        // Receive buffer.  
        public byte[] buffer;
        // Received data string.  
        public StringBuilder sb = new StringBuilder();
        //public int bytesRead;
        // receiver state
        public IAsyncResult result;

        public delegate void RecvMethod(IAsyncResult result);

        public void BeginReceive(RecvMethod recvMethod, UdpClient udpClient)
        {
            // Set the socket
            workSocket = udpClient;
            // start async receiver
            result = workSocket.BeginReceive(new AsyncCallback(recvMethod), this);
        }
    }

Метод Receive (вызываемый клиентским приложением) проверяет свое состояние и срабатывает только в том случае, если получатель не просигнализировал (используя ReceiveDone) и IAsyncResult.Completed имеет значение false.

Это ключевой момент: если приемник все еще активен, не запускайте его снова, иначе вы тратите системные ресурсы. Это требует еще одного сокета и буферной памяти, что укусит ваше приложение, обычно когда вы пытаетесь связаться с устройством, которое находится в автономном режиме.

    /// <summary>
    /// Set up async receive handler
    /// </summary>
    /// <returns></returns>
    public void Receive()
    {
        // if receiver running, no packet received - do not restart receiver!
        // did receiver signal done?
        if (receiveDone.WaitOne(0))
        {
            // yes - do not restart receiver!
        }
        // is receiver still running?
        else if (CurrentState.result != null && !CurrentState.result.IsCompleted)
        {
            // yes - do not restart receiver!
        }
        else
        {
            // Begin receiving the data from the remote device.
            CurrentState.BeginReceive(ReceiveCallback, udpClient);
        }
    }

Обратный вызов получения выглядит следующим образом:

    /// <summary>
    /// End receive (with blocking) and process received data into buffer
    /// </summary>
    /// <param name="ar">Information about the async operation</param>
    private void ReceiveCallback(IAsyncResult ar)
    {
        // Retrieve the state object and the client socket
        // from the asynchronous state object.
        StateObject st = ar.AsyncState as StateObject;
        UdpClient client = st.workSocket;

        try
        {
            st.buffer = client.EndReceive(ar, ref receivePoint);
            // Read data from the remote device.
            receiveDone.Set();
        }
        // Since this is a callback, catch any error
        // ObjectDisposedException has been seen
        catch (ObjectDisposedException)
        { }
        // "An existing connection was forcibly closed by remote host" has been seen
        // see https://stackoverflow.com/questions/38191968/c-sharp-udp-an-existing-connection-was-forcibly-closed-by-the-remote-host for further information
        catch
        {
        }
    }