Перемещение данных SQL Server ограниченными порциями (1000 строк)

Просто ВСТАВЬТЕ результат УДАЛИТЬ:

WHILE 1=1
BEGIN

    WITH EventsTop1000 AS (
    SELECT TOP 1000 * 
        FROM Events
      WHERE <yourconditionofchoice>)
    DELETE EventsTop1000
        OUTPUT DELETED.* 
        INTO EventsBackup;

    IF (@@ROWCOUNT = 0)
        BREAK;
END

Это атомарно и последовательно.

используйте INSERT с предложением OUTPUT INTO для хранения идентификаторов вставленных строк, затем DELETE, присоединяясь к этой временной таблице, чтобы удалить только эти идентификаторы

DECLARE @TempTable (YourKeyValue KeyDatatype not null)

INSERT INTO EventsBackups
    (columns1,column2, column3)
    OUTPUT INSERTED.primaryKeyValue
    INTO @TempTable
    SELECT
        top 1000
        columns1,column2, column3
        FROM Events

DELETE Events
    FROM Events
        INNER JOIN @TempTable  t ON Events.PrimaryKey=t.YourKeyValue 

Как насчет:

INSERT INTO EventsBackups
SELECT TOP 1000 * FROM Events ORDER BY YourKeyField

DELETE Events
WHERE YourKeyField IN (SELECT TOP 1000 YourKeyField FROM Events ORDER BY YourKeyField)

Как насчет того, чтобы не делать все сразу?

INSERT INTO EventsBackups
SELECT * FROM Events WHERE date criteria

Тогда позже,

DELETE FROM Events
SELECT * FROM Events INNER JOIN EventsBackup on Events.ID = EventsBackup.ID

или эквивалент.

Ничего из того, что вы сказали до сих пор, не предполагает, что вам нужна транзакция.

У вас есть указатель на поле даты? Если у вас нет sql, может потребоваться перейти на блокировку таблицы, которая заблокирует всех ваших пользователей во время выполнения ваших архивных операторов.

Я думаю, вам понадобится индекс, чтобы эта операция работала хорошо! Поместите индекс в поле даты и попробуйте снова!

Не могли бы вы сделать копию событий, переместить туда все строки с датами > = x, отбросить события и переименовать копию событий? Или скопировать, усечь, а затем скопировать обратно? Если вы можете позволить себе небольшой простой, это, вероятно, будет самым быстрым подходом.

Вот что я в итоге сделал:

SET @CleanseFilter = @startdate
WHILE @CleanseFilter IS NOT NULL
BEGIN
    BEGIN TRANSACTION

        INSERT INTO ArchiveDatabase.dbo.MyTable
        SELECT *
          FROM dbo.MyTable
         WHERE startTime BETWEEN @startdate AND @CleanseFilter

        DELETE dbo.MyTable
         WHERE startTime BETWEEN @startdate AND @CleanseFilter

    COMMIT TRANSACTION

    SET @CleanseFilter = (SELECT MAX(starttime)
                FROM (SELECT TOP 1000
                             starttime
                    FROM dbo.MyTable
                       WHERE startTime BETWEEN @startdate AND @enddate
                    ORDER BY starttime) a)
END

Я не тяну ровно 1000, просто 1000, поэтому он обрабатывает повторы в столбце времени соответствующим образом (что меня беспокоило, когда я рассматривал возможность использования ROWCOUNT). Поскольку в столбце времени часто встречаются повторы, я вижу, что он регулярно перемещает 1002 или 1004 строки за итерацию, поэтому я знаю, что он получает все.

Я отправляю это как ответ, чтобы его можно было сравнить с другими решениями, которые предложили люди. Сообщите мне, если с этим методом что-то явно не так. Спасибо за вашу помощь, и я приму тот ответ, который наберет наибольшее количество голосов через несколько дней.

Другой вариант - добавить процедуру триггера в таблицу Events, которая ничего не делает, кроме добавления той же записи в таблицу EventsBackup.

Таким образом, EventsBackup всегда в актуальном состоянии, и все, что вы делаете, - это периодически удаляете записи из своей таблицы событий.