Массовая вставка с помощью пакета Node mssql

Я пытаюсь вставить около 20 000 пользователей одновременно на свой сервер MSSQL из файла csv. Я создал API для своего приложения Angular2 и проанализировал файл csv в формате JSON. Но теперь я как бы застрял, я нашел ответ на этот вопрос более чем двухлетней давности, так что он больше не работает. Любая помощь?

Это код, который я уже использую:

//Insert gebruikers from CSV file
router.post('/gebruikers/csv', type, (req, res) => {

    fs.readFile(req.file.path, 'utf8', function (err, csvData) {
        if (err) {
            res.send("error in file reader: " + err);
            return console.log(err);
        }
        csvParser(csvData, {
            delimiter: ',',
            columns: true
        }, function (err, json) {
            if (err) {
                res.send("error in csvParser: " + err);
                console.log(err);
            } else {
                console.log(json);
                //I think the query should be done here... 
            }
        })
    })
});

Заранее спасибо!!

ИЗМЕНИТЬ

Используя этот код прямо сейчас, он возвращает эту ошибку:

TypeError: parameter.value.getTime is not a function

Код:

router.post('/gebruikers/csv', type, (req, res) => {

    fs.readFile(req.file.path, 'utf8', function (err, csvData) {
        if (err) {
            res.send("error in file reader: " + err);
            return console.log(err);
        }
        csvParser(csvData, {
            columns: true,
            ltrim: true,
            rtrim: true
        }, function (err, json) {
            if (err) {
                res.send("error in csvParser: " + err);
                console.log(err);
            } else {
                console.log(json);
                const table = new sql.Table('[Alg].[User]');
                table.create = true;
                table.columns.add('Firstname', sql.NVarChar, { nullable: false });
                table.columns.add('LastName', sql.NVarChar, { nullable: false });
                table.columns.add('PrivateMail', sql.NVarChar, { nullable: false });
                table.columns.add('UserName', sql.NVarChar, { nullable: false });
                table.columns.add('Password', sql.NVarChar, { nullable: false });
                table.columns.add('Auth', sql.NVarChar, { nullable: false });
                table.columns.add('Enabled', sql.Bit, { nullable: false });
                table.columns.add('Created', sql.SmallDateTime, { nullable: false });
                table.columns.add('Manual', sql.Bit, { nullable: false });
                table.columns.add('LastChanged', sql.SmallDateTime, { nullable: false });
                table.columns.add('Staff', sql.Bit, { nullable: false });

                var count = Object.keys(json).length;
                console.log(count);

                for (i = 0; i < count; i++) {
                    table.rows.add(json[i].Firstname, json[i].LastName, json[i].PrivateMail, json[i].UserName, json[i].Password, 'manual', 1, "GetDate()", 1, "GetDate()", 1);
                }

                console.log("Async function started!");
                const request = new sql.Request();
                request.bulk(table, (err, result) => {
                    // error checks? 
                    if (err) {
                        console.log("ERROR post bulk gebruikers: " + err);
                    }
                    else {
                        res.send("SUCCES! " + result);
                    }
                })
            }
        })
    })
});

ИСПРАВЛЕНО

Как указал пользователь Григорий Чуднов, мне нужен экземпляр new Date(). Я думал, что это не сработает, потому что это будет неправильный формат, но node-mssql справится с этим за меня.

currentDateTime = new Date();
table.rows.add(json[i].Firstname, json[i].LastName, json[i].PrivateMail, json[i].UserName, json[i].Password, 'manual', 1, currentDateTime, 1, currentDateTime, 1);

person Milan_w    schedule 27.04.2017    source источник
comment
Вы предоставляете строку: "GetDate()" для типа данных sql.SmallDateTime, но должен быть экземпляр Date, например: new Date()   -  person Grigorii Chudnov    schedule 28.04.2017
comment
Но GetDate() — это функция, которая должна выполняться на самом SQL-сервере? Как и в запросе, вы можете указать GetDate() в качестве переменной, и она поместит текущую дату в таблицу? Вот чего я должен добиться. Любые идеи?   -  person Milan_w    schedule 04.05.2017
comment
Если вы не хотите предоставлять new Date(), вы можете установить значение по умолчанию в схеме, например: CREATE TABLE ...... DEFAULT GETDATE(), или написать необработанный SQL-запрос.   -  person Grigorii Chudnov    schedule 05.05.2017
comment
И нет, строка, которую вы предоставляете, не будет работать на сервере. Обрабатывается библиотекой node-mssql.   -  person Grigorii Chudnov    schedule 05.05.2017
comment
О боже, я все время думал, что экземпляр Date() будет в неправильном формате... Мне очень жаль!! Большое спасибо за помощь!!!   -  person Milan_w    schedule 05.05.2017


Ответы (2)


Если вы используете библиотеку node-mssql, используйте массовая вставка для одновременного добавления нескольких записей.

Это должно выглядеть примерно так:

'use strict';

const sql = require('mssql');

const user = 'sa';
const password = 'yourStrong(!)Password';

const connStr = `mssql://${user}:${password}@172.17.0.2:1433/tempdb?encrypt=true`;

sql.connect(connStr)
  .then(() => {
    console.log('connected');

    const table = new sql.Table('my_users');
    table.create = true;
    table.columns.add('id', sql.Int, { nullable: false, primary: true });
    table.columns.add('name', sql.VarChar(128), { nullable: false });

    // add here rows to insert into the table
    table.rows.add(1, 'Alice');
    table.rows.add(2, 'Bob');
    table.rows.add(3, 'Carol');

    const request = new sql.Request();
    return request.bulk(table)
  })
  .then(data => {
    console.log(data);
  })
  .catch(err => {
    console.log(err);
  });

И вывод:

connected
{ rowsAffected: 3 }
person Grigorii Chudnov    schedule 27.04.2017
comment
Я получаю эту ошибку: TypeError: parameter.value.getTime is not a function и я предполагаю, что это потому, что я должен использовать функцию SQL getDate(). Любые идеи? Заранее спасибо!! - person Milan_w; 28.04.2017
comment
Проверьте тип, если parameter.value. Думаю, вы ожидали, что это будет Date, но это не так. чтобы проверить это, используйте: XXXX instanceof Date. Или просто выведите его значение на консоль. - person Grigorii Chudnov; 28.04.2017
comment
Я на самом деле не понимаю, что вы хотите, чтобы я проверил, я добавлю код, который я пытаюсь проверить, в свой первоначальный вопрос, если вы не хотите взглянуть? Заранее спасибо! - person Milan_w; 28.04.2017
comment
Как вы используете это с ConnectionPool? new connectionPool.Request() было моим первым предположением, но оно не сработало. - person TKoL; 28.02.2019
comment
Между прочим, понял, когда вы вызываете const request = new sql.Request();, укажите объект connectionPool в качестве аргумента, const request = new sql.Request(connectionPool); - person TKoL; 08.03.2019
comment
также будет работать как const request = connectionPool.request(); - person TKoL; 08.03.2019
comment
@JithinPariyarath Я больше не работаю с Angular2 ... Надеюсь, кто-то еще вам поможет! - person Milan_w; 11.07.2019
comment
Получение ошибки «ConnectionError: соединение закрыто» - person Aress Support; 30.10.2019
comment
Я получаю сообщение UnhandledPromiseRejectionWarning: TypeError: Невозможно прочитать столбцы свойства null для sql server 2017, и он отлично работает для sql server 2014 - person Naresh Ramoliya; 01.04.2020
comment
Мне пришлось запустить это как await sql.connect..., чтобы заставить это работать, я запускаю его в асинхронной функции. Если я не понимаю, я не лучший в асинхронном ожидании в JS. - person Michael Davidson; 20.10.2020

Я использую mysql для NodeJS, и ниже приведен код, который я использую для вставки нескольких записей в одну транзакцию:

let inserRows = [
['some content',1],
['some more content',2]
];

const connection = mysql.createConnection({
host: 'localhost',
user: 'root',
password: 'password',
database: 'testing',
});

//connection is MySQL connection

connection.query('INSERT INTO Table_Name (Content,Id) VALUES ?;',[insertRows],
(err,result) => {

if (err) {
console.log(err.message);
};

console.log(result);
person Khwaja Abdul Ahad    schedule 27.02.2021
comment
Вы написали о MySQL, но вопрос был о MSSQL. Ваше решение вообще не работает! - person user2495085; 31.03.2021