Oracle — файл .CSV для нескольких таблиц одновременно

На мой взгляд, вы на ложном пути. PL/SQL, к которому вы склонны, не может превзойти SQL*Loader, особенно когда вы включаете прямой путь и параллельное выполнение.

Вот простой пример, который показывает, как это сделать.

Создание таблиц: мне лень создавать таблицы с 16 или 21 столбцом, поэтому вместо них я использую 4 (t1) и 5 ​​(t1).

SQL> create table t1 (id number, fname varchar2(20), lname varchar2(20), salary number);

Table created.

SQL> create table t2 (id number, fname varchar2(20), lname varchar2(20), salary number,hiredate date);

Table created.

Файл управления:

options (direct=true, parallel=true)
load data 
infile *

into table t1
  append
  when (1) = '4'
  fields terminated by ',' optionally enclosed by '"'
  trailing nullcols  
  (
  id position(1) integer external, 
  fname char,
  lname char,
  salary integer external
  )

into table t2
  append
  when (1) = '5'
  fields terminated by ',' optionally enclosed by '"'
  trailing nullcols
  (
  id position (1) integer external, 
  fname char,
  lname char,
  salary integer external,
  hiredate "to_date(:hiredate, 'dd-mm-rr')"
  )

begindata
4,"Laura","Bissot",6506,14-06-04
5,"Mozhe","Atkinson",1202,20-08-05
5,"James","Marlow",1244,30-10-05
4,"TJ","Olson",4345,16-02-05

Загрузка сеанса и результат:

SQL> $sqlldr scott/tiger control=test05.ctl log=test05.log

SQL*Loader: Release 11.2.0.2.0 - Production on Pon Kol 27 15:21:17 2018

Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.


Load completed - logical record count 4.

SQL> select * From t1;

        ID FNAME                LNAME                    SALARY
---------- -------------------- -------------------- ----------
         4 Laura                Bissot                     6506
         4 TJ                   Olson                      4345

SQL> select * From t2;

        ID FNAME                LNAME                    SALARY HIREDATE
---------- -------------------- -------------------- ---------- ----------
         5 Mozhe                Atkinson                   1202 20/08/2005
         5 James                Marlow                     1244 30/10/2005

SQL>

Я думаю, что самым простым решением было бы сначала сбросить все данные в таблицу PRE-Staging с помощью загрузчика Shell Script/SQL. После того, как данные будут сброшены в предварительную подготовку, вы можете написать блок/пакет PLSQL для вставки определенных строк в необходимые таблицы.

В блоке PLSQL вы можете использовать массовый сбор, чтобы максимизировать производительность.

Спасибо, Идрис.

Я согласен с @Littlefoot SQL-Loader - это естественный и быстрый способ.
Альтернативой является использование "ВНЕШНИХ ТАБЛИЦ" Oracle.

При этом вы можете использовать оператор SELECT для файлов, находящихся в файловой системе вашей операционной системы (ОС).
Например, текстовые файлы в формате CSV.

Книга: Утилиты баз данных Глава: Внешние таблицы docs.oracle.com/cd/E11882_01/server.112/e22490/part_et.htm#i436567
Функция внешних таблиц является дополнением к существующим функциям SQLLoader. Это позволяет вам получать доступ к данным во внешних источниках, как если бы они находились в таблице базы данных.
Обратите внимание, что SQLLoader может быть лучшим выбором в ситуациях загрузки данных, требующих дополнительной индексации промежуточной таблицы.

Основные шаги:

1-Создайте подкаталог в файловой системе операционной системы (ОС), в которой работает ваш экземпляр Oracle.
Например: если ОС — Windows, создайте подкаталог "IN_FILES" внутри подкаталога " ДАННЫЕ» на устройстве «C:»

Если ОС является разновидностью Linux/Unix, создайте подкаталог «in_files» внутри подкаталога «data» в корневом каталоге.

2 — В ОС предоставьте права на чтение и запись для шага подкаталога (1) пользователю ОС, работающему с экземпляром Oracle.

3-В Oracle создайте объект каталога
Вы используете полный путь в соответствии с правилами файловой системы.
Если ОС Windows, то полный путь будет выглядеть примерно так: "C:\DATA\IN_FILES"

Create directory external_info as 'C:\DATA\IN_FILES'

Если ОС является разновидностью Linux/Unix, то полный путь будет выглядеть примерно так: «/data/in_files».

Create directory external_info as '/data/in_files'

4 — Oracle предоставляет доступ на чтение и запись для объекта каталога из шага 3 для PUBLIC.

разрешить чтение, запись в каталоге EXTERNAL_INFO для общего доступа;

5 – Создайте внешнюю таблицу для доступа к CSV-файлу:

В этом примере файл имеет следующий формат:
a.CSV
b.Конец записи — CARRIAGE_RETURN, за которым следует LINE_FEED (records delimited by '\r\n')
c.Первая запись – имена столбцов заголовков, (skip 1)
d.Поля разделяются запятой (fields terminated by ',')
e.Данные могут быть заключены в кавычки (символ ASCII 34) ( optionally enclosed by '"')
f.Отсутствующие поля будут иметь нулевые значения (missing field values are null)
g.Файл имя "data01.csv", это имя соответствует правилам ОС
RemenberWINDOWS нечувствителен к регистру, но LINUX/Unix чувствителен к регистру.

create table data01_external
  (id       number,
   fname    varchar2(20),
   lname    varchar2(20),
   salary   number,
   hiredate date
  )
  organization external
  (type oracle_loader
   default directory external_info
   access parameters (records delimited by '\r\n'
                      badfile     'data01_%p.bad'
                      discardfile 'data01_%p.dis'
                      logfile     'data01_%p.log'
                      skip 1
                      fields terminated by ','
                             optionally enclosed by '"'
                             missing field values are null
                      (id        integer external,
                       fname     char,
                       lname     char,
                       salary    decimal external,
                       hiredate  char  date_format date mask 'dd-mm-rr'
                      )
                     )
   location ('data01.csv')
  )
  reject limit UNLIMITED;

6. Теперь вы можете написать пакет PL/SQL для вставки данных в каждую таблицу
В этом примере я использую таблицы @Littlefoot T1 и T2:

Create or replace package pk_load_info
  is
    procedure pr_load(p_isbFile_name     varchar2,
                      p_onuErrCode   out number,
                      p_osbErrDesc   out varchar2
                     );
End;
/


Create or replace package body pk_load_info
is
  procedure pr_load(p_isbFile_name     varchar2,
                    p_onuErrCode   out number,
                    p_osbErrDesc    out varchar2
                   )
  is
    sbEvent    varchar2(20);
    sbSentence varchar2(200);
  Begin
    p_onuErrCode:=0;
    p_osbErrDesc:=null;
    --
    if trim(p_isbFile_name) is null then
       p_onuErrCode:=101;
       p_osbErrDesc:='The name of the file is not to be null';
       return;
    End if;
    --
    -- you can use always the same file name of maybe use different file name in every run.
    sbEvent:='alter table';
    sbSentence:='alter table data01_external default directory EXTERNAL_INFO location ('||chr(39)||trim(p_isbFile_name)||chr(39)||')';
    Dbms_Output.Put_Line('sbSentence='||sbSentence);
    execute immediate sbSentence;
    --
    -- hint "append", in direct-path INSERT, data is appended to the end of the table
    sbEvent:='insert table T1';
    insert /*+ append */ into t1
    select a.id,
           a.fname,
           a.lname,
           a.salary
    from data01_external a
    where a.id=4;
    --
    sbEvent:='insert table T2';
    insert /*+ append */ into t2
    select a.id,
           a.fname,
           a.lname,
           a.salary,
           hiredate
    from data01_external a
    where a.id=5;
  Exception
    when others then
         p_onuErrCode:=sqlcode;
         p_osbErrDesc:='Event "'||sbEvent||'" '||sqlerrm;
  End pr_load;
End pk_load_info;
/

7 — Скопируйте файл data02.csv в подкаталог, указанный на шаге (1).
Данные:

ID,FNAME,LNAME,SALARY,HIREDATE
4,"Laura","Bissot",6506
5,"Mozhe","Atkinson",1202,20-08-05
5,"James","Marlow",1244,30-10-05
4,"TJ","Olson",4345

8 – тест

Declare
  nuErrcode      number;
  sbErrdesc      varchar2(2000);
  Procedure print(p_isbTexto varchar2)
  is
  Begin
    if nvl(length(p_isbTexto),0)<=255 then
       dbms_output.put_line(p_isbTexto);
    Else
       dbms_output.put_line(substr(p_isbTexto,1,254)||'¬');
       dbms_output.put_line(substr(p_isbTexto,255,255));
    End if;
  End print;
Begin
  print(to_char(systimestamp,'yyyy-mm-dd hh24:mi:ss.ff4')||'|Begin');
  dbms_application_info.set_module('SQL','Inicio');
  --
  pk_load_info.pr_load('data02.csv',
                       nuErrcode,
                       sbErrdesc
                      );
  print('nuErrcode='||nuErrcode);
  print('sbErrdesc='||sbErrdesc);
  --
  if nuErrcode=0 then
     commit;
  Else
     rollback;
  end if;
  print(to_char(systimestamp,'yyyy-mm-dd hh24:mi:ss.ff4')||'|End');
  dbms_application_info.set_action('Fin');
End;
/

9 – Просмотрите данные

select *
from t1;
ID|FNAME|LNAME |SALARY|
 4|Laura|Bissot|6506  |
 4|TJ   |Olson |4345  |

select *
from t2;
ID|FNAME|LNAME   |SALARY|HIREDATE           |
5 |Mozhe|Atkinson|  1202|2005-08-20 00:00:00|
5 |James|Marlow  |  1244|2005-10-30 00:00:00|

до свидания