Итак, я делаю проект, в котором мне нужно загрузить большое количество файлов .pdf в R. Эта часть в некоторой степени покрыта. Проблема в том, что при импорте PDF-файлов в R каждая строка представляет собой строку. Не вся информация в строке актуальна. А в некоторых случаях информация отсутствует. Итак, я хочу выбрать нужную мне информацию и поместить ее в тибет для дальнейшего анализа.
Импорт PDF-файлов выполняется с помощью pdftools. Работает, подсказки и подсказки приветствуются.
invoice_pdfs = list.files(pattern="*.pdf") # gather all the .pdf in current wd.
invoice_list <- map(invoice_pdfs, .f = function(invoices){ # Using the purrr::map function .
pdf_text(invoices) %>% # extracting text from listed pdf file(s)
readr::read_lines() %>% # read all text from pdf
str_squish() %>% # clear all white space in text.
str_to_lower # convert string to lower case
})
воспроизводимый пример:
invoice_example <- c("invoice",
"to: rade ris",
"cane nompany",
"kakber street 23d",
"nork wey",
"+223 (0)56 015 6542",
"invoice id: 85600023",
"date reference product product reference weigth amount",
"01-02-2016 840000023 product a 24.45.6 de6583621 14.900 kg a 50 per tonne 745,00",
"07-02-2016 840000048 product b 24.45.7 qf8463641 19.000 kg a 50 per tonne 950,00",
"03-02-2016 840000032 product b 24.34.2 qf8463641 4.000 kg per tonne 250,00",
"02-02-2016 840000027 ke7801465 1.780 kg per tonne 89,00",
"subtotal 2.034,00",
"sales tax 183,06",
"total 2.217,06")
Итак, вот где начинается проблема. Я пробовал использовать stringr и rebus для выделения определенных частей текста. Я сделал следующую функцию для поиска в документе определенной строки, она возвращает номер строки:
word_finder <- function(x, findWord){
word_hit <- x %>% # temp for storing TRUE or FALSE
str_detect(pattern = fixed(findWord))
which(word_hit == TRUE) # give rownumber if TRUE
}
И следующие шаблоны поиска:
detect_date <- dgt(2) %R% "-" %R% dgt(2) %R% "-" %R% dgt(2)
detect_money <- optional(DIGIT) %R% optional(".") %R% one_or_more(DIGIT) %R% "," %R% dgt(2)
detect_invoice_num <- str_trim(SPC %R% dgt(8) %R% optional(SPC))
Следующим шагом должно быть создание тиббла (или фрейма данных) с именами столбцов c("date", "reference", "product", "product reference", "weight", "amount") Я также пробовал сделать тиббл всей invoice_example. Проблема заключается в том, что в некоторых полях отсутствует информация, а имена столбцов не соответствуют соответствующему значению. .
Поэтому я хотел бы создать некоторую функцию, которая использует шаблон поиска и помещает это конкретное значение в определенный столбец. Я понятия не имею, как это сделать. Или, может быть, мне следует разобраться с этим совсем по-другому?
конечный результат должен быть примерно таким.
воспроизводимый пример:
invoice_nr <- c("85600023", "85600023", "85600023", "85600023" )
date <- c( "01-02-2016", "07-02-2016", "03-02-2016", "02-02-2016")
reference <- c( "840000023", "840000048", "840000032", "840000027")
product_id <- c( "de6583621", "qf8463641", "qf8463641", "ke7801465")
weight <- c("14.900", "19.000", "4.000", "1.780")
amount <- c("745.00", "950.00", "250.00", "89.00")
example_tibble <- tibble(invoice_nr, date, reference, product_id, weight, amount)
Результат:
# A tibble: 4 x 6
invoice_nr date reference product_id weight amount
<chr> <chr> <chr> <chr> <chr> <chr>
1 85600023 01-02-2016 840000023 de6583621 14.900 745.00
2 85600023 07-02-2016 840000048 qf8463641 19.000 950.00
3 85600023 03-02-2016 840000032 qf8463641 4.000 250.00
4 85600023 02-02-2016 840000027 ke7801465 1.780 89.00
Мы будем благодарны за любые предлагаемые способы решения этой проблемы!
