разбор файла журнала с использованием java Grok API не работает, но работает в онлайн-отладчике Grok

Привет, у меня возникла проблема при анализе файла журнала с использованием кода и grok API, загруженного с Github (я не использую logstash), когда я тестирую с помощью отладчика Grok https://grokdebug.herokuapp.com/ работает нормально, но в моем коде не будет

вот строка журнала из файла, который я хочу разобрать:

DEBUG 2015-06-17 14:44:57,475 (com.test.logging.exceptionmanager.ExceptionTreeModel:findNodeByIdRecursively:651) — не удалось найти узел с идентификатором: 1913

и это мой код:

public class LogParse {

public static void main(String[] args) throws GrokException {


        // Get an instance of grok
        Grok grok = new Grok();

        // add a pattern to grok
        grok.addPattern("LOGLEVEL", "\\w+");
        grok.addPattern("YEAR", "\\w+");
        grok.addPattern("MONTHNUM", "\\w+");
        grok.addPattern("MONTHDAY", "\\w+");
        grok.addPattern("HOUR", "\\w+");
        grok.addPattern("MINUTE", "\\w+");
        grok.addPattern("SECOND", "\\w+");
        grok.addPattern("GREEDYDATA", "\\w+");



     grok.compile("%{LOGLEVEL:loglevel} %{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} %{GREEDYDATA:data}");


        try{
               FileInputStream fstream = new FileInputStream("C://file.log");
               BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
               String log;
                //output
                BufferedWriter output = new BufferedWriter(new FileWriter("out.json"));

               /* read log line by line */
               while ((log = br.readLine()) != null)   {

                 System.out.println (log);
                 Match gm = grok.match(log);
                    gm.captures();

                    //output
                    System.out.println(gm.toJson());
                    output.write(gm.toJson());
                    output.newLine();

               }
               output.close();
               fstream.close();

            } catch (Exception e) {
                 System.err.println("Error: " + e.getMessage());
            }       }}

Спасибо за вашу помощь.


java json parsing grok logparser
person shili.oussama    schedule 18.08.2017    source источник
comment
Я обновил свой код, теперь он работает нормально, проблема была в выражениях регулярных выражений.   -  person shili.oussama    schedule 21.08.2017
comment
Я отменил ваши изменения: найдите ваше решение в истории изменений и вместо этого опубликуйте его как собственный ответ, спасибо.   -  person Cœur    schedule 09.06.2018

Ответы (1)


arrow_upward
0
arrow_downward

Рабочий код:

 public class LogParse {
    public static void main(String[] args) throws GrokException, IOException {


        // Get an instance of grok
        Grok grok = new Grok();

        // add a pattern to grok
        grok.addPattern("LOGLEVEL", "\\w+");
        grok.addPattern("YEAR", "\\w+");
        grok.addPattern("MONTHNUM", "((?:0?[1-9]|1[0-2]))");
        grok.addPattern("MONTHDAY", "(?:[+-]?(?:[0-9]+))");
        grok.addPattern("HOUR", "(?:[+-]?(?:[0-9]+))");
        grok.addPattern("MINUTE", "(?:[+-]?(?:[0-9]+))");
        grok.addPattern("SECOND", "(?:(?:[0-5][0-9]|60)(?:[:.,][0-9]+)?)");
        grok.addPattern("GREEDYDATA", ".*");


        grok.compile("%{LOGLEVEL:loglevel} %{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} (%{GREEDYDATA:data}) - %{GREEDYDATA:message} %{GREEDYDATA:Erreur}");
        grok.compile("%{LOGLEVEL:loglevel} %{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} (%{GREEDYDATA:data}) - %{GREEDYDATA:message}");


        try{

               FileInputStream fstream = new FileInputStream("C://file.log");
               BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
               String log;
                //output
                BufferedWriter output = new BufferedWriter(new FileWriter("out.json"));

               /* read log line by line */
               while ((log = br.readLine()) != null)   {

                 System.out.println (log);
                 Match gm = grok.match(log);
                    gm.captures();

                    //output
                    System.out.println(gm.toJson());
                    output.write(gm.toJson());
                    output.newLine();

               }
               output.close();
               fstream.close();

            } catch (Exception e) {
                 System.err.println("Error: " + e.getMessage());
            }   }}
person shili.oussama    schedule 13.07.2018
comment
Я изменил регулярные выражения в функциях addPattern, чтобы заставить их работать. - person shili.oussama; 16.07.2018
comment
Вы должны описать это в своем ответе немного подробнее, чтобы другие могли понять это и учиться у вас. - person Matt; 16.07.2018