Анализируйте `key1 = value1 key2 = value2` в Kusto

Я запускаю Cilium в кластере Azure Kubernetes и хочу проанализировать сообщения журнала ресничек в Azure Log Analytics. Сообщения журнала имеют такой формат, как

key1=value1 key2=value2 key3="if the value contains spaces, it's wrapped in quotation marks"

Например:

level=info msg="Identity of endpoint changed" containerID=a4566a3e5f datapathPolicyRevision=0

Мне не удалось найти подходящий метод parse_xxx в документах (например, https://docs.microsoft.com/en-us/azure/data-explorer/kusto/query/parsecsvfunction). Есть ли возможность написать настраиваемую функцию для анализа таких сообщений журнала?


azure azure-data-explorer azure-log-analytics cilium
person lmr2391    schedule 30.12.2020    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Неинтересный формат для синтаксического анализа ... Но это должно сработать:

let LogLine = "level=info msg=\"Identity of endpoint changed\" containerID=a4566a3e5f datapathPolicyRevision=0";
print LogLine
| extend KeyValuePairs = array_concat(
    extract_all("([a-zA-Z_]+)=([a-zA-Z0-9_]+)", LogLine),
    extract_all("([a-zA-Z_]+)=\"([a-zA-Z0-9_ ]+)\"", LogLine))
| mv-apply KeyValuePairs on 
(
    extend p = pack(tostring(KeyValuePairs[0]), tostring(KeyValuePairs[1]))
    | summarize dict=make_bag(p)
)

Результатом будет:

| print_0            | dict                                    |
|--------------------|-----------------------------------------|
| level=info msg=... | {                                       |
|                    |   "level": "info",                      |
|                    |   "containerID": "a4566a3e5f",          |
|                    |   "datapathPolicyRevision": "0",        |
|                    |   "msg": "Identity of endpoint changed" |
|                    | }                                       |
|--------------------|-----------------------------------------|
person Slavik N    schedule 30.12.2020
comment
Отлично, это очень помогло начать работу. Мне пришлось немного изменить регулярные выражения, потому что настоящие журналы содержали некоторые причуды, которых не было в примере. Я добавлю еще один ответ с запросом, который у меня возник. - person lmr2391; 04.01.2021

arrow_upward
0
arrow_downward

С помощью Slavik N я получил запрос, который мне подходит:

let containerIds = KubePodInventory
| where Namespace startswith "cilium"
| distinct ContainerID
| summarize make_set(ContainerID);
ContainerLog
| where ContainerID in (containerIds)
| extend KeyValuePairs = array_concat(
    extract_all("([a-zA-Z0-9_-]+)=([^ \"]+)", LogEntry),
    extract_all("([a-zA-Z0-9_]+)=\"([^\"]+)\"", LogEntry))
| mv-apply KeyValuePairs on 
(
    extend p = pack(tostring(KeyValuePairs[0]), tostring(KeyValuePairs[1]))
    | summarize JSONKeyValuePairs=parse_json(make_bag(p))
)
| project TimeGenerated, Level=JSONKeyValuePairs.level, Message=JSONKeyValuePairs.msg, PodName=JSONKeyValuePairs.k8sPodName, Reason=JSONKeyValuePairs.reason, Controller=JSONKeyValuePairs.controller, ContainerID=JSONKeyValuePairs.containerID, Labels=JSONKeyValuePairs.labels, Raw=LogEntry
person lmr2391    schedule 04.01.2021