[ELK] 如何透過 enrich processor 擴增資料屬性

前言

在資料處理的過程中,會針對資料源的不完整或是冗余的資料訂定 pipelines 來做預處理,Elastic 官方提供 elastic ingest pipeline 功能,將一連串的制定好的處理器(Processors) 匯集在一個 pipeline ,對來源資料做結構化處理。

我們可以設置多個獨立的 Processors 在同個 Pipeline 裡面,在來源資料送進 Elasticsearch 做 indexing 之前,會經過指定的 Pipeline, Pipeline 裡含有多個 Processors, Processor 可以做的事情很多,如: 重新命名、新增欄位、資料型別&大小寫轉換,甚至支援正規表達式,可以做複雜的判斷式。

本文主要示範其中一種 Processor - Enrich Processor

Read more

[ELK] Elasticsearch

鼠年全馬鐵人挑戰 - WEEK 16

前言

繼續上一篇的ELK筆記,本篇主要近一步筆記ELK中的Elasticsearch

Read more

[ELK] Hello! ELK

鼠年全馬鐵人挑戰 - WEEK 15


圖片源

前言

最近因為實習環境需要接觸ELK,故藉此機會來筆記一下,加深學習印象。

Read more