[ELK] 如何透過 enrich processor 擴增資料屬性
前言
在資料處理的過程中,會針對資料源的不完整或是冗余的資料訂定 pipelines 來做預處理,Elastic 官方提供 elastic ingest pipeline 功能,將一連串的制定好的處理器(Processors) 匯集在一個 pipeline ,對來源資料做結構化處理。
我們可以設置多個獨立的 Processors 在同個 Pipeline 裡面,在來源資料送進 Elasticsearch 做 indexing 之前,會經過指定的 Pipeline, Pipeline 裡含有多個 Processors, Processor 可以做的事情很多,如: 重新命名、新增欄位、資料型別&大小寫轉換,甚至支援正規表達式,可以做複雜的判斷式。
本文主要示範其中一種 Processor - Enrich Processor