前言

目前公司的專案大量使用 Github Action 跑自動化 CI/CD 的 pipelines 去部署服務到 AWS 環境，近期將原本 CI/CD pipelines 上與 AWS service 驗證的 workflows 做調整，驗證方式從原本藉由 IAM User 進行 assume role 的方式改成透過 AWS ODIC 的方式完成。

相較於使用 IAM user 的 secrets 驗證，OIDC 的作法能幫助我們省去管理金鑰的麻煩。

本文會 AWS 作為 cloud provider，設定方法也是以 AWS 為範例，以下內容建議有 GitHub Action 及 AWS IAM 這兩項先備知識比較能理解。

前言

上週 參與保哥在臉書上發起的直播活動 - Elasticsearch Index 管理與效能優化技巧，邀請喬叔(Joe)來跟大家分享自己過去在管理 Elasticsearch 的經驗。

半年多前因工作需要，開始接觸 Elastic 這家公司的產品，最有名的莫過於搜尋引擎 - Elasticsearch，自己花不少時間摸索這項複雜的大型分散式系統上，這過程也因喬叔於三十天鐵人賽撰寫的喬叔帶你上手Elastic Stack 系列文章中獲益良多(聽說之後要出書，還不買爆！)，剛好這次喬叔本人受邀分享，千載難逢的機會怎麼能錯過！

本文主要紀錄喬叔在本次座談分享中所提到的實戰技巧及個人經驗分享，還有加入我自己使用的心得，以下資料主要出自喬叔簡報。

前言

在資料處理的過程中，會針對資料源的不完整或是冗余的資料訂定 pipelines 來做預處理，Elastic 官方提供 elastic ingest pipeline 功能，將一連串的制定好的處理器(Processors) 匯集在一個 pipeline ，對來源資料做結構化處理。

我們可以設置多個獨立的 Processors 在同個 Pipeline 裡面，在來源資料送進 Elasticsearch 做 indexing 之前，會經過指定的 Pipeline， Pipeline 裡含有多個 Processors， Processor 可以做的事情很多，如: 重新命名、新增欄位、資料型別&大小寫轉換，甚至支援正規表達式，可以做複雜的判斷式。

本文主要示範其中一種 Processor - Enrich Processor

什麼是 Ansile?

Ansile 是由 Red Hat(紅帽) 公司所提供，經開放原始碼社群進行開發，秉持基礎設施即代碼為其中一項理念，專注在 IT 自動化領域，透過撰寫 YAML 腳本對 IT 基礎設施進行操作及管理。

主要的優點：

• 以 YML 格式編寫，容易上手與維護
• 無代理(Agentless)程式
• 透過 SSH 進行連線，用於與遠端 Server 溝通。
• 不需要安裝在 Client 端

前言

要將 Elasticsearch 內的資料做視覺化，透過 Kibana Visualization 拉圖表呈現，並整合進一張 Dashboard 中。

由於 Visualization 是對應於 Kibana 中的 index pattern，若今天把原始的 index pattern 刪除，重建一個同名的 index pattern，原始的 Visualization 會出現 Could not locate that index-pattern 這類的錯誤訊息，無法正常顯示。 如下圖所示：

原因是每個建好的 index pattern 都會帶一個獨立 ID ，Kibana Visualization 會綁定該 ID，故原始 index pattern 被刪除時，即便新建一個同名 index pattern，ID 改變造成 Visualization 找不到原始綁定的 index pattern。

本篇文章會示範如何在不另外建 Visualization 和 Dashboard 的情況下，替換新的 Index Pattern

前言

Elastic Cloud 提供快照 (Snapshot) 機制來備份 Cluster 的資料，我們可以將其連接至 AWS S3 上進行保存。

本文將示範如何將 Elastic Cloud Snapshot 存放至 AWS S3 服務，並設置 Policy 進行定期備份工作。

流程大綱

• AWS IAM 設置
• AWS S3 Bucket 設置
• Elastic Cloud Credential 設置
• Elastic Cloud Repositories 和 Policy 設置

鼠年全馬鐵人挑戰 - WEEK 16

前言

繼續上一篇的ELK筆記，本篇主要近一步筆記ELK中的Elasticsearch

鼠年全馬鐵人挑戰 - WEEK 15

圖片源

前言

最近因為實習環境需要接觸ELK，故藉此機會來筆記一下，加深學習印象。

鼠年全馬鐵人挑戰 - WEEK 12

前言

本篇將透過撰寫Dockerfile來打包自己的 Docker Image，用於建置Python Flask 環境，並將打包好的Docker Image上傳至DockerHub。

鼠年全馬鐵人挑戰 - WEEK 11

前言

之前簡單的介紹過Docker後，本篇文紀錄Docker系統架構及操作Image、Container的基本指令。