[Kubernetes] Kubernetes 基礎(六) Pod Controller - Job/CronJob

前言

上篇談到 Daemonset, StatefulSet 兩種 Pod controller,本篇將會探討 Kubernetes 一次性的運算單元 - Job/CronJob

Job/CronJob 的命名跟先前已經不同,因為是一次性的運算,以 Job 為基本單元,已經沒有任何 Set 概念,在正式討論 Job/CronJob 之前,先了解到應用程式的生命週期分兩大類:

  • 不會結束 e.g. 持續運行的 Daemon
    前述提到的 DeamonSet, StatefulSet, Deploymnet, ReplicaSet 都屬於此類型
  • 會結束的 e.g. 一次性的任務
    Job, CronJob 都屬於此類一次性的運算單元
Read more

[Kubernetes] Kubernetes 基礎(ㄧ) 架構及元件

前言

Kubernetes 是一個用於管理多個容器(containers)的大型管理平台,原先是 Google 內部自行研發的系統,後來開源出來,讓世界各地的開發者都能加入開發、優化的行列,近期工作上開始接觸 Kubernetes,藉此記錄一下學習到的知識。

Read more

[Python] 使用 isinstance() 來檢查資料型別吧!

前言

先前使用 Python 測試物件、變數是否為指定的『類別』或『資料型態』 時(e.g. intfloatboolstrlist ……),都是使用 type() 方法,但其實 Python 有提供 isinstance() 函式,此法是較好的作法,不僅執行速度較快,也適用於自己建立的 Class 物件繼承(type() 不考慮物件繼承,若為繼承類別的物件不會判斷與父類是相同類別)數,來看看他有哪些特性與用法吧!

Read more

[ELK] Elasticsearch Index 管理與效能優化技巧

前言

上週 參與保哥在臉書上發起的直播活動 - Elasticsearch Index 管理與效能優化技巧,邀請喬叔(Joe)來跟大家分享自己過去在管理 Elasticsearch 的經驗。

半年多前因工作需要,開始接觸 Elastic 這家公司的產品,最有名的莫過於搜尋引擎 - Elasticsearch,自己花不少時間摸索這項複雜的大型分散式系統上,這過程也因喬叔於三十天鐵人賽撰寫的喬叔帶你上手Elastic Stack 系列文章中獲益良多(聽說之後要出書,還不買爆!),剛好這次喬叔本人受邀分享,千載難逢的機會怎麼能錯過!

本文主要紀錄喬叔在本次座談分享中所提到的實戰技巧及個人經驗分享,還有加入我自己使用的心得,以下資料主要出自喬叔簡報。

Read more

[ELK] 如何透過 enrich processor 擴增資料屬性

前言

在資料處理的過程中,會針對資料源的不完整或是冗余的資料訂定 pipelines 來做預處理,Elastic 官方提供 elastic ingest pipeline 功能,將一連串的制定好的處理器(Processors) 匯集在一個 pipeline ,對來源資料做結構化處理。

我們可以設置多個獨立的 Processors 在同個 Pipeline 裡面,在來源資料送進 Elasticsearch 做 indexing 之前,會經過指定的 Pipeline, Pipeline 裡含有多個 Processors, Processor 可以做的事情很多,如: 重新命名、新增欄位、資料型別&大小寫轉換,甚至支援正規表達式,可以做複雜的判斷式。

本文主要示範其中一種 Processor - Enrich Processor

Read more

[Ansile] 入門概念

什麼是 Ansile?

Ansile 是由 Red Hat(紅帽) 公司所提供,經開放原始碼社群進行開發,秉持基礎設施即代碼為其中一項理念,專注在 IT 自動化領域,透過撰寫 YAML 腳本對 IT 基礎設施進行操作及管理。

主要的優點:

  • 以 YML 格式編寫,容易上手與維護
  • 無代理(Agentless)程式
  • 透過 SSH 進行連線,用於與遠端 Server 溝通。
  • 不需要安裝在 Client 端
Read more