在做一个试验时，无意中发现使用 kubectl create service 命令无法为一个通过 deployment 创建出来的pod创建对应的 service， 感觉有点奇怪，经过分析才明白怎么回事，这里将过程记录一下。

这里需要说明一下，本文操作全部是通过 kubectl create 命令来完成的，并没有使用 kubectl apply -f pod.yaml 这种方式。

这里先创建一个实验命名空间 lab

$ kubectl create ns lab

首先创建一个deployment 对象

$ kubectl create deployment test --image=nginx:1.23-alpine --replicas=2 --port=80 -n lab

确认创建成功

$ kubectl get deploy,pod -n lab
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/test   2/2     2            2           16s

NAME                              DESIRED   CURRENT   READY   AGE
replicaset.apps/test-8544f5598b   2         2         2       16s

NAME                        READY   STATUS    RESTARTS   AGE
pod/test-8544f5598b-7tfq4   1/1     Running   0          16s
pod/test-8544f5598b-d48js   1/1     Running   0          16s

这里我们成功创建了一个 test的 deployment 对象，而由此创建的 Pod.Lables 也都有 app=test 标签对。

在上一篇《创建Pod源码解析》文中，我们大概介绍了Pod的整体创建过程。其中有一步很重要，就是在创建三类容器之前必须先创建一个 sandbox （源码)，本篇就来分析一下sandbox这一块的 netns 实现过程。

对 sandbox 的创建由 kubelet 组件通过调用 CRI 容器运行时服务来实现的，对于容器运行的实现目前市面上有多个，如 Docker Engine(不推荐)、 containerd、CRI-O 等，由于目前生产环境中选择 containerd 的占大多数，所以这里我们以 containerd 为例来看一下其实现过程。

https://github.com/containerd/containerd/blob/32bf805e5703bc91387d047fa76625e915ac2b80/pkg/cri/server/sandbox_run.go

对 sandbox 的创建是由 cri 服务调用 RunPodSandbox()方法来实现的。

// RunPodSandbox creates and starts a pod-level sandbox. Runtimes should ensure
// the sandbox is in ready state.
func (c *criService) RunPodSandbox(ctx context.Context, r *runtime.RunPodSandboxRequest) (_ *runtime.RunPodSandboxResponse, retErr error) {

  ...
  
  // Save sandbox name
	sandboxInfo.AddLabel("name", name)

  // 初始化 sandbox, 注意此时的 network namespace 未指定
	// Create initial internal sandbox object.
	sandbox := sandboxstore.NewSandbox(
		sandboxstore.Metadata{
			ID:             id,
			Name:           name,
			Config:         config,
			RuntimeHandler: r.GetRuntimeHandler(),
		},
		sandboxstore.Status{
			State: sandboxstore.StateUnknown,
		},
	)

	if _, err := c.client.SandboxStore().Create(ctx, sandboxInfo); err != nil {
		return nil, fmt.Errorf("failed to save sandbox metadata: %w", err)
	}
  
  ...
  
  // Setup the network namespace if host networking wasn't requested.
	if !hostNetwork(config) && !userNsEnabled {
		netStart := time.Now()

		var netnsMountDir = "/var/run/netns"
		if c.config.NetNSMountsUnderStateDir {
			netnsMountDir = filepath.Join(c.config.StateDir, "netns")
		}
    
    // 创建 network namespace! 本文重点关注函数
		sandbox.NetNS, err = netns.NewNetNS(netnsMountDir)
    
    // 指定 network namespace 路径
    // Update network namespace in the store, which is used to generate the container's spec
		sandbox.NetNSPath = sandbox.NetNS.GetPath()
    
    ...

		if err := c.setupPodNetwork(ctx, &sandbox); err != nil {
			return nil, fmt.Errorf("failed to setup network for sandbox %q: %w", id, err)
		}

  }  
}

这里我们了解一个上面提到的 /var/run/netns 这个特殊的目录，以下来自GPT的解释：

在 Rust 中，闭包就是一种能捕获 上下文环境变量 的函数。

let range = 0..10;
let get_range_count = || range.count();  

代码里的这个 get_range_count 就是闭包，range 是被这个闭包捕获的环境变量。

虽然说它是一种函数，但是不通过 fn 进行定义。在 Rust 中，并不把这个闭包的类型处理成 fn 这种函数指针类型，而是有单独的类型定义。

切记这里是将闭包处理成是 单独的类型定义，这一点区别与其它开发语言。

至于按哪一种类型来处理，这个没有办法得知，因为只有在Rust编译器在编译的时候才可以确定其类型，并且在确定类型时，还需要根据这个闭包捕获上下文环境变量时的行为来确定。

闭包trait分类

根据闭包行为划分为三类trait（ 主因是受到所有权影响）：

1. FnOnce 适用于能被调用一次的闭包，所有闭包都至少实现了这个 trait，因为所有闭包都必须能够被调用。一个会将捕获的值移出闭包体的闭包只实现 FnOnce trait，这是因为它只能被调用一次。其获取了上下文环境变量的所有权。
2. FnMut 适用于不会将捕获的值移出闭包体的闭包，但它可能会修改被捕获的值，这类闭包可以被调用多次。其只获取了上下文环境变量的 &mut 引用。
3. Fn 适用于既不将被捕获的值移出闭包体也不修改被捕获的值的闭包，当然也包括不从环境中捕获值的闭包。这类闭包可以被调用多次而不改变它们的环境，这在会 多次并发调用闭包的场景中十分重要。其只获取了上下文环境变量的 & 不可变引用。

在编译时会将闭包确定为以上三种类型中的一种或多种组合。 Rust 给我们暴露了 FnOnce、FnMut、Fn 这 3 个 trait，就刚对应上面这三类数据类型。

它们在标准库中的定义为

trait FnOnce<Args> {
    type Output;
    fn call_once(self, args: Args) -> Self::Output;
}
trait FnMut<Args>: FnOnce<Args> {
    fn call_mut(&mut self, args: Args) -> Self::Output;
}
trait Fn<Args>: FnMut<Args> {
    fn call(&self, args: Args) -> Self::Output;
}

注意这三者的关系，其中 Fn 继承了 FnMut ，而 FnMut 又继承了 FnOnce，它们三者有层次关系的。

迭代器模式允许你对一个序列的项进行某些处理。迭代器（iterator）负责遍历序列中的每一项和决定序列何时结束的逻辑。当使用迭代器时，我们无需重新实现这些逻辑。

在 Rust 中，迭代器是 惰性的（lazy），这意味着在调用方法使用迭代器之前它都不会有效果。例如，示例中的代码通过调用定义于 Vec 上的 iter 方法在一个 vector v1 上创建了一个迭代器。这段代码本身没有任何用处：

let v1 = vec![1, 2, 3];
let v1_iter = v1.iter();

迭代器被储存在 v1_iter 变量中。一旦创建迭代器之后，可以选择用多种方式利用它。

迭代器分类

Rust 中迭代器根据 所有权 可分为 iter()、iter_mut()、into_iter() 三种迭代器，使用场景：

• 获取集合元素不可变引用的迭代器，对应方法为 iter()

• 获取集合元素可变引用的迭代器，对应方法为 iter_mut()

• 获取集合元素所有权的迭代器，对应方法为 into_iter()

也就是说当你在 Rust 中看到调用了 iter() 方法，则表示这里使用了不可变迭代器，只能读取元素值，无法修改；如果看到 iter_mut() 则表示使用了可变迭代器，您可以对原始值进行修改；而如果看到 into_iter() 的话，则说明使用了集合元素的所有权引用，当迭代器使用完毕后，就对应的内存将自动根据所有权规则被释放回收。

不可变引用迭代器 iter()

fn main() {
    let a = [1, 2, 3];

    // 不可变引用迭代器
    let mut iter = a.iter();
    println!("{:?}", iter.len()); // 当前集合元素个数

    // A call to next() returns the next value...
    assert_eq!(Some(&1), iter.next());
    println!("{:?}", iter.len());

    assert_eq!(Some(&2), iter.next());
    println!("{:?}", iter.len());

    assert_eq!(Some(&3), iter.next());
    println!("{:?}", iter.len());

    // 所有值已迭代完毕，从此以后再调用就是 None
    assert_eq!(None, iter.next());

    // More calls may or may not return `None`. Here, they always will.
    assert_eq!(None, iter.next());
    assert_eq!(None, iter.next());

    // 上面使用了 iter() 获取不可变迭代器，因此可以打印原始变量值
    println!("len={}", iter.len());
    println!("{:?}", iter);
    println!("{:?}", a);
}

首先声明一个包含三个元素的数组，然后使用 iter() 获取不可变引用迭代器，也就是这种迭代器并不影响原来变量 a 的值，这时迭代器元素个数为 3。接着调用三次 iter.next() 读取出下一个元素，并在每次调用后面打印其元素个数，可以看到其个数为递减，走到为 0 为止。

在 Rust 中有两个常用的 enum 枚举类型，分别为 Result 和 Option，本节介绍它们两者各自的使用场景和用法。

这里我们先给出结论

• 结果 Result 表示 成功 或 失败
• 选项 Option 表示 有 或者 无

当从本地读取一个文件时，这时候可能读取成功，也有可能由于文件不存在或权限不足导致读取时候，这种场景一般就需要使用 Result；而当从一组数据集中查询指定元素是否存在时，这时有可能存在，也有可能不存在（用None 表示)，这时情况就应该选择Option。

由此看到，这两个枚举类型的区别理解起来还是挺简单的，下面我们单独对每一种类型做一下详细的介绍。

结果 Result

定义

enum Result<T, E> {
    Ok(T),
    Err(E),
}

Result<T, E> 类型拥有两个取值：

• Ok(value) 表示操作成功，并包装操作返回的 value（value 拥有 T 泛类型）。
• Err(why)，表示操作失败，并包装 why，它（但愿）能够解释失败的原因（why 拥有 E 类型）。

举个例子，这里打开一个文件，如果文件存在则打印文件句柄信息，否则打印错误信息，查看 playground

use std::fs::File;

fn main() {
    let greeting_file_result = File::open("hello.txt");  // 返回 Result<T, E>

    let greeting_file = match greeting_file_result {
        Ok(file) => file,
        Err(error) => panic!("Problem opening the file: {:?}", error),
    };
    println!("{:?}", greeting_file);
}

这里File::open 的返回值是 Result<T, E>。泛型参数 T 会被 File::open 的实现放入成功返回值的类型 std::fs::File，这是一个文件句柄。错误返回值使用的 E 的类型是 std::io::Error。这些返回类型意味着 File::open 调用可能成功并返回一个可以读写的文件句柄。

以前工作中经常需要查看Pod里容器相关信息，特别是容器镜像信息，以前一直是通过 kubectl describe命令查看的

$ kubectl describe my-pod

但由于输出的内容特别多，查看容器关键信息特别麻烦。印象最深的莫过于在部署 istio时，由于国内网络环境不稳定，经常性的遇到镜像下载失败的情况，当时极其的头疼。

于是最近花了一点时间，开发了一款快速查看 Pod 容器信息的插件 kubectr 。

安装

安装方法主要有三种

krew 安装（推荐）

$ kubectl krew install ctr

目前已提交到 krew ，但由于官方审核速度较慢，此安装方法不敢保证可用

二进制安装

从 https://github.com/cfanbo/kubectr/releases 下载对应的平台版本，并解压到对应的 PATH 环境变量目录即可。

$ tar zxvf kubectr_linux_amd64.tar.gz
$ sudo mv kubectr /usr/local/bin/
$ kubectr -h

源码安装

$ git clone https://github.com/cfanbo/kubectr.git
$ make 
$ bin/kubectr -h

用法

共两种用法，一种是 krew 风格的插件用法 ，另一种是普通命令格式的用法。

krew 插件用法

$ kubectl ctr csi-do-controller-0 -n kube-system

NAME           	  READY	  STATUS 	  RESTARTS     	  AGE  	  PORTS	  IMAGE                                             	  PULLPOLICY  	  TYPE
csi-provisioner	  1    	  Running	  5 (3d21h ago)	  3d21h	  -    	  registry.k8s.io/sig-storage/csi-provisioner:v3.5.0	  IfNotPresent	  container
csi-attacher   	  1    	  Running	  5 (3d21h ago)	  3d21h	  -    	  registry.k8s.io/sig-storage/csi-attacher:v4.3.0   	  IfNotPresent	  container
csi-snapshotter	  1    	  Running	  5 (3d21h ago)	  3d21h	  -    	  registry.k8s.io/sig-storage/csi-snapshotter:v6.2.2	  IfNotPresent	  container
csi-resizer    	  1    	  Running	  5            	  3d21h	  -    	  registry.k8s.io/sig-storage/csi-resizer:v1.8.0    	  IfNotPresent	  container
csi-do-plugin  	  0    	  Waiting	  1672 (3m ago)	  -    	  -    	  digitalocean/do-csi-plugin:v4.7.1                 	  Always      	  container

普通命令用法

$ kubectr ephemeral-demo

NAME          	  READY	  STATUS    	  RESTARTS	  AGE 	  PORTS	  IMAGE                    	  PULLPOLICY  	  TYPE
ephemeral-demo	  1    	  Running   	  0       	  1d4h	  -    	  registry.k8s.io/pause:3.1	  IfNotPresent	  container
debugger-kbm5m	  0    	  Terminated	  0       	  -   	  -    	  busybox:1.28             	  IfNotPresent	  ephemeralContainer

目前插件支持普通 container、initContainer 和 ephemeralContainer三类容器。

在 Envoy 中当我们需要对 http_connection_manager 中的请求进行修改时，如添加或删除一个请求header，一般通过 HTTP Filter 过滤器来实现。

而在Envoy 包含的几十个Filter中，通常会选择 Lua Filter (extensions.filters.http.lua.v3.Lua) 或 Wasm Filter (extensions.filters.http.wasm.v3.Wasm)这两类过滤器。

Lua Filter 与 Wasm Filter

下表是 Lua Filter 与 HTTP Filter 的对比

在不同的环境中Lua 的行为和功能可能略有差异，特别是在与底层操作系统和硬件交互的方面，而 Wasm 则没有这个问题。

但对于选择哪类 Filter 扩展 Envoy 的过滤器逻辑时，需要根据你的需求和对编程语言的熟悉程度。

wasm简介

WebAssembly（Wasm）是一种通用字节码技术，它可以将其他编程语言（如 Go、Rust、C/C++ 等）的程序代码编译为可在浏览器或服务端环境直接执行的字节码程序。

使用场景

主要有两个使用场景，分别为 浏览器 和 服务端。

浏览器

wasm最早的出现是为了解决浏览器端的性能问题，让web应用可以达到与本地原生应用类似的性能。

对于浏览器chrome 采用了v8 javascript引擎，其内置了一个 Wasm Runtime，因此可以实现对 wasm 的支持，这也正是浏览器可以运动wasm的原因。

服务端

2019 年 3 月，Mozilla 推出了 WebAssembly 系统接口（Wasi），以标准化 WebAssembly 应用程序与系统资源之间的交互抽象，例如文件系统访问、内存管理和网络连接，该接口类似于 POSIX 等标准 API。Wasi 规范的出现极大地扩展了 WebAssembly 的应用场景，使得 Wasm 不仅限于在浏览器中运行，而且可以在服务器端得到应用。同时，平台开发者可以针对特定的操作系统和运行环境提供 Wasi 接口的不同实现，允许跨平台的 WebAssembly 应用程序运行在不同的设备和操作系统上。

开发教程:

• Develop WASM Apps： https://wasmedge.org/docs/develop/overview
• Embed WasmEdge in Your Apps： https://wasmedge.org/docs/embed/overview

运行原理

下面介绍下为什么需要runtime以及常见的运行时有哪些？

为什么需要Runtime

WebAssembly (WASM) 需要运行时环境来提供执行和管理 WASM 模块的功能。下面是一些 wasm 需要运行时的原因：

1. 跨平台执行：WebAssembly 是一种跨平台的二进制指令集格式，用于在不同的环境中执行。运行时环境负责将 WASM 模块加载到特定的执行环境中，并提供必要的接口和功能，使其能够在不同的操作系统和硬件平台上运行。
2. 安全性限制：WebAssembly 是一种沙箱化的执行环境，它在运行时提供了严格的安全性限制。运行时负责执行这些限制，以确保 WASM 模块只能访问其限定的资源，并且不能执行恶意操作。
3. 内存管理：WASM 运行时负责管理线性内存，这意味着它负责分配、释放和管理 WASM 模块的内存资源。运行时提供了合适的内存管理功能，以确保模块运行期间的内存访问的正确性和安全性。
4. 调用外部功能：WASM 运行时提供了一种机制，使 WASM 模块能够与宿主环境进行交互，并调用外部的功能和服务。运行时环境定义了模块与宿主环境之间的接口和调用约定，使得模块能够访问特定功能，如文件系统、网络连接等。
5. 性能优化和代码优化：WASM 运行时可以对加载的 WASM 模块进行解析、编译和优化，以提高执行效率和性能。运行时环境可以实现一些优化技术，如即时编译（Just-in-Time Compilation）和调用间内联（Function Inlining），从而使模块的执行更高效。

综上所述，WASM 需要运行时环境来提供必要的功能和接口，以便在跨平台的环境中安全地加载、执行和管理模块。运行时环境扮演了连接 WASM 模块和宿主环境之间的桥梁角色，使得在不同的环境中使用 WASM 变得更加便捷和可靠。

在 istio 中为了对流量进行有效的管理，一般通过注入的方式将代理 istio-proxy 与应用程序一起位于同一个Pod，然后通过 istio-init initContainer修改 iptables 实现 ingress 或 egress，那么在 istio 中这个注入是如何实现的呢，本节对其实现原理进行一些分析。

实现原理

在上一节《apiserver 中的webhook开发教程》 我们介绍过admission controller 基本实现原理，由此得知当创建一个资源对象的时候，可以通过定义 ValidatingWebhookConfiguration 或 MutatingWebhookConfiguration 实现在创建的进程中对这些 webhook 进行调用。而 MutatingWebhookConfiguration 则可以对请求的资源进行修改。在istio中的 injection 正是基于此原理实现的。

webhook配置

当我们在k8s集群中安装 istio 后，会创建一些资源，如 deployment、service、crd 等

$ istioctl install --set profile=demo -y
✔ Istio core installed
✔ Istiod installed
✔ Egress gateways installed
✔ Ingress gateways installed
✔ Installation complete

$ kubectl get deployment -n istio-system
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
istio-egressgateway    1/1     1            1           126m
istio-ingressgateway   1/1     1            1           126m
istiod                 1/1     1            1           131m

$ kubectl get pod -n istio-system -o wide
NAME                                    READY   STATUS         RESTARTS   AGE    IP            NODE          NOMINATED NODE   READINESS GATES
istio-egressgateway-7b8b76f497-w2xvj    1/1     Running        0          139m   10.244.1.7    kind-worker   <none>           <none>
istio-ingressgateway-7f58d78f47-xfmd7   1/1     Running        0          139m   10.244.1.6    kind-worker   <none>           <none>
istiod-86b84db666-tj7c4                 1/1     Running        0          144m   10.244.1.5    kind-worker   <none>           <none>

同时还为这些 deployment 创建对应的service

本文主要对 terraform 中的 Providers 进行介绍，让刚刚接触 terraform 的用户对其有一个大概的了解，以下内容翻译自：https://developer.hashicorp.com/terraform/language/providers

什么是 Providers

实践: Try the Perform CRUD Operations with Providers tutorial.

Terraform 依赖于称为提供商的插件来与云提供商、SaaS 提供商和 其他 API 进行交互。 Terraform 配置必须声明它们需要哪些 providers，以便 Terraform 可以 安装 和 使用 它们。此外，某些提供商在使用之前需要进行配置（例如 端点 URL 或 云区域）。

Providers 能做什么

每一个 Providers 都会有一组 Terraform 可以管理的 resource types 和或 data sources。如我们经常使用的 docker provider, 它提供了一些 Resources 和 Data sources，使用的时候只需要查看一下 provider 提供的有哪些配置直接 。

每个 resouce type 都由 Provider 实现；如果没有Provider的话，Terraform 就无法管理任何类型的基础设施。 大多数提供商配置特定的基础设施平台（云或自托管）。提供商还可以提供本地实用程序来执行诸如为唯一资源名称生成随机数之类的任务。

Providers 来自哪里

providers 与 Terraform 本身分开分发，每个提供程序都有自己的发布节奏和版本号。 Terraform Registry 是公开可用的 Terraform providers，并托管大多数主要基础设施平台的提供程序。

本文主要介绍 crd controller 的基本开发过程，让每一个刚接触k8s开发的同学都可以轻松开发自己的控制器。

kubebuilder 简介

kubebuilder 是一个帮助开发者快速开发 kubernetes API 的脚手架命令行工具，其依赖 controller-tools 和 controller-runtime 两个库。其中 controller-runtime 简化 kubernetes controller 的开发，并且对 kubernetes 的几个常用库进行了二次封装， 以简化开发工程。而 controller-tool 主要功能是代码生成。

下图是使用 kubebuilder 的工作流程图：

安装 kubebuilder

# download kubebuilder and install locally.
➜ curl -L -o kubebuilder "https://go.kubebuilder.io/dl/latest/$(go env GOOS)/$(go env GOARCH)"
➜ chmod +x kubebuilder && mv kubebuilder /usr/local/bin/

确认安装成功

➜ kubebuilder version
Version: main.version{KubeBuilderVersion:"3.11.1", KubernetesVendor:"1.27.1", GitCommit:"1dc8ed95f7cc55fef3151f749d3d541bec3423c9", BuildDate:"2023-07-03T13:10:56Z", GoOs:"darwin", GoArch:"amd64"}

相关命令

➜  kubebuilder --help
CLI tool for building Kubernetes extensions and tools.

Usage:
  kubebuilder [flags]
  kubebuilder [command]

Examples:
The first step is to initialize your project:
    kubebuilder init [--plugins=<PLUGIN KEYS> [--project-version=<PROJECT VERSION>]]

<PLUGIN KEYS> is a comma-separated list of plugin keys from the following table
and <PROJECT VERSION> a supported project version for these plugins.

                             Plugin keys | Supported project versions
-----------------------------------------+----------------------------
               base.go.kubebuilder.io/v3 |                          3
               base.go.kubebuilder.io/v4 |                          3
        declarative.go.kubebuilder.io/v1 |                       2, 3
 deploy-image.go.kubebuilder.io/v1-alpha |                          3
                    go.kubebuilder.io/v2 |                       2, 3
                    go.kubebuilder.io/v3 |                          3
                    go.kubebuilder.io/v4 |                          3
         grafana.kubebuilder.io/v1-alpha |                          3
      kustomize.common.kubebuilder.io/v1 |                          3
      kustomize.common.kubebuilder.io/v2 |                          3

For more specific help for the init command of a certain plugins and project version
configuration please run:
    kubebuilder init --help --plugins=<PLUGIN KEYS> [--project-version=<PROJECT VERSION>]

Default plugin keys: "go.kubebuilder.io/v4"
Default project version: "3"

Available Commands:
  alpha       Alpha-stage subcommands
  completion  Load completions for the specified shell
  create      Scaffold a Kubernetes API or webhook
  edit        Update the project configuration
  help        Help about any command
  init        Initialize a new project
  version     Print the kubebuilder version

Flags:
  -h, --help                     help for kubebuilder
      --plugins strings          plugin keys to be used for this subcommand execution
      --project-version string   project version (default "3")

Use "kubebuilder [command] --help" for more information about a command.

初始化项目使用 init 子命令，创建脚手架使用 create 子命令。

k8s: v1.27.3

什么是准入控制插件？

准入控制器 是一段代码，它会在请求通过认证和鉴权之后、对象被持久化之前拦截到达 API 服务器的请求。

准入控制器可以执行 变更（Mutating） 和或 验证（Validating） 操作。 变更（mutating）控制器可以根据被其接受的请求更改相关对象；验证（validating）控制器则不行。

准入控制器限制创建、删除、修改对象的请求。 准入控制器也可以阻止自定义动作，例如通过 API 服务器代理连接到 Pod 的请求。 准入控制器不会 （也不能）阻止读取（get、watch 或 list）对象的请求。

某些控制器既是变更准入控制器又是验证准入控制器。如果两个阶段之一的任何一个控制器拒绝了某请求，则整个请求将立即被拒绝，并向最终用户返回错误。

Kubernetes 1.27 中的准入控制器由下面的列表组成， 并编译进 kube-apiserver 可执行文件，并且只能由集群管理员配置。 在该列表中，有两个特殊的控制器：MutatingAdmissionWebhook 和 ValidatingAdmissionWebhook。 它们根据 API 中的配置， 分别执行变更和验证准入控制 webhook。

参考： https://kubernetes.io/zh-cn/docs/reference/access-authn-authz/admission-controllers/

同类型的webhook的顺序无关紧要。

什么是准入 Webhook？

除了内置的 admission 插件， 准入插件可以作为扩展独立开发，并以运行时所配置的 Webhook 的形式运行。 此页面描述了如何构建、配置、使用和监视准入 Webhook。

准入 Webhook 是一种用于接收准入请求并对其进行处理的 HTTP 回调机制。 可以定义两种类型的准入 webhook，即 修改性质的准入 Webhook(Mutating admission) 和 验证性质的准入 Webhook ( Validating admission) 。

Mutalting Webhook 会先被调用，它们可以更改发送到 API 服务器的对象以执行自定义的设置默认值操作。

Kubernetes 控制器管理器（kube-controller-manager）是一个守护进程，内嵌随 Kubernetes 一起发布的核心控制回路。 在机器人和自动化的应用中，控制回路是一个永不休止的循环，用于调节系统状态。 在 Kubernetes 中，每个控制器是一个控制回路，通过 API 服务器监视集群的共享状态， 并尝试进行更改以将当前状态转为期望状态。 目前，Kubernetes 自带的控制器例子包括副本控制器、节点控制器、命名空间控制器和服务账号控制器等。

本文不对 kube-controller-manager 管理的每个控制器的执行原理做介绍，只是从全局观看一下kube-controller-manager 启动每个控制器的整体实现过程。

k8s: v1.27.3

文件： cmd/kube-controller-manager/app/controllermanager.go

控制器选项初始化

// cmd/kube-controller-manager/app/controllermanager.go#L104
func NewControllerManagerCommand() *cobra.Command {

        // 所有内置控制器配置
        s, err := options.NewKubeControllerManagerOptions()
}

调用 options.NewKubeControllerManagerOptions() 对所有内置控制器及全局配置进行初始化。

func NewKubeControllerManagerOptions() (*KubeControllerManagerOptions, error) {
    componentConfig, err := NewDefaultComponentConfig()
    if err != nil {
        return nil, err
    }

    s := KubeControllerManagerOptions{
        Generic:         cmoptions.NewGenericControllerManagerConfigurationOptions(&componentConfig.Generic),
        KubeCloudShared: cpoptions.NewKubeCloudSharedOptions(&componentConfig.KubeCloudShared),
        ServiceController: &cpoptions.ServiceControllerOptions{
            ServiceControllerConfiguration: &componentConfig.ServiceController,
        },
        AttachDetachController: &AttachDetachControllerOptions{
            &componentConfig.AttachDetachController,
        },
        CSRSigningController: &CSRSigningControllerOptions{
            &componentConfig.CSRSigningController,
        },
        DaemonSetController: &DaemonSetControllerOptions{
            &componentConfig.DaemonSetController,
        },
        DeploymentController: &DeploymentControllerOptions{
            &componentConfig.DeploymentController,
        },
        StatefulSetController: &StatefulSetControllerOptions{
            &componentConfig.StatefulSetController,
        },
        DeprecatedFlags: &DeprecatedControllerOptions{
            &componentConfig.DeprecatedController,
        },
        EndpointController: &EndpointControllerOptions{
            &componentConfig.EndpointController,
        },
        EndpointSliceController: &EndpointSliceControllerOptions{
            &componentConfig.EndpointSliceController,
        },
        EndpointSliceMirroringController: &EndpointSliceMirroringControllerOptions{
            &componentConfig.EndpointSliceMirroringController,
        },
        EphemeralVolumeController: &EphemeralVolumeControllerOptions{
            &componentConfig.EphemeralVolumeController,
        },
        GarbageCollectorController: &GarbageCollectorControllerOptions{
            &componentConfig.GarbageCollectorController,
        },
        HPAController: &HPAControllerOptions{
            &componentConfig.HPAController,
        },
        JobController: &JobControllerOptions{
            &componentConfig.JobController,
        },
        CronJobController: &CronJobControllerOptions{
            &componentConfig.CronJobController,
        },
        NamespaceController: &NamespaceControllerOptions{
            &componentConfig.NamespaceController,
        },
        NodeIPAMController: &NodeIPAMControllerOptions{
            &componentConfig.NodeIPAMController,
        },
        NodeLifecycleController: &NodeLifecycleControllerOptions{
            &componentConfig.NodeLifecycleController,
        },
        PersistentVolumeBinderController: &PersistentVolumeBinderControllerOptions{
            &componentConfig.PersistentVolumeBinderController,
        },
        PodGCController: &PodGCControllerOptions{
            &componentConfig.PodGCController,
        },
        ReplicaSetController: &ReplicaSetControllerOptions{
            &componentConfig.ReplicaSetController,
        },
        ReplicationController: &ReplicationControllerOptions{
            &componentConfig.ReplicationController,
        },
        ResourceQuotaController: &ResourceQuotaControllerOptions{
            &componentConfig.ResourceQuotaController,
        },
        SAController: &SAControllerOptions{
            &componentConfig.SAController,
        },
        TTLAfterFinishedController: &TTLAfterFinishedControllerOptions{
            &componentConfig.TTLAfterFinishedController,
        },
        SecureServing:  apiserveroptions.NewSecureServingOptions().WithLoopback(),
        Authentication: apiserveroptions.NewDelegatingAuthenticationOptions(),
        Authorization:  apiserveroptions.NewDelegatingAuthorizationOptions(),
        Metrics:        metrics.NewOptions(),
        Logs:           logs.NewOptions(),
    }

    s.Authentication.RemoteKubeConfigFileOptional = true
    s.Authorization.RemoteKubeConfigFileOptional = true

    // Set the PairName but leave certificate directory blank to generate in-memory by default
    s.SecureServing.ServerCert.CertDirectory = ""
    s.SecureServing.ServerCert.PairName = "kube-controller-manager"
    s.SecureServing.BindPort = ports.KubeControllerManagerPort

    gcIgnoredResources := make([]garbagecollectorconfig.GroupResource, 0, len(garbagecollector.DefaultIgnoredResources()))
    for r := range garbagecollector.DefaultIgnoredResources() {
        gcIgnoredResources = append(gcIgnoredResources, garbagecollectorconfig.GroupResource{Group: r.Group, Resource: r.Resource})
    }

    s.GarbageCollectorController.GCIgnoredResources = gcIgnoredResources
    s.Generic.LeaderElection.ResourceName = "kube-controller-manager"
    s.Generic.LeaderElection.ResourceNamespace = "kube-system"

    return &s, nil
}

这里的许多控制器都做并发数据控制，如 DeploymentController 、DaemonSetController 和 EndpointController 等。

上一篇 《k8s调度器 kube-scheduler 源码解析》 大概介绍一调度器的内容，提到扩展点的插件这个概念，下面我们看看如何开发一个自定义调度器。

本文源码托管在 https://github.com/cfanbo/sample-scheduler。

插件机制

在Kubernetes调度器中，共有两种插件机制，分别为 in-tree 和 out-of-tree。

1. In-tree插件（内建插件）：这些插件是作为Kubernetes核心组件的一部分直接编译和交付的。它们与Kubernetes的源代码一起维护，并与Kubernetes版本保持同步。这些插件以静态库形式打包到kube-scheduler二进制文件中，因此在使用时不需要单独安装和配置。一些常见的in-tree插件包括默认的调度算法、Packed Scheduling等。
2. Out-of-tree插件（外部插件）：这些插件是作为独立项目开发和维护的，它们与Kubernetes核心代码分开，并且可以单独部署和更新。本质上，out-of-tree插件是基于Kubernetes的调度器扩展点进行开发的。这些插件以独立的二进制文件形式存在，并通过自定义的方式与kube-scheduler进行集成。为了使用out-of-tree插件，您需要单独安装和配置它们，并在kube-scheduler的配置中指定它们。

可以看到 in-tree 插件与Kubernetes的核心代码一起进行维护和发展，而 out-of-tree插件可以单独开发并out-of-tree插件以独立的二进制文件部署。因此 out-of-tree插件具有更大的灵活性，可以根据需求进行自定义和扩展，而 in-tree 插件受限于Kubernetes核心代码的功能和限制。

对于版本升级in-tree插件与Kubernetes版本保持同步，而out-of-tree插件可以单独进行版本升级或兼容。

总的来说，in-tree 插件是Kubernetes的一部分，可以直接使用和部署，而 out-of-tree 插件则提供了更多的灵活性和定制化能力，但需要单独安装和配置。

一般开发都是采用out-of-tree 这各机制。

扩展点

参考官方文档 https://kubernetes.io/zh-cn/docs/concepts/scheduling-eviction/scheduling-framework/#%E6%89%A9%E5%B1%95%E7%82%B9

下图显示了一个 Pod 的调度上下文以及调度框架公开的扩展点。

一个插件可以在多个扩展点处注册执行，以执行更复杂或有状态的任务。

对于每个扩展点的介绍，可参考上面给出的官方文档，这里不再做介绍。

我们下面开发的是一个 Pod Scheduling Context 部分的 Filter调度器插件，插件的功能非常的简单，就是检查一个 Node 节点是否存在 cpu=true标签，如果存在此标签则可以节点有效，否则节点视为无效，不参与Pod调度。

插件实现

要实现一个调度器插件必须满足两个条件：

1. 必须实现对应扩展点插件接口
2. 将此插件在调度框架中进行注册。

不同扩展点可以启用不同的插件。

插件实现

每个扩展点的插件都必须要实现其相应的接口，所有的接口定义在 https://github.com/kubernetes/kubernetes/blob/v1.27.3/pkg/scheduler/framework/interface.go。

// Plugin is the parent type for all the scheduling framework plugins.
type Plugin interface {
    Name() string
}

// FilterPlugin is an interface for Filter plugins. These plugins are called at the
// filter extension point for filtering out hosts that cannot run a pod.
// This concept used to be called 'predicate' in the original scheduler.
// These plugins should return "Success", "Unschedulable" or "Error" in Status.code.
// However, the scheduler accepts other valid codes as well.
// Anything other than "Success" will lead to exclusion of the given host from
// running the pod.
// 这个是我们要实现的插件
type FilterPlugin interface {
    Plugin
    // Filter is called by the scheduling framework.
    // All FilterPlugins should return "Success" to declare that
    // the given node fits the pod. If Filter doesn't return "Success",
    // it will return "Unschedulable", "UnschedulableAndUnresolvable" or "Error".
    // For the node being evaluated, Filter plugins should look at the passed
    // nodeInfo reference for this particular node's information (e.g., pods
    // considered to be running on the node) instead of looking it up in the
    // NodeInfoSnapshot because we don't guarantee that they will be the same.
    // For example, during preemption, we may pass a copy of the original
    // nodeInfo object that has some pods removed from it to evaluate the
    // possibility of preempting them to schedule the target pod.
    Filter(ctx context.Context, state *CycleState, pod *v1.Pod, nodeInfo *NodeInfo) *Status
}

// PreEnqueuePlugin is an interface that must be implemented by "PreEnqueue" plugins.
// These plugins are called prior to adding Pods to activeQ.
// Note: an preEnqueue plugin is expected to be lightweight and efficient, so it's not expected to
// involve expensive calls like accessing external endpoints; otherwise it'd block other
// Pods' enqueuing in event handlers.
type PreEnqueuePlugin interface {
    Plugin
    // PreEnqueue is called prior to adding Pods to activeQ.
    PreEnqueue(ctx context.Context, p *v1.Pod) *Status
}

// LessFunc is the function to sort pod info
type LessFunc func(podInfo1, podInfo2 *QueuedPodInfo) bool

// QueueSortPlugin is an interface that must be implemented by "QueueSort" plugins.
// These plugins are used to sort pods in the scheduling queue. Only one queue sort
// plugin may be enabled at a time.
type QueueSortPlugin interface {
    Plugin
    // Less are used to sort pods in the scheduling queue.
    Less(*QueuedPodInfo, *QueuedPodInfo) bool
}

...

要实现 PreEnqueue扩展点的插件必须实现 PreEnqueuePlugin接口，而如何实现QueueSort扩展点插件的话，同需要实现 QueueSortPlugin接口，在这里实现 Filter 插件接口。

上一节《GoLand+dlv进行远程调试》我们介绍了如何使用 GoLand 进行远程调试，本节我们就以 kube-apiserver 为例演示一下调试方法。

服务器环境

作为开发调试服务器，需要安装以下环境

1. 安装 Golang 环境，国内最好设置 GOPROXY
2. 安装 dlv 调试工具
3. 安装 Docker 环境， 同时安装 containerd 服务（对应官方教程中的 containerd.io 安装包）并设置代理

同步代码(本地)

以下为我们本机环境设置。

本机下载 kubernetes 仓库

git clone --filter=blob:none https://github.com/kubernetes/kubernetes.git

这里指定 –filter=bold:none 可以实现最小化下载

这里 k8s 项目目录为 /Users/sxf/workspace/kubernetes, 对应远程服务器目录为 /home/sxf/workspace/kubernetes，如图所示

映射关系配置

同时选择自动上传 Automatic upload (Always) 菜单，这样以后当本地文件有变更时将自动同步到远程服务器。

首次手动同步远程代码(右键Upload here菜单)

如果文件特别多的话，首次同步将会比较慢，可以手动将本地项目打包上传到远程服务器再解压。

环境检测

首先对当前调试环境进行一系列的检查，如果条件不满足将给出提示信息

$ make verify

如果本地 Git 仓库存在未提交的文件的话，则此时将提示先提交。这一块有点不好，我这里直接终止了这个检查继续下一步。

安装Etcd

由于 kube-apiserver 依赖于 ectd ，所以必须先安装etcd。

$ cd workspace/kubernetes
$ ./hack/install-etcd.sh
Downloading https://github.com/coreos/etcd/releases/download/v3.5.7/etcd-v3.5.7-linux-amd64.tar.gz succeed
etcd v3.5.7 installed. To use:
export PATH="/home/sxf/workspace/kubernetes/third_party/etcd:${PATH}"

此时将自动从远程下载etcd二进制文件到目录 /third_party。