容器调试与排障

/容器调试与排障/

# busybox容器共享了目标容器的网络命名空间，PID命名空间和IPC命名空间

docker run -it –network=container:$TARGET_ID –pid=container:$TARGET_ID –ipc=container:$TARGET_ID busybox

apiVersion: v1

kind: Pod

metadata:

  name: nginx

spec:

  shareProcessNamespace: true

  containers:

  – name: nginx

    image: nginx

  – name: tool

    image: xo

    securityContext:

      capabilities:

        add:

        – SYS_PTRACE

    stdin: true

    tty: true

# kubectl 1.12.0 或更高的版本，可以直接使用:

kubectl debug -h

# 假如安装了debug-agent 的 daemonset，可以使用–agentless=false 来加快启动速度

# 之后的命令里会使用默认的agentless模式

kubectl debug POD_NAME

# 假如 Pod 处于CrashLookBackoff 状态无法连接，可以复制一个完全相同的 Pod来进行诊断

kubectl debug POD_NAME –fork

# 当使用fork mode时，如果需要复制出来的pod保留原pod的labels，可以使用 –fork-pod-retain-labels 参数进行设置(注意逗号分隔，且不允许空格)

# 示例如下

# 若不设置，该参数默认为空(既不保留原pod的任何labels，fork出来的新pod的labels为空)

kubectl debug POD_NAME –fork –fork-pod-retain-labels=<labelKeyA>,<labelKeyB>,<labelKeyC>

# 为了使 没有公网 IP 或无法直接访问(防火墙等原因)的 NODE 能够访问，默认开启 port-forward 模式

# 如果不需要开启port-forward模式，可以使用 –port-forward=false 来关闭

kubectl debug POD_NAME –port-forward=false –agentless=false –daemonset-ns=kube-system –daemonset-name=debug-agent

# 老版本的 kubectl 无法自动发现插件，需要直接调用 binary

kubectl-debug POD_NAME

# 使用私有仓库镜像，并设置私有仓库使用的kubernetes secret

# secret data原文请设置为 {Username: <username>, Password: <password>}

# 默认secret_name为kubectl-debug-registry-secret，默认namspace为default

kubectl-debug POD_NAME –image calmkart/netshoot:latest –registry-secret-name <k8s_secret_name> –registry-secret-namespace <namespace>

# 在默认的agentless模式中，你可以设置agent pod的resource资源限制，如下示例

# 若不设置，默认为空

kubectl-debug POD_NAME –agent-pod-cpu-requests=250m –agent-pod-cpu-limits=500m –agent-pod-memory-requests=200Mi –agent-pod-memory-limits=500Mi

**USAGE**:

kude -k|-d [<arguments>]

kude -x [<command>] [<ipaddrs>]

kude [<options>] podname

**OPTIONS**:

-a [args] 为kubectl的proxy，cp等命令提供参数

-c [test] kubernetes连接上下文(可选)

-d [args] 执行docker命令

-e [log, logf, inspect, describe, wide, yaml, json] 非交互式指令(可选)

-f [./kube/config] kubeonfig文件路径(可选)

-i [0] 匹配pod内容器index(可选)

-k [args] 执行kubectl命令

-m [xo] 自定义工具容器(可选)

-n [default] 查询的kubernetes命名空间(可选)

-o [xos] podname模糊匹配(可选)

-p [16022] 目标主机ssh端口(可选)

-s [admin123] 目标主机ssh密码(可选)

-t [60] 目标主机ssh连接超时时间(可选)

-u [root] 目标主机ssh账号(可选)

-x [cmd] 目标主机上需要执行的命令

-r Debug容器中是否需要chroot到目标容器的文件系统

-v Debug容器中是否需要挂载目标主机的docker.sock文件

-h 使用说明

**REFERENCES**:

# Linux: https://community.linuxmint.com/tutorial/view/244 https://man.linuxde.net/

# Docker: https://docs.docker.com/engine/reference/commandline/cli/

# Kubectl: https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands

**EXAMPLES**:

# 命令在带kubectl的主机运行

# 不带ssh相关参数的命令默认已经配置了免密登录

# 直接执行docker或kubectl命令

kude -d ps -a     #相当于docker ps -a

kude -k get pod   #相当于kubectl get pod

# 进行docker镜像推送并删除临时tag

kude -x \’dpush xshrim/xo foo.bar.com/xshrim\’# 远程到目标主机执行命令

kude -x \’ls /etc\’127.0.0.1

kude -p22-s admin -x\’ls /etc\’ 127.0.0.1# 执行本机命令

kude -x\’scp testroot@10.0.0.10:/root/test\’# 最简，所有命名空间中寻找名称带xos字段的pod，部署Debug容器共享该pod下第一个容器的命名空间并进入交互模式

kude xos# xshrim命名空间中寻找名称带xos字段的pod，部署Debug容器共享该pod下第一个容器的命名空间并进入交互模式

kude -n xshrim xos# xshrim命名空间中寻找名称带xos字段的pod，部署Debug容器共享该pod下第一个容器的命名空间进入交互模式并chroot到该容器的文件系统

kude -n xshrim -i0 -r xos# 所有命名空间中寻找名称带xos字段的pod下的第二个容器并显示容器日志

kude -e log -i 1 xos# 所有命名空间中寻找名称带xos字段的pod并显示其描述信息

kude -e describe xos# 所有命名空间中寻找名称带xos字段的pod并将其配置以json格式输出

kude -e json xos# 所有命名空间中寻找名称带xos字段的pod并进入命令行交互模式

kude -e exe xos# 所有命名空间中寻找名称带xos字段的pod并执行命令(不进入交互模式)

kude -e exec xos -a\’ls /root\’# 所有命名空间中寻找名称带xos字段的pod并进行远程文件复制

kude -e cp -a \’test :/root/\’ xos

kude -e cp -a \’:/root/test .\’ xos

# xshrim命名空间中寻找名称带xos字段的pod，部署Debug容器共享该pod下第一个容器的命名空间并进入交互模式，目标主机ssh账号密码端口指定，Debug容器使用netshoot

kude -n xshrim -u root -p 22 -s admin123 -m netshoot xos

apiVersion: v1

kind: Podmetadata:

  name: rabbit

  labels:

    role: myrolespec:

  shareProcessNamespace: true

  containers:

    – name: rabbitmq

      image: arm32v7/rabbitmq

      ports:

        – name: rabbit

          containerPort: 5672

          protocol: TCP

kubectl apply -f ./pod.yaml

{

    \”apiVersion\”: \”v1\”,

    \”kind\”: \”EphemeralContainers\”,

    \”metadata\”: {

            \”name\”: \”rabbit\”

    },

    \”ephemeralContainers\”: [{

        \”command\”: [

\”bash\”

        ],

        \”image\”: \”xo\”,

        \”imagePullPolicy\”: \”Always\”,

        \”name\”: \”diagtools\”,

        \”stdin\”: true,

        \”tty\”: true,

        \”terminationMessagePolicy\”: \”File\”

    }]}

kubectl -n default replace –raw /api/v1/namespaces/default/pods/rabbit/ephemeralcontainers -f ./ephemeral-diagnostic-container.json

kubectl describe pod rabbit

Ephemeral Containers:

   diagtools:

     Container ID:  docker://eb55c71f102ce3d56221934f6ebcabfd2da76204df718bd8d2573da24aecc8e9

Image:         xo

  Image ID:      docker-pullable://xo@sha256:bb00f943d511c29cc2367183630940e797f5e9552683b672613bf4cb602a1c4c

  Port:          

     Host Port:     

     Command:

       bash

     State:          Running

       Started:      Sat, 16 Nov 2019 14:49:58 +0000

     Ready: False

Restart Count:  0

     Environment:    

     Mounts:         

 Conditions:

   Type              Status

   Initialized       True

   Ready             True

   ContainersReady   True

   PodScheduled      True

kubectl attach -it rabbit -c diagtools

ls /proc/1/rootchroot /proc/1/root/  # chroot后可执行目标容器命令

java -versionexit

ip a

iftop -i eth0

drill -V 5 xos-svc

nslookup xos-svc

ip a

tcpdump -i eth0 -c 1 -Xvv

# xoc上模拟流量

netgen xos 2333# xos上抓包流量

tcpdump -vvvn -i eth0 port 2333

# 前提在工具容器中挂载宿主机docker.sock

ctop

netstat -tulpn

telnet xos 2333

curl xos:2333

nc xos 2333 -v

nmap -p 12376–12390 -dd 172.31.24.25

calicoctl get weapon

calicoctl get ippool

calicoctl get bgpconfig -o yaml

traceroute -n -m 10 -w 3 xos

curl -X POST -k -v https://xos:2333/test -d \”arg1=a\” -d \”arg2=b\”