[QUESTION]: ilogtail 使用官方提供的镜像无法正常启动以及在以sidecar方式运行时存在日志丢失的情况

[shadowofmoo]

测试使用的配置：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ilogtail-log
  labels:
    app: ilogtail-log
  namespace: test
spec:
  selector:
    matchLabels:
      app: ilogtail-log
  replicas: 1
  template:
    metadata:
      labels:
        app: ilogtail-log
    spec:
      containers:
        - name: log-generate
          image: loggenerate:0.0.2
          volumeMounts:
            - mountPath: /app/logs/
              name: log-file
        - name: ilogtail
          image: ilogtail-custom:0.0.1
          imagePullPolicy: Always
          env:
            - name: TZ
              value: Asia/Shanghai
          volumeMounts:
            - mountPath: /app/user_yaml_config.d/
              name: user-config
              readOnly: true
            - mountPath: /logs/
              name: log-file
      nodeSelector:
        kubernetes.io/hostname: k8s-worker-03
      volumes:
        - name: user-config
          configMap:
            defaultMode: 420
            name: ilogtail-conf
        - name: log-file
          emptyDir: {}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: ilogtail-conf
  namespace: test
data:
  file_simple.yaml: |
    enable: true
    inputs:
      - Type: file_log
        LogPath: /logs
        FilePattern: "*.log"
    flushers:
      - Type: flusher_kafka_v2
        Brokers:
         - test:9200
        Topic: test

问题一，当使用官方的镜像的时候就直接无法启动，报错如下，而使用自制镜像则没有问题

问题二，运行时删除pod，日志总共有3800条日志

但实际上kafka只接收到了800条日志

[messixukejia]

问题1，看看日志里有什么打印

问题2，可以先调成stdout测试下看看有什么规律

[shadowofmoo]

问题一是这里容器直接就停止了，根本就进不去容器看报错信息。而且iLogtail控制台输出就两句话，把我都给弄懵了，也太硬核了
问题二我试试控制台打印

[shadowofmoo]

问题二，我又测试了一下，发现是如果直接停止pod，iLogtail会立即停止，而日志生成程序还在运行，这种情况造成的。

[yyuuttaaoo]

我来说一下问题1，问题1可能是因为镜像是为daemonset场景预订的，执行的启动命令是/usr/local/ilogtail/ilogtail_control.sh start_and_block。这个命令会检查ilogtail插件的端口，但这个端口在主机和sidecar场景很可能是不启动的，所以会认为ilogtail异常。
可以这样验证一下。把启动命令替换为 sleep 36000，然后进入ilogtail，执行bash -x /usr/local/ilogtail/ilogtail_control.sh start_and_block，看看执行哪一步报错了。

问题2可能是sidecar模式下ilogtail启动过晚或者过早退出或者两者兼而有之，这一点你可以通过缺失的数据判断一下。

要解决这两个问题，需要改进一下ilogtail在sidecar模式下的使用方式：

1. 需要使用共享卷文件通知或者OpenKruise Container Launch Priority功能确保ilogtail在业务容器启动前启动。
2. 需要使用共享卷文件通知或者OpenKruise Job Sidecar Terminator功能确保ilogtail在业务容器完成后随之退出。
3. 执行退出ilogtail命令前sleep 10（或检查checkpoint文件进度），确保文件采集完毕再退出ilogtail进程。

如果以上可以解决您现在遇到的问题，可以帮忙完善一下仓库里2个template，这两个看起来已经不适用当前镜像版本了。
https://github.com/alibaba/ilogtail/blob/main/k8s_templates/ilogtail-sidecar-file-to-kafka.yaml
https://github.com/alibaba/ilogtail/blob/main/k8s_templates/ilogtail-sidecar-file-to-sls.yaml

这里有个例子，可能可以有助于你理解我说的“共享卷文件通知”

apiVersion: batch/v1
kind: Job
metadata:
  name: sidecar-demo
  namespace: default
spec:
  template:
    metadata:
      name: sidecar-demo
    spec:
      restartPolicy: Never
      containers:
      ##### main container
      - name: nginx-log-demo
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/sh", "-c"]
        args:
        - /bin/mock_log --log-type=nginx --stdout=false --stderr=true --path=/var/log/nginx/access.log --total-count=10 --logs-per-sec=100;
          retcode=$?;
          touch /graveyard/tombstone;
          exit $retcode
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
        - mountPath: /graveyard
          name: graveyard
      ##### logtail sidecar container
      - name: logtail
        image: logtail:latest
        command: ["/bin/sh", "-c"]
        args:
        - /etc/init.d/ilogtaild start;
          sleep 10;
          until [[ -f /graveyard/tombstone ]]; do sleep 3; done;
          /etc/init.d/ilogtaild stop;
        livenessProbe:
          exec:
            command:
            - /etc/init.d/ilogtaild
            - status
          initialDelaySeconds: 30
          periodSeconds: 30
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
        - mountPath: /graveyard
          name: graveyard
      ##### share this volume
      volumes:
      - name: nginx-log
        emptyDir: {}
      - name: graveyard
        emptyDir:
          medium: Memory

[shalousun]

我赞同这个用OpenKruise的sidecarset去自动注入sidecar容器管理，k8s官方提供的很难去控制sidecar容器的一些行为，我们这边目前sidecar容器也是基于openkruise去注入

[oldthreefeng]

请问，这个sidecar 模式存在日志丢失的问题 ， 有被修复吗