添加 Fluentd 作为接收器

您可以在 KubeSphere 中使用 Elasticsearch、Kafka 和 Fluentd 日志接收器。本教程演示：

创建 Fluentd 部署以及对应的服务（Service）和配置字典（ConfigMap）。
添加 Fluentd 作为日志接收器以接收来自 Fluent Bit 的日志，并输出为标准输出。
验证 Fluentd 能否成功接收日志。

准备工作

您需要一个被授予集群管理权限的用户。例如，您可以直接用 admin 用户登录控制台，或创建一个具有集群管理权限的角色然后将此角色授予一个用户。
添加日志接收器前，您需要启用组件 logging、events 或 auditing。有关更多信息，请参见启用可插拔组件。本教程启用 logging 作为示例。

步骤 1：创建 Fluentd 部署

由于内存消耗低，KubeSphere 选择 Fluent Bit。Fluentd 一般在 Kubernetes 中以守护进程集的形式部署，在每个节点上收集容器日志。此外，Fluentd 支持多个插件。因此，Fluentd 会以部署的形式在 KubeSphere 中创建，将从 Fluent Bit 接收到的日志发送到多个目标，例如 S3、MongoDB、Cassandra、MySQL、syslog 和 Splunk 等。

执行以下命令：

备注

以下命令将在默认命名空间 default 中创建 Fluentd 部署、服务和配置字典，并为该 Fluentd 配置字典添加 filter 以排除 default 命名空间中的日志，避免 Fluent Bit 和 Fluentd 重复日志收集。
如果您想要将 Fluentd 部署至其他命名空间，请修改以下命令中的命名空间名称。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: default
data:
  fluent.conf: |-
    # Receive logs sent from Fluent Bit on port 24224
    <source>
      @type forward
      port 24224
    </source>

    # Because this will send logs Fluentd received to stdout,
    # to avoid Fluent Bit and Fluentd loop logs collection,
    # add a filter here to avoid sending logs from the default namespace to stdout again
    <filter **>
      @type grep
      <exclude>
        key $.kubernetes.namespace_name
        pattern /^default$/
      </exclude>
    </filter>

    # Send received logs to stdout for demo/test purpose only
    # Various output plugins are supported to output logs to S3, MongoDB, Cassandra, MySQL, syslog, Splunk, etc.
    <match **>
      @type stdout
    </match>    
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: fluentd
  name: fluentd
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
      - image: fluentd:v1.9.1-1.0
        imagePullPolicy: IfNotPresent
        name: fluentd
        ports:
        - containerPort: 24224
          name: forward
          protocol: TCP
        - containerPort: 5140
          name: syslog
          protocol: TCP
        volumeMounts:
        - mountPath: /fluentd/etc
          name: config
          readOnly: true
      volumes:
      - configMap:
          defaultMode: 420
          name: fluentd-config
        name: config
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: fluentd
  name: fluentd
  namespace: default
spec:
  ports:
  - name: forward
    port: 24224
    protocol: TCP
    targetPort: forward
  selector:
    app: fluentd
  sessionAffinity: None
  type: ClusterIP
EOF

步骤 2：添加 Fluentd 作为日志接收器

以 admin 身份登录 KubeSphere 的 Web 控制台。点击左上角的平台管理，然后选择集群管理。

备注

如果您启用了多集群功能，您可以选择一个集群。
在集群管理页面，选择集群设置下的日志接收器。
点击添加日志接收器并选择 Fluentd。
输入 Fluentd 服务地址和端口信息。
Fluentd 会显示在日志接收器页面的接收器列表中，状态为收集中。

步骤 3：验证 Fluentd 能否从 Fluent Bit 接收日志

在集群管理页面点击应用负载。
点击工作负载，并在部署选项卡中选择 default 项目。
点击 fluentd 项目并选择 fluentd-xxxxxxxxx-xxxxx 容器组。
点击 fluentd 容器。
在 fluentd 容器页面，选择容器日志选项卡。
您可以看到日志持续滚动输出。

反馈

这篇文章对您有帮助吗？

通过邮件接收 KubeSphere 最新的技术博客与产品更新的通知

感谢您的反馈。如果您有关于如何使用 KubeSphere 的具体问题，请在 Slack 上提问。如果您想报告问题或提出改进建议，请在 GitHub 存储库中打开问题。

上一篇 : 添加 Kafka 作为接收器下一篇 : 集群网关

页面内容