[QUESTION]: processor_split_char SourceKey 无法使用tags数据中log.file.path信息

[jasonchoi517]

Before asking a question, please first consider:

• Searching existing discussions
• Searching existing issues
• Searching English Doc
• Searching Google

---

输出到Kafka信息如下

{
  "contents": {
    "__file_offset__": "25879278",
    "bodyTime": "2024-11-04 10:30:49.786",
    "class": "com.fenqile.abacus.service.engine.ComputingServiceImpl",
    "content": "2024-11-04 10:30:49.786|27659|",
    "env": "prod",
    "logLevel": "INFO",
    "method": "computing",
    "traceID": "xxxxxx",
    "uid": "37116931"
  },
  "tags": {
    "__inode__": "32212255297",
    "host.ip": "xxx.xxx.xxx.xxx",
    "host.name": "localhost",
    "log.file.path": "/data/product/logs/ln-apps/java-test-01-bbf6959c-dffbj/192.168.11.12/flume/java-test/info.log"
  },
  "time": 1734417281
}

yaml文件：

enable: true
inputs:

• Type: input_file
  FilePaths:
  • /data/product/logs/ln-apps///flume//.log
    processors:
• Type: processor_split_char
  SourceKey: 这里怎么引用 tags里log.file.path呢？
  SplitSep: "|"
  SplitKeys:

目标我需要解析文件路径中IP地址(192.168.11.12)和应用名称(java-test)

[Takuka0311]

可以查看我们的日志协议，上述需求的字段是在tags中的：https://open.observability.cn/project/ilogtail/developer-guide-log-protocol-protocol-spec-sls/#_top

目前的processor都还不支持直接处理tags

[jasonchoi517]

你好，是否可以将tags数据，写入contexts里呢？

[Takuka0311]

文件路径实际上是保存在contents里的，可以试一下“tag:path”字段，但是ip保存的位置确实无法获取。看到您用的kafka插件，或许可以用这个来看看（这个是输出测打平了，但是processor还是处理不了的）：

https://open.observability.cn/project/ilogtail/plugins-flusher-kafka-v2/#%E6%95%B0%E6%8D%AE%E5%B9%B3%E9%93%BA

[jasonchoi517]

你好，2.0.7 contents 没有"tag:path "字段
{
"contents": {
"file_offset": "25879278",
"bodyTime": "2024-11-04 10:30:49.786",
"class": "com.fenqile.abacus.service.engine.ComputingServiceImpl",
"content": "2024-11-04 10:30:49.786|27659|",
"env": "prod",
"logLevel": "INFO",
"method": "computing",
"traceID": "xxxxxx",
"uid": "37116931"
},
"tags": {
"inode": "32212255297",
"host.ip": "xxx.xxx.xxx.xxx",
"host.name": "localhost",
"log.file.path": "/data/product/logs/ln-apps/java-test-01-bbf6959c-dffbj/192.168.11.12/flume/java-test/info.log"
},
"time": 1734417281
}
哪个版本，文件路径实际上是保存在contents里的呢？ 还是要配置哪个参数才会显示出来。

[pz9042]

你好，2.0.7 contents 没有"tag:path "字段 { "contents": { "file_offset": "25879278", "bodyTime": "2024-11-04 10:30:49.786", "class": "com.fenqile.abacus.service.engine.ComputingServiceImpl", "content": "2024-11-04 10:30:49.786|27659|", "env": "prod", "logLevel": "INFO", "method": "computing", "traceID": "xxxxxx", "uid": "37116931" }, "tags": { "inode": "32212255297", "host.ip": "xxx.xxx.xxx.xxx", "host.name": "localhost", "log.file.path": "/data/product/logs/ln-apps/java-test-01-bbf6959c-dffbj/192.168.11.12/flume/java-test/info.log" }, "time": 1734417281 } 哪个版本，文件路径实际上是保存在contents里的呢？ 还是要配置哪个参数才会显示出来。

解决了吗？我也有这个需求，想从file path 提取渠道信息，processer看文档，SourceKey只能是content，content里没有文件路径

[Takuka0311]

@Abingcbc 这个或许他比较清楚一些

[Abingcbc]

对于Tag的处理，目前有两种方法：

1. 原生插件只有SPL支持处理，字段名前需要加__tag__:前缀。
2. 拓展插件在2.0之前可以处理。对于2.0之后的ilogtail和Loongcollector，在全局配置里配置 UsingOldContentTag: true。之后所有的拓展插件都可以在content中处理tag。