为 ElasticSearch 添加动态索引遇到 unsupported field 错误

[liangry]

想为 flusher_elasticsearch 增加动态索引的功能，执行时遇到错误

flusher 动态索引配置如下

flushers:
  - Type: flusher_elasticsearch
    Addresses: 
      - http://127.0.0.1:9200
    Index: jsonlog_%{+yyyyMMdd}
    Authentication:
      PlainText:
        Username: elastic

同时修改了 flusher_elasticsearch.go，主要更改如下

ESIndex, err := fmtstr.FormatIndex(valueMap, f.Index, uint32(nowTime.Unix()))

执行编译 make plugin_local，并启动 ilogtail，日志 logtail_plugin.LOG 报错如下

AlarmType:FLUSHER_FLUSH_ALARM   flush elasticsearch convert log fail, error:unsupported field: +yyyyMMdd        logstore: xxxxxx

翻阅代码，只能是 convert.go 里的 findTargetValues

func findTargetValues(targetFields []string, contents, tags, tagKeyRenameMap map[string]string) (map[string]string, error) {
	if len(targetFields) == 0 {
		return nil, nil
	}

	desiredValue := make(map[string]string, len(targetFields))
	for _, field := range targetFields {
		switch {
		case strings.HasPrefix(field, targetContentPrefix):
			if value, ok := contents[field[len(targetContentPrefix):]]; ok {
				desiredValue[field] = value
			}
		case strings.HasPrefix(field, targetTagPrefix):
			if value, ok := tags[field[len(targetTagPrefix):]]; ok {
				desiredValue[field] = value
			} else if value, ok := tagKeyRenameMap[field[len(targetTagPrefix):]]; ok {
				desiredValue[field] = tags[value]
			}
		default:
			return nil, fmt.Errorf("unsupported field: %s", field)
		}
	}
	return desiredValue, nil
}

这里面也许涉及一些协议上的逻辑，暂时不明白底层的东西，不太好改，可能 flusher_elasticsearch 插件的作者也曾努力到这里，最后留下一个 TODO。请问有解决办法吗？

[shalousun]

fmtstr.FormatIndex是在 flusher_elasticsearch后面开发的，所以保留了TODO

// Obtain index keys from dynamic index expression
indexKeys, err := fmtstr.CompileKeys(f.Index) 这里解析index的动态表达式，对%{+yyyyMMdd}解析成一个key，返回是+yyyyMMdd
这个地方拿到可以遍历下indexKeys，检查到indexKeys中的key是+号开始的字符串直接丢弃，下面就不会报错了
// 下面代码那这个特殊的key去查询了字段，在设计fmtstr.FormatIndex时+开始的属于动态时间表达式，和数据字段无关，可以直接丢弃掉
serializedLogs, values, err := f.converter.ToByteStreamWithSelectedFields(logGroup, f.indexKeys)