tracing 搜集不到数据

kuops

openresty –> ingress/istio-sidecar –> pod

如果遇到 openresty 传入 X-Request-ID ，之后 tracing 无数据
或者 openresty 传入的 uuid 在 tracing 里搜索不到的情况可以参考下

zackzhang

如果使用自定义的es的地址，需要修改以下几个地方：

root@n1x2:~/test# kubectl -n kubesphere-system edit cm kubesphere-config

界面上改es的地址为外部地址

logging ns下面的cm改掉

kubectl -n kubesphere-logging-system edit cm elasticsearch-logging-curator-elasticsearch-curator-config
kubectl -n kubesphere-logging-system scale sts --all --replicas=0

# kubectl -n istio-system edit jaeger

Jeff

kuops 你把环境的登录信息发到 kubesphere@yunify.com ，我们查下

Jeff

kuops 是的，最好能有 TeamViewer 12，或者向日葵也行

Jeff

kuops 好的，稍等一下，我上去看下

kuops

找到问题了。。。。因为如果 ingress 开启 generate-request-id: “true” 他的 request id
是 nginx 默认的 $req_id 不符合 rfc4122 的规范所以不会被 jaeger
jaeger 收集，所以覆盖不覆盖都会有问题。。。

https://github.com/istio/istio/issues/17973

kuops

kuops 还是有问题，tracing 有数据了，但是 request-id 不能覆盖

Jeff

kuops 这个场景我们没有试过，能提供的帮助有限，可以先问问istio社区。你能说下你的openrestry设置，怎么和skywalking整合的，怎么能复现这个问题，我们也试试

kuops

Jeff 其实跟 skywalking 没关系 = = skywalking 传的 uuid 是标准的 rfc4122 uuid
我测得时候只是用了 nginx 他自己的规则 $req_id 这个变量

http {
...
    map $http_x_request_id $req_id {
                    default   $http_x_request_id;
                    ""        $request_id;
          }
...
   server {
    listen 80;
    server_name *.dev.ks.example.com;

    access_log      /var/log/nginx/dev_access.log upstreaminfo;
    error_log       /var/log/nginx/dev_error.log;

    location / {
        proxy_redirect        off;
        proxy_set_header      Host              $host;
        proxy_set_header      X-Real-IP         $remote_addr;
        proxy_set_header      X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header      X-Forwarded-Proto $scheme;
        proxy_set_header      Upgrade           $http_upgrade;
        proxy_set_header      Connection        $connection_upgrade;
        proxy_set_header      X-Request-ID      $req_id;
        proxy_http_version                      1.1;
        proxy_pass          http://kubesphere-router-http;
    }
   }
}

kuops

Jeff

server {
   ...
    set $http_x_request_id '';
    rewrite_by_lua_block {
        require("tracer"):start("upstream service")
        ngx.var.http_x_request_id = ngx.ctx.tracingContext.trace_id
    }
    body_filter_by_lua_block {
        if ngx.arg[2] then
            require("tracer"):finish()
        end
    }

}

这个是之前 skywalking 的传 uuid 我这么写的，不过 skywalking 应该没什么问题，我之前没引用，锅应该是 nginx 的 $req_id

kuops

需要前端 nginx 传的 X-Request-ID 符合 rfc4122
需要添加 envoyfilter ，注意 envoyfilter 匹配自己的 workload

apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
  name: request-id-settings
  namespace: kubesphere-controls-system
spec:
  configPatches:
  - applyTo: NETWORK_FILTER
    match:
      context: ANY
      listener:
        filterChain:
          filter:
            name: envoy.http_connection_manager
    patch:
      operation: MERGE
      value:
        typed_config:
          '@type': type.googleapis.com/envoy.config.filter.network.http_connection_manager.v2.HttpConnectionManager
          preserve_external_request_id: true
  workloadSelector:
    labels:
      app: kubesphere
      component: ks-router
      project: system
      tier: backend

Jeff

kuops 嗯，那现在你是解决了你的问题么，按照上面👆说的方式

kuops

Jeff 对

Jeff

kuops 好的，感谢反馈

kuops

Jeff 复现的话前面跑个 nginx 然后 proxy_set_header X-Request-ID “$request_id”; 然后 proxy_pass http://ingress-nodeport 直接就废了

Jeff

kuops 好，我们试试