Spark应用程序和日志MDC(映射诊断上下文)

Spark application and logging MDC (Mapped Diagnostic Context)(Spark应用程序和日志MDC(映射诊断上下文))

本文介绍了Spark应用程序和日志MDC(映射诊断上下文)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在寻找一种方法,将我的驱动程序的MDC转发给主程序和工作程序,以便我可以识别来自同一操作的消息?例如,我有一个与应用程序相关的查询/作业ID,我希望将其附加到我的Spark Worker中的结构化日志消息中。
  • 不可能?
  • 未记录?
  • 很简单,但我太傻了,找不到?

问候您。

推荐答案

如果我对PR理解正确(我是Spark新手),那么从版本3.1开始 现在应该可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value")将自定义条目添加到MDC。

这篇关于Spark应用程序和日志MDC(映射诊断上下文)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:Spark应用程序和日志MDC(映射诊断上下文)

基础教程推荐