我们在日常开发中，经常会使用logback打印日志，经常会在日志中打印比如手机号、卡号、邮箱等敏感信息，对数据安全而言是有风险的；但是如果业务程序如果处理这些问题，则需要在每个打印日志的地方都需要进行重复的脱敏操作，繁琐而且影响代码风格，还会有遗漏情况；此时我们可能需要考虑一个相对统一的解决方案，那就是增强logback底层的特性，在日志message落盘之前统一进行检测、脱敏。
我们通常的日志处理面临的通用诉求：
1）超长日志message截取：程序打印的日志message可能非常大，比如超过1M，这种message极大的影响系统的性能，而且通常数据价值比较低。我们应该对这种message进行截取或者直接抛弃。
2）日志格式：通常情况下，我们的production环境的业务日志通过会按需采集、分析、存储，那么日志格式的统一对下游数据处理是非常必要的；为了避免各种原因错误配置了日志格式，我们应该将日志格式规范进行默认集成且限制修改。（我司目前支持两种格式：普通业务日志，通用数据集（监控指标）类日志）
日志格式中，通常包含一些用于数据分拣的系统信息（项目名、部署集群名、IP、云平台、rack等），也包含一些运行时的MDC动态参数值，最终格式是一致的。
3）脱敏：日志中存在特定规则的字符串时，比如手机号，需要对其进行脱敏处理。
设计核心思想：
1）基于PatternLayoutEncoder来实现日志格式的限定，不再使用默认的pattern参数指定格式，而是固定字段格式 + 自定义字段，最终拼接成格式规范。
其中局部可控字段，可以是系统变量、也可以MDC字段列表；固定格式部分，通常是message的头部，统一包含时间、IP、项目名等等。
2）基于logback提供的MessageConverter特性，在message打印之前允许对“参数格式化之后的message”（formattedMessage）进行转换，最终logger打印的实际内容是converter返回的整形后的结果。
那么，我们就可以基于此特性，在convert方法中执行“超长message截取”、“内容脱敏”两个主要操作。
主要类列表（新增类）：
1）CommonPatternLayoutEncoder：父类为PatternLayoutEncoder，用于定义日志格式，包括固定字段部分、自定义字段部分，将系统属性、MDC属性等，进行拼接，同时基于logback的option特性，将动态参数传递给MessageConverter；最终拼接成一个字符串，作为pattern属性。同时converter所需要的配置参数，比如消息最大长度、正则表达式、替换策略，都需要通过Encoder声明。
2）ComplexMessageConverter：message转换，只会操作logger.info(String message,Throwable ex)传递的message部分，其中throwable栈信息不会被操作（其实也无法修改）。
Converter可以获取Encoder传递的option参数列表，并初始化相关的处理类；内部实现基于正则表达式来匹配敏感信息。
3）DataSetPatternLayoutEncoder（可选）：主要用于限定数据集类的日志格式，它本身不能对敏感信息进行过滤；数据格式主要为了便于数据分析。
1、CommonPatternLayoutEncoder.java
package ch.qos.logback.classic.encoder;
import ch.qos.logback.classic.PolicyEnum;
import ch.qos.logback.classic.Utils;
import java.text.MessageFormat;
import static ch.qos.logback.classic.Utils.DOMAIN_DELIMITER;
import static ch.qos.logback.classic.Utils.FIELD_DELIMITER;
/**
* @author liuguanqing
* created 2018/6/22 下午8:01
* 适用于基于File的Appender
* <p>
* 限定我司日志规范，增加有关敏感信息的过滤。
* 可以通过regex指定需要匹配和过滤的表达式，对于符合表达式的字符串，则采用policy进行处理。
* 1）replace：替换，将字符串替换为facade，比如：18611001100 > 186****1100
* 2) drop：抛弃整条日志
* 3）erase：擦除字符串，全部替换成等长度的"****"，18611001100 > ***********
* <p>
* depth：正则匹配深度，默认为12，即匹配成功次数达到此值以后终止匹配，主要考虑是性能。如果一个超长的日志，我们不应该全部替换，否则可能引入性能问题。
* maxLength：单条message的最大长度（不计算throwable），超长则截取，并在message尾部追加终止符。
* <p>
* 考虑到扩展性，用户仍然可以直接配置pattern，此时regex、policy、depth等option则不生效。但是maxLength会一致生效。
* 格式样例：
* %d{yyyy-MM-dd/HH:mm:ss.SSS}|IP_OR_HOSTNAME|REQUEST_ID|REQUEST_SEQ|^_^|
* SYS_K1:%property{SYS_K1}|SYS_K2:%property{SYS_K2}|MDC_K1:%X{MDC_K1:--}|MDC_K2:%X{MDC_K2:--}|^_^|
* [%t] %-5level %logger{50} %line - %m{o1,o2,o3,o4}%n
* 格式中domain1是必选，而且限定无法扩展
* domain2根据配置文件指定的system properties和mdcKeys动态拼接，K-V结构，便于解析；可以为空。
* domain3是常规message部分，其中%m携带options，此后Converter可以获取这些参数。
**/
public class CommonPatternLayoutEncoder extends PatternLayoutEncoder {
protected static final String PATTERN_D1 = "%d'{'yyyy-MM-dd/HH:mm:ss.SSS'}'|{0}|%X'{'requestId:--'}'|%X'{'requestSeq:--'}'";
protected static final String PATTERN_D2_S1 = "{0}:%property'{'{1}'}'";
protected static final String PATTERN_D2_S2 = "{0}:%X'{'{1}:--'}'";
protected static final String PATTERN_D3_S1 = "[%t] %-5level %logger{50} %line - ";
//0:message最大长度（超出则截取），1:正则表达式，2:policy，3:查找深度（超过深度后停止正则匹配）
protected static final String PATTERN_D3_S2 = "%m'{'{0},{1},{2},{3}'}'%n";
protected String mdcKeys;//来自MDC的key,多个key用逗号分隔。
protected String regex = "-";//匹配的正则表达式，如果此值为null或者"-",那么policy、deep参数都将无效
protected int maxLength = 2048;//单条消息的最大长度，主要是message
protected String policy = "replace";//如果匹配成功，字符串的策略。
protected int depth = 128;
protected boolean useDefaultRegex = true;
protected static final String DEFAULT_REGEX = "'((?<\\d)1[3-9]\\d{9}(?!\\d))'";//手机号，11位数字，并且前后位不再是数字。
//系统参数，如果未指定，则使用default;
protected String systemProperties;
protected static final String DEFAULT_SYSTEM_PROPERTIES = "project,profiles,cloudPlatform,clusterName";
@Override
public void start() {
if (getPattern() == null) {
StringBuilder sb = new StringBuilder();
String d1 = MessageFormat.format(PATTERN_D1, Utils.getHostName());
sb.append(d1);
sb.append(FIELD_DELIMITER)
.append(DOMAIN_DELIMITER)
.append(FIELD_DELIMITER);
//拼装系统参数，如果当前数据视图不存在，则先set一个默认值
if (systemProperties == null || systemProperties.isEmpty()) {
systemProperties = DEFAULT_SYSTEM_PROPERTIES;
}
//系统参数
String[] properties = systemProperties.split(",");
for (String property : properties) {
String value = Utils.getSystemProperty(property);
if (value == null) {
System.setProperty(property, "-");//初始化
}
sb.append(MessageFormat.format(PATTERN_D2_S1, property, property))
.append(FIELD_DELIMITER);
}
//拼接MDC参数
if (mdcKeys != null) {
String[] keys = mdcKeys.split(",");
for (String key : keys) {
sb.append(MessageFormat.format(PATTERN_D2_S2, key, key));
sb.append(FIELD_DELIMITER);
}
sb.append(DOMAIN_DELIMITER)
.append(FIELD_DELIMITER);
}
sb.append(PATTERN_D3_S1);
if (PolicyEnum.codeOf(policy) == null) {
policy = "-";
}
if (maxLength < 0 || maxLength > 10240) {
maxLength = 2048;
}
//如果设定了自定义regex，则优先生效；否则使用默认
if (!regex.equalsIgnoreCase("-")) {
useDefaultRegex = false;
}
if (useDefaultRegex) {
regex = DEFAULT_REGEX;
}
sb.append(MessageFormat.format(PATTERN_D3_S2, String.valueOf(maxLength), regex, policy, String.valueOf(depth)));
setPattern(sb.toString());
}
super.start();
}
public String getMdcKeys() {
return mdcKeys;
}
public void setMdcKeys(String mdcKeys) {
this.mdcKeys = mdcKeys;
}
public String getRegex() {
return regex;
}
public void setRegex(String regex) {
this.regex = regex;
}
public int getMaxLength() {
return maxLength;
}
public void setMaxLength(int maxLength) {
this.maxLength = maxLength;
}
public String getPolicy() {
return policy;
}
public void setPolicy(String policy) {
this.policy = policy;
}
public int getDepth() {
return depth;
}
public void setDepth(int depth) {
this.depth = depth;
}
public Boolean getUseDefaultRegex() {
return useDefaultRegex;
}
public boolean isUseDefaultRegex() {
return useDefaultRegex;
}
public void setUseDefaultRegex(boolean useDefaultRegex) {
this.useDefaultRegex = useDefaultRegex;
}
@Override
public String getPattern() {
return super.getPattern();
}
@Override
public void setPattern(String pattern) {
super.setPattern(pattern);
}
public String getSystemProperties() {
return systemProperties;
}
public void setSystemProperties(String systemProperties) {
this.systemProperties = systemProperties;
}
}
1）日志格式部分，仅供参考。
2）MDC参数声明格式为：%X{key}，如果上下文中key不存在，则打印""；我们通过使用“:-”来声明其默认值，比如%X{key:--}表示如果key不存在则将打印“-”。
3）根据logback的规定，option参数列表需要声明在某个字段中，并配合<conversionRule>才能生效，以本文为例，我们主要对message进行整形，所以option参数声明在%m上，其格式为：
“%m{o1,o2...}”，多个option之间以“,”分割。然后o1,o2的字面值，将可以在Converter中获取。简单来说，你需要将参数传递给Converter时，这些参数必须以option方式声明在某个字段上，否则没法做。
特别注意，如果option参数中如果包含“{”、“}”时，必须将option参数使用''包括。比如%m{2048,'\\d{11}','replace','128'}，为了便于理解，建议所有的option参数都使用''逐个包含。
此外，如果你对日志格式中，还需要使用系统参数（System Property），可以使用“%property{key}”来声明，有个问题，就是如果这些系统参数不是通过“java -jar -Dkey=value”设置的，而是在运行时通过System.setProperty(key,value)设置的，这些系统参数在logback初始化时是无法获得的，因为logback初始化结束后才会执行application程序；你可以在Encoder的start方法中先设定为这些系统参数设定一个默认值，以免日志打印是出现大量null。
4）MessageFormat格式化字符串时，字符串中如果包含“{”、“}”特殊字符,也需要将这两个字符使用''包含，比如：
MessageFormat.format("展示一下'{'{0}'}'格式化的效果。","hello")
输出>>
"展示一下{hello}格式化效果。"
5）useDefaultRegex：是否使用默认表达式，即手机号数字（连续11位数字，且后位不再跟进数字）。
6）regex：我们也允许用户自定义表达式。此时需要将useDefaultRegex设定为false才能生效。
7）maxLength：默认值为2048，即message的最大长度超过此值后将会被截取，可配置。
8）policy：对于regex匹配成功的字符串，如何处理。（处理规则，参见下文ComplexMessageConverter）
A）drop：直接抛弃，将message重置为一个“终止符号”。比如：
“我的手机号为18611001100”
将会被整形为：
“><”。
B）replace：替换，将敏感信息除去前三、后四位字符之外的其他字符用“*”替换，也是默认策略。比如：
“我的手机号为18611001100”
将会被整形为：
“我的手机号为186****1100”。
C）erase：参数，将匹配成功的字符串，全部替换为等长度的“*”，比如：
“我的手机号为18611001100”
将会被整形为：
“我的手机号为***********”。
9）depth：匹配深度，即message中，最多匹配成功的次数，超过之后将会终止匹配，主要考虑性能，默认值为128。假如message中有200个手机号，那么匹配和替换到128个之后，将会终止操作，剩余的手机号将不会再替换。
10）mdcKeys：指定pattern拼接时，需要植入的mdc参数列表，比如mdcKeys="name,address"，那么在pattern中将会包含：
“name:%X{name:--}|address:%X{address:--}”
其实大家主要关注的是option部分，Encoder的主要作用就是拼接一个pattern大概样例：
格式样例：
%d{yyyy-MM-dd/HH:mm:ss.SSS}|IP_OR_HOSTNAME|REQUEST_ID|REQUEST_SEQ|^_^|
SYS_K1:%property{SYS_K1}|SYS_K2:%property{SYS_K2}|MDC_K1:%X{MDC_K1:--}|MDC_K2:%X{MDC_K2:--}|^_^|
[%t] %-5level %logger{50} %line - %m{2048,'(\\d{11})','replace',128}
格式中domain1是必选，而且限定无法扩展
domain2根据配置文件指定的system properties和mdcKeys动态拼接，K-V结构，便于解析；可以为空。
domain3是常规message部分，其中%m携带options，此后Converter可以获取这些参数。
2、ComplexMessageConverter.java
package ch.qos.logback.classic.pattern;
import ch.qos.logback.classic.PolicyEnum;
import ch.qos.logback.classic.spi.ILoggingEvent;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* @author liuguanqing
* created 2018/6/22 下午8:01
* <p>
* 日志格式转换器，会为每个appender创建一个实例，所以在配置层面需要考虑兼容。
* 主要目的是，根据配置的regex来匹配message，对于匹配成功的字符串进行替换操作，并返回修正后的message。
**/
public class ComplexMessageConverter extends MessageConverter {
protected String regex = "-";
protected int depth = 0;
protected String policy = "-";
protected int maxLength = 2048;
private ReplaceMatcher replaceMatcher = null;
@Override
public void start() {
List<String> options = getOptionList();
//如果存在参数选项，则提取
if (options != null && options.size() == 4) {
maxLength = Integer.valueOf(options.get(0));
regex = options.get(1);
policy = options.get(2);
depth = Integer.valueOf(options.get(3));
if ((regex != null && !regex.equals("-"))
&& (PolicyEnum.codeOf(policy) != null)
&& depth > 0) {
replaceMatcher = new ReplaceMatcher();
}
}
super.start();
}
@Override
public String convert(ILoggingEvent event) {
String source = event.getFormattedMessage();
if (source == null || source.isEmpty()) {
return source;
}
//复杂处理的原因：尽量少的字符串转换、空间重建、字符移动。共享一个builder
if (source.length() > maxLength || replaceMatcher != null) {
StringBuilder sb = null;
//如果超长截取
if (source.length() > maxLength) {
sb = new StringBuilder(maxLength + 6);
sb.append(source.substring(0, maxLength))
.append("❮❮❮");//后面增加三个终止符
}
//如果启动了matcher
if (replaceMatcher != null) {
//如果没有超过maxLength
if (sb == null) {
sb = new StringBuilder(source);
}
return replaceMatcher.execute(sb, policy);
}
return sb.toString();
}
return source;
}
class ReplaceMatcher {
Pattern pattern;
ReplaceMatcher() {
pattern = Pattern.compile(regex);
}
String execute(StringBuilder source, String policy) {
Matcher matcher = pattern.matcher(source);
int i = 0;
while (matcher.find() && (i < depth)) {
i++;
int start = matcher.start();
int end = matcher.end();
if (start < 0 || end < 0) {
break;
}
String group = matcher.group();
switch (policy) {
case "drop":
return "❯❮";//只要匹配，立即返回
case "replace":
source.replace(start, end, facade(group, true));
break;
case "erase":
default:
source.replace(start, end, facade(group, false));
break;
}
}
return source.toString();
}
}
/**
* 混淆，但是不能改变字符串的长度
*
* @param source
* @param included
* @return
*/
public static String facade(String source, boolean included) {
int length = source.length();
StringBuilder sb = new StringBuilder();
//长度超过11的，保留前三、后四，中间全部*替换
//低于11位或者included=false，全部*替换
if (length >= 11) {
if (included) {
sb.append(source.substring(0, 3));
} else {
sb.append("***");
}
sb.append(repeat('*', length - 7));
if (included) {
sb.append(source.substring(length - 4));
} else {
sb.append(repeat('*', 4));
}
} else {
sb.append(repeat('*', length));
}
return sb.toString();
}
private static String repeat(char t, int times) {
char[] r = new char[times];
for (int i = 0; i < times; i++) {
r[i] = t;
}
return new String(r);
}
}
此类主要是从CommonPatternLayoutEncoder声明的options（即regix、maxLength、policy、depth）并初始化一个Matcher，针对message进行匹配和替换。正则比较消耗CPU，此外还要认真设计，避免在message处理过程中，新建太多的字符串，否则会大量消耗内存；我们在处理时，尽可能确保主message只有一个，replace时不改变message的长度，可以避免因为重建String导致一些空间浪费。
自所以Converter能够发挥作用，离不开<conversionRule>，参看下文的配置样例。不过还需要注意，每个Appender都会根据<conversionRule>创建一个Converter实例，所以Converter设计时注意代码兼容。
3、logback.xml配置样例
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
...
<conversionRule conversionWord="m" converterClass="ch.qos.logback.classic.pattern.ComplexMessageConverter"/>
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<file>你的日志文件名</file>
<Append>true</Append>
<prudent>false</prudent>
<encoder class="ch.qos.logback.classic.encoder.CommonPatternLayoutEncoder">
<useDefaultRegex>true</useDefaultRegex>
<policy>replace</policy>
<maxLength>2048</maxLength>
</encoder>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<FileNamePattern>你的日志名.%d{yyyy-MM-dd}.%i</FileNamePattern>
<maxFileSize>64MB</maxFileSize>
<maxHistory>7</maxHistory>
<totalSizeCap>6GB</totalSizeCap>
</rollingPolicy>
</appender>
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.classic.encoder.ConsolePatternLayoutEncoder"/>
</appender>
...
</configuration>
<conversionRule>节点中的“conversionWord='m'”，其中m就是对应pattern中的“%m”，可以从“%m”获取options列表。
因为CommonPatternLayoutEncoder中已经限定了pattern的格式，所以我们再logback.xml中也不需要再显示的声明pattern参数，基于此可以限定业务日志的格式保持统一。当然如果有特殊情况需要自定义，仍然可以使用<pattern>来声明以覆盖默认格式。
相关推荐
几乎是网上 能找到的 日志脱敏的所有实现 1、基于正则表达式的 日志脱敏实现 ，扩展logback 、log4j 2、springmvc 返回报文脱敏。 3、基于注解方式的脱敏。 大家选择使用。
Spring Boot默认使用LogBack日志系统，并且已经引入了相关的jar包，所以我们无需任何配置便可以使用LogBack打印日志。这篇文章主要介绍了SpringBoot+Logback实现一个简单的链路追踪功能,需要的朋友可以参考下
SpringBoot(四)SpringBoot整合logback实现日志输出 SpringBoot(四)SpringBoot整合logback实现日志输出 SpringBoot(四)SpringBoot整合logback实现日志输出
扩展logback将日志输出到Kafka实例源码，详情请参见博文：http://blog.csdn.net/l1028386804/article/details/79135948
logback做日志（代码演示和文档），logback做日志（代码演示和文档）
springboot+logback输出日志文件1
springboot项目，使用logback保存日志到数据库，非自增主键id，insert使用的是UUID
logback日志的jar包和配置介绍：logback-classic-1.1.2.jar、logback-core-1.1.2.jar、slf4j-api-1.7.7.jar、logback.xml、rsframework.properties
在日常工程开发中，日志是非常重要的一部分，通过日志可以迅速定位线上问题，日志框架也有很多选择，日志框架Logback和Log4j是同一个作者，Logback相比于Log4j，性能提高了10倍以上的性能，占用的内存也变小了，并且...
Logback是由log4j创始人设计的另一个开源日志组件，基于slf4j的日志规范实现的框架,性能比log4j要好。 Logback主要分为三个技术模块： logback-core：该模块为其他两个模块奠定了基础。 logback-classic：是log4j...
这是logback日志输出需要的jar包，以及最基础的logback.xml配置
Slf4j+logback实现logback测试，Slf4j+logback实现logback测试
随便找个地儿，mvn -v确保maven仓库配置...mvn install:install-file -DgroupId=pers.liuchengyin -DartifactId=logback-desensitization -Dversion=1.0.0 -Dpackaging=jar -Dfile=logback-desensitization-1.0.0.jar
LogBack日志的使用，有配置文件，详细的说明文档，所需要的jar包
扩展logback将日志输出到Kafka实例扩展源码，详情参见博文：http://blog.csdn.net/l1028386804/article/details/79136841
logback日志写logstash配置appender参考
java web 下有好几种日志框架，比如：logback，log4j，log4j2（slj4f 并不是一种日志框架，它相当于定义了规范，实现了这个规范的日志框架就能够用 slj4f 调用）。这篇文章主要介绍了基于logback springboot超级详细...
spring boot logback demo 实现 1.日志的info 和error 日志分类 存放 2.每日生成日志
适用于java中的Logback日志框架
Logback 异常日志减少打印内容