在阿里云实时计算 Flink on YARN 中，任务运行日志默认保存在 HDFS 或本地磁盘上，可以通过配置清理策略来定期清理日志。

具体操作如下：

1.在 Flink 配置文件 flink-conf.yaml 中添加以下配置：

# 指定日志保存的本地目录，如果未指定，日志会保存在 Yarn 的日志目录下yarn.application.logs.dir: # 指定日志保留的天数，超过这个时间的日志会被清理yarn.log-aggregation.retain-seconds: 

其中，yarn.application.logs.dir 指定日志保存的本地目录（可选），如果未指定，日志会保存在 Yarn 的日志目录下；yarn.log-aggregation.retain-seconds 指定日志保留的天数，超过这个时间的日志会被清理。

2.在 YARN 上启动 Flink 任务时，通过以下命令指定 YARN 的日志目录和日志保留时间：

$ yarn session -n  -tm  -s  -jm  -yt   -D yarn.application.logs.dir=   -D yarn.log-aggregation.retain-seconds=

其中，yarn.application.logs.dir 和 yarn.log-aggregation.retain-seconds 可以指定 YARN 的日志目录和日志保留时间。

通过以上配置和命令，即可实现按周期清理下任务运行日志。同时，如果您需要将日志保存在 HDFS 上，需要在 flink-conf.yaml 中设置 yarn.log-aggregation.include-pattern 和 yarn.log-aggregation.roll-monitoring-interval-seconds 等相关参数。

这个应该不复杂的，你可以看看它的配置。

在yarn.log-aggregation.retain-seconds参数来设置日志的保留时间。

官方文档中也有示例，你可以参考 yarn.log-aggregation.retain-seconds: 604800 （单位是秒）

如果您使用其他日志管理工具来管理日志，需要使用相应的配置来设置日志的保留时间。

另外，如果您想在任务运行结束后立即清理日志，可以使用以下命令：

yarn logs -applicationId -log_files -am -clean

您可以通过在Flink配置文件中设置以下属性来启用Flink的日志清理功能：

开启日志清理功能

yarn.log-aggregation-enable: true

日志保留时间，单位为秒，默认为1天

yarn.log-aggregation.retain-seconds: 86400

日志清理周期，单位为秒，默认为1小时

yarn.log-aggregation.retain-check-interval-seconds: 3600 其中，yarn.log-aggregation-enable属性用于开启日志清理功能，yarn.log-aggregation.retain-seconds属性用于设置日志保留时间，yarn.log-aggregation.retain-check-interval-seconds属性用于设置日志清理周期。

在Flink应用程序中，您可以通过在log4j.properties文件中设置以下属性来控制日志输出：

日志输出路径

log4j.appender.file.File=${log.dir}/flink-${sys:jobmanager.rpc.address}-${sys:jobmanager.rpc.port}.log

日志输出级别

log4j.rootLogger=INFO, file 在以上配置中，log4j.appender.file.File属性用于设置日志输出路径，log4j.rootLogger属性用于设置日志输出级别。您可以根据自己的需求进行修改。

在 Flink on YARN 中，可以通过设置 YARN 的日志清理策略来定期清理 Flink 任务的运行日志。YARN 的日志清理策略可以通过修改 yarn-site.xml 文件来配置，具体步骤如下：

1. 打开 yarn-site.xml 文件，通常位于 $HADOOP_HOME/etc/hadoop 目录下。

2. 添加如下配置项，用于设置日志保留的时间和日志清理的周期，例如设置日志保留 7 天，每天清理一次：

  yarn.log-aggregation.retain-seconds  604800   yarn.log-aggregation.retain-check-interval-seconds  86400 

1. 保存 yarn-site.xml 文件并退出。

其中，yarn.log-aggregation.retain-seconds 参数用于设置日志保留的时间，单位为秒，例如上述配置中设置为 604800 秒（即 7 天），表示保留最近 7 天的日志。yarn.log-aggregation.retain-check-interval-seconds 参数用于设置日志清理的周期，单位为秒，例如上述配置中设置为 86400 秒（即 1 天），表示每天清理一次日志。

设置好 YARN 的日志清理策略后，YARN 就会按照配置的时间周期定期清理 Flink 任务的运行日志。需要注意的是，在 Flink on YARN 中，任务的日志通常存储在 YARN 的日志聚合目录中，因此需要确保 Flink 的日志配置中设置了正确的日志路径。可以通过修改 flink-conf.yaml 文件中的相关配置项来设置 Flink 的日志路径，例如：

yarn.application-attempt-id: "{{APPLICATION_ID}}_{{APP_ATTEMPT_ID}}"yarn.log.server-url: "http://{{HOSTNAME}}:{{HTTP_STATIC_PORT}}"yarn.log.dir: "hdfs:///flink/logs"

其中，yarn.log.dir 参数用于设置 Flink 的日志存储路径，例如上述配置中设置为 hdfs:///flink/logs，表示将 Flink 的日志存储在 HDFS 的 /flink/logs 目录下。

在 Flink on YARN 中，你可以通过以下参数来控制历史日志的保留和清理行为：

yarn.log-aggregation-enable：指定是否启用日志聚合功能，默认值为 true。如果设置为 false，则 Flink 不会将日志发送到 HDFS 中的聚合目录。

yarn.log-aggregation.retain-seconds：指定历史日志的保留时间（以秒为单位），默认值为 3,600 秒（1 小时）。如果设置为 0，则表示不保留历史日志。在指定时间内，Flink 会将任务运行日志保存在 HDFS 中的聚合目录中。

yarn.log-aggregation.retain-check-interval-seconds：指定检查历史日志保留时间间隔（以秒为单位），默认值为 300 秒（5 分钟）。Flink 会每隔一定时间检查一次历史日志的保留时间，并删除已过期的日志文件。

你可以在 flink-conf.yaml 文件中设置这些参数，例如：

Enable log aggregation and retain logs for 1 hour

yarn.log-aggregation-enable: true yarn.log-aggregation.retain-seconds: 3600 在此配置中，Flink on YARN 将启用日志聚合功能，并将任务运行日志保留 1 小时。每隔 5 分钟检查一次历史日志的保留时间，并删除已过期的日志文件。

注意，这些参数只控制历史日志的保留和清理行为。如果你想要减少 Flink 程序的运行日志量，可以通过修改 log4j.properties 文件中的日志级别来调整日志输出水平。