🦀 Rust LogCleaner 压缩策略深度解析：gzip 老文件自动压缩 + 分布式日志聚合生产实践指南

11 Mar, 2026

Photos provided by Unsplash OR Pexels

🦀 Rust LogCleaner 压缩策略深度解析：gzip 老文件自动压缩 + 分布式日志聚合生产实践指南

在 RustFS 这套高性能 S3 对象存储系统中，日志文件轮转只是第一步。真正让生产环境“永不爆盘、永不丢日志”的，是后台的 LogCleaner 子系统。它与我们之前剖析的 RollingAppender 紧密配合，实现了时间 + 大小双轮转 + 老文件 gzip 压缩 + 总大小/保留数/空文件清理的全生命周期管理。

本文基于 RustFS 官方仓库（crates/obs/src/cleaner/）的最新源码与 README，结合 local.rs 中的配置注入逻辑，由浅入深完整拆解 LogCleaner 压缩策略，并给出分布式集群下日志聚合的实战方案。看完即可直接拷贝到你的 Rust 项目中落地。

浅层：整体架构与三阶段流水线（来自官方 README）

LogCleaner 采用 Scanner → Selection → Action 清晰流水线设计，零侵入、异步后台运行：

// local.rs 中的启动（已在上篇详细解析）
let cleaner = Arc::new(
    LogCleaner::builder(log_dir, file_pattern, active_filename)
        .match_mode(match_mode)          // Prefix / Suffix
        .keep_files(keep_files)
        .max_total_size_bytes(...)
        .compress_old_files(compress)
        .gzip_compression_level(gzip_level)
        .compressed_file_retention_days(retention_days)
        .delete_empty_files(delete_empty)
        .min_file_age_seconds(min_age)
        .dry_run(dry_run)
        .build()
);

tokio::spawn(async move {
    let mut interval = tokio::time::interval(Duration::from_secs(cleanup_interval));
    loop {
        interval.tick().await;
        let _ = tokio::task::spawn_blocking(move || cleaner_clone.cleanup()).await;
    }
});

Discovery (scanner.rs)：read_dir 非递归扫描，仅匹配 file_pattern（支持前缀/后缀模式），跳过活跃文件（active_filename）、排除模式、年龄 < min_file_age_seconds（默认 3600s = 1 小时）。
Selection (core.rs)：按策略排序文件：
- 保留最近 keep_files 个
- 若总大小超 max_total_size_bytes → 删除最老
- 单文件超 max_single_file_size_bytes → 立即清理
- 删除空文件（可选）
Action (core.rs + compress.rs)：先压缩（可选）→ 再删除原文件；.gz 文件单独保留 compressed_file_retention_days 天后删除。

核心返回值：cleanup() -> (deleted: usize, freed: u64)，便于打指标监控。

中层：压缩策略核心细节（gzip 自动触发机制）

当 compress_old_files = true（默认开启）时，压缩发生在 Action 阶段：

选中的“待清理”文件（非活跃、年龄 ≥ min_file_age_seconds）先被 gzip 压缩。
压缩级别：log_gzip_compression_level（默认 6，范围 1-9），使用 flate2 或同类库实现。
压缩后命名：原归档文件（如 20260315153012.123456-0.rustfs.log）→ ... .gz。
保留策略：压缩后的 .gz 文件单独计入保留天数，超过 compressed_file_retention_days（默认值见 config）后彻底删除。
防误操作：

min_file_age_seconds 保护刚轮转的文件不被立即压缩。
dry_run = true 时只打印日志，不实际操作（生产验证神器）。
delete_empty_files = true 额外清理 0 字节残留文件。

与 RollingAppender 完美联动：

RollingAppender 产生带微秒 + 原子计数器的归档文件（Suffix/Prefix 两种模式）。
LogCleaner 用同一 match_mode + file_pattern 精确识别，避免误删活跃文件。
即使活跃文件因 min_file_age_seconds 被 scanner 跳过，max_single_file_size_bytes 仍在 RollingAppender::should_roll 中实时强制轮转（双保险）。

性能亮点：

所有文件操作在 spawn_blocking 中执行，不阻塞 Tokio 主线程。
扫描仅 read_dir + 元数据，O(N) 极轻量（N 为日志文件数，通常 < 1000）。
压缩发生在“待删除”阶段，节省磁盘空间同时保留可读历史。

深层：配置全景 + 常见坑规避（直接拷贝生产模板）

[observability]
log_directory = "/var/log/rustfs"
log_filename = "rustfs.log"
log_match_mode = "suffix"                    # 或 prefix
log_rotation_time = "daily"
log_max_single_file_size_bytes = 10485760    # 10MB 强制轮转
log_max_total_size_bytes = 1073741824        # 1GB 总上限
log_keep_files = 30
log_compress_old_files = true
log_gzip_compression_level = 6
log_compressed_file_retention_days = 90      # .gz 保留 3 个月
log_min_file_age_seconds = 3600              # 防新文件误压
log_delete_empty_files = true
log_dry_run = false
log_cleanup_interval_seconds = 300           # 每 5 分钟清理一次
log_exclude_patterns = "*.tmp,*.lock"
log_stdout_enabled = false

生产避坑：

若发现日志不清理 → 检查 min_file_age_seconds 是否过大（Issue #2130 已修复，但仍建议设为 0~3600）。
Windows 环境：RollingAppender 已内置重试，LogCleaner 也兼容。
监控指标：暴露 log_cleaner.deleted_files_total、log_cleaner.freed_bytes_total 到 Prometheus。