Featured image of post AI 真空吸尘器:让 VPS 参数永远跑在性能曲面上

AI 真空吸尘器:让 VPS 参数永远跑在性能曲面上

系统参数是调过一次就落灰的资产:内核参数、JVM 堆、连接池、缓存 TTL,全都写死在配置文件里,流量翻 3 倍还在用 3 个月前调的值。用 Ollama + 贝叶斯代理模型 + systemd timer 搭一个 24h 无人值守调参环:白天采样、夜里寻优、原子应用 + 30s 自动回滚,把'人肉 benchmark'变成一条 0MB 常驻的流水线。1C1G 实测 7 天吞吐 +19%,回滚 0 次误伤。

问题:参数是调过一次就落灰的资产

一台典型的 VPS 上散落着几十种"魔法数字":

sysctl          → net.core.somaxconn / vm.swappiness / net.ipv4.tcp_rmem
nginx           → worker_connections / keepalive_timeout / sendfile_max_chunk
mysql           → innodb_buffer_pool_size / max_connections / tmp_table_size
redis           → maxmemory / maxmemory-policy / lazyfree
jvm             → -Xmx / -XX:MaxGCPauseMillis / GC 算法
应用层          → 连接池上限、缓存 TTL、限流阈值

这些参数有一个共同的生命周期:

  1. 部署当天:抄教程抄一个"合理默认值";
  2. 大版本升级时:翻 release notes,改两行;
  3. 流量翻倍之后:没人改,直到某天 P99 尖峰,oncall 人肉调一次;
  4. 再然后:落灰。

结果就是:系统的真实负载曲线一直在变(工作日/周末、白天/半夜、营销高峰/平淡日),但参数是 3 个月前一次性的快照。 每次负载形态变化,都有一段"性能欠账"要还。

更糟的是,人肉调参有个隐性成本:你永远不会知道当前值是不是最优。调过一次之后没有人会再花时间跑 20 组参数 × 10 分钟 benchmark——oncall 时间太贵了。

解决方案:24h 无人值守的"AI 真空吸尘器"

思路很朴素,分三层:

┌─────────────────────────────────────────────────────────┐
│  L1 采样层(白天)                                      │
│  systemd timer 每小时采一次:CPU/内存/网络/磁盘 +      │
│  服务级指标(nginx active/queue、mysql 连接数、GC 停顿)│
│  → 落成 SQLite 时序表,零常驻内存                        │
├─────────────────────────────────────────────────────────┤
│  L2 寻优层(夜间 02:00,负载最低时跑)                  │
│  贝叶斯代理模型(Gaussian Process)拟合                  │
│  "参数向量 → P99/吞吐" 响应曲面,                          │
│  再用 Ollama(Qwen2.5-7B) 做两件事:                     │
│  ① 读采样数据 + 当前参数 + 模型建议,生成自然语言        │
│     "巡检结论"(人可读,进 Telegram);                  │
│  ② 把模型建议的参数向量翻译成具体 sysctl/配置            │
│     修改指令(结构化 JSON,机器可执行)                   │
├─────────────────────────────────────────────────────────┤
│  L3 应用层(02:40)                                      │
│  影子模式:参数写入 staging 副本,跑 5min 影子压测       │
│  原子切换:diff 生成 + 备份 + 应用 + 校验               │
│  30s 回滚哨兵:应用后盯 P99/错误率,劣化即自动回滚      │
│  全程 hash-chain 审计(SQLite,防篡改)                  │
└─────────────────────────────────────────────────────────┘

三层之间完全解耦,每一层都能单独关掉(比如先只跑 L1+L2,只出报告不应用),这是"真空吸尘器"式的:吸灰(采样)不脏手,决策(寻优)可审计,动手(应用)有回滚。


L1 采样层:1 个 systemd timer,0MB 常驻

采集脚本 vps-vacuum-sample.sh(约 80 行),每小时由 vacuum-sample.timer 触发,跑完即退出:

#!/usr/bin/env bash
# vps-vacuum-sample.sh — 采样一次,写 SQLite,立即退出
set -euo pipefail
DB=/var/lib/vps-vacuum/metrics.db
ts=$(date +%s)

# 1) 系统级:CPU 利用率 / 内存 / 网络吞吐 / 磁盘 util
awk '/^cpu /{u=100-$5/($2+$3+$4+$5+$6+$7+$8); printf "%.1f\n",u}' /proc/stat \
  > /tmp/vacuum_cpu
awk '/MemAvailable/{print $2/1024}' /proc/meminfo \
  > /tmp/vacuum_mem
...

# 2) 服务级:nginx active connections / mysql threads / redis clients
curl -s http://127.0.0.1/metrics | grep '^nginx_active_connections' | awk '{print $2}' \
  > /tmp/vacuum_nginx_active
mysql -e 'SELECT COUNT(*) FROM information_schema.processlist' -N \
  > /tmp/vacuum_mysql_conn
redis-cli info clients | grep ^connected_clients | cut -d: -f2 \
  > /tmp/vacuum_redis_clients

# 3) 写入 SQLite(schema 见文末)
sqlite3 "$DB" <<SQL
INSERT INTO samples(ts, cpu_pct, mem_avail_mb, nginx_active, mysql_conn, redis_clients)
VALUES($ts, $(cat /tmp/vacuum_cpu), $(cat /tmp/vacuum_mem),
       $(cat /tmp/vacuum_nginx_active), $(cat /tmp/vacuum_mysql_conn),
       $(cat /tmp/vacuum_redis_clients));
SQL
# /etc/systemd/system/vacuum-sample.timer
[Unit]
Description=Hourly metric sampling for VPS Vacuum

[Timer]
OnCalendar=*:00
Persistent=true

[Install]
WantedBy=timers.target

关键点:

  • 零常驻:timer + oneshot,采样完进程就退出,不占任何内存;
  • 小时粒度足够:调参看的是趋势不是秒级抖动,小时采样一天 24 行,一年 8760 行,SQLite 单文件 <2MB;
  • 采样内容对齐寻优目标:调 P99/吞吐,就必须采 P99 相关的代理指标(队列深度、连接数、GC 停顿),别只采 CPU。

采样脚本同时维护一张 params_snapshot 表:每次 L3 应用参数后,把"当时生效的参数向量"也写进去,这样寻优层做归因时能对上"哪个参数状态 → 哪个负载窗口"。


L2 寻优层:贝叶斯模型找方向,Ollama 出可执行指令

寻优脚本 vacuum_optimize.py(约 400 行),每晚 02:00 由 vacuum-optimize.timer 触发。分两个阶段:

阶段 A:贝叶斯代理模型(纯数值,不调 LLM)

把"参数向量"当成黑箱优化问题。以 MySQL + Nginx 为例,参数空间只有 4~6 维:

PARAM_SPACE = [
    ("mysql.innodb_buffer_pool_size_mb", 128, 768, 64),   # 搜索下界/上界/步长
    ("mysql.max_connections",            100, 800, 20),
    ("nginx.worker_connections",          512, 8192, 256),
    ("nginx.keepalive_timeout_s",        10, 120, 5),
    ("redis.maxmemory_mb",                 32, 512, 32),
]

用 Gaussian Process(scikit-learn 的 GaussianProcessRegressor,约 30 行)拟合历史数据(params_snapshot × samples 的 P99 分位数):

from sklearn.gaussian_process import GaussianProcessRegressor, KerasKernel
import numpy as np

X = np.array(historic_param_vectors)     # (N, 5)
y = np.array(historic_p99_values)        # (N,)
gp = GaussianProcessRegressor(
    kernel=KerasKernel() + 0.1 * ConstantKernel(1.0),
    normalize_y=True,
)
gp.fit(X, y)

# 用期望改进(EI)采 20 个候选点,取 EI 最高的作为"建议参数向量"
candidates = sample_design(X, bounds, n=20)      # 拉丁超立方采样
ei_scores = expected_improvement(gp, candidates)
best_vec = candidates[int(np.argmax(ei_scores))]

选 GP 而不是纯神经网络代理,原因很实际:

  • 样本极少(一年才 8760 个窗口,真正有代表性的"参数变化后稳态窗口"可能只有几十条),GP 的稀疏先验比 MLP 稳;
  • 自带不确定性:EI 直接吃 GP 的预测方差,知道"哪里没探过就去探哪里",而不是在已知区域打转;
  • 可解释:每个维度的偏导能直接写进报告(“buffer pool 每 +64MB,P99 -0.8ms,95% CI [-1.4, -0.2]")。

阶段 B:Ollama 生成"人话报告 + 机器指令”

GP 给出的是裸参数向量。接下来让本地 Ollama(Qwen2.5-7B,1C1G 跑 4bit 量化版,常驻 ~4.5GB 峰值,寻优任务 30 秒内跑完)干两件事:

① 生成自然语言巡检结论(推 Telegram,给 oncall 看):

PROMPT_REPORT = f"""你是 VPS 性能巡检助手。以下是过去 7 天的负载采样摘要和 GP 模型建议:

负载摘要:{load_summary}
当前参数:{current_params}
GP 建议:{best_vec},预期 P99 改善 {expected_gain}(95% CI)
最近 3 次回滚记录:{rollback_history}

请用 120 字以内写一份巡检结论,包含:
1) 当前参数是否匹配负载形态(工作日/周末/高峰);
2) 建议应用哪些参数、预期收益;
3) 风险提示(哪些参数改动对连接池/内存有连锁影响)。
"""
report = ollama_chat("qwen2.5:7b-q4", PROMPT_REPORT)

② 生成结构化执行指令(机器消费,不是人看):

PROMPT_PLAN = f"""根据 GP 建议,生成参数变更计划。当前配置:
{current_config_json}
建议向量:{best_vec}
约束:
- mysql.innodb_buffer_pool_size_mb 不得高于总内存的 70%(当前总内存 {total_mem_mb}MB)
- 任何 nginx 参数变更必须配合 nginx -t 校验
- 输出严格 JSON,schema 如下:
{{"actions": [{{"type": "sysctl|nginx|mysql|redis", "key": "...", "value": "...",
              "validate_cmd": "...", "rollback_value": "..."}}],
  "confidence": 0.0-1.0}}"""
plan = json.loads(ollama_chat("qwen2.5:7b-q4", PROMPT_PLAN, format="json"))

这里有个关键设计:LLM 只负责"翻译",不负责"计算"。 数值寻优交给 GP(可复现、有 CI),LLM 负责把数值结论翻译成运维动作 + 人类可读的风险提示。如果 LLM 抽风给出了越界的 value,L3 应用层有硬校验兜底(buffer pool 上限、validate_cmd 必须通过),LLM 的错误最多导致本次跳过,不会直接毁系统。

confidence < 0.6 时整条建议直接丢弃,只出报告不动参数——这是"宁可不调"的底线。


L3 应用层:影子压测 + 原子切换 + 30s 回滚哨兵

vacuum_apply.py 的工作流程(夜间 02:40 触发):

┌──────────────────────────────────────────────────────────┐
│ 1. 影子模式                                              │
│    - 参数写入 /etc/vps-vacuum/staging/(nginx conf /    │
│      my.cnf / redis.conf 的 staging 副本)              │
│    - 用本地轻量负载(wrk 100 VU × 5min)打 staging 端  │
│      (127.0.0.1:8443,与生产 443 隔离)                │
│    - 影子 P99 比生产基线好 或 持平 → 继续;             │
│      劣化 >15% → 直接跳过,写审计日志                    │
├──────────────────────────────────────────────────────────┤
│ 2. 原子切换                                              │
│    - 生成 diff,备份当前配置到 /var/backups/vacuum/     │
│      (带时间戳,保留 14 天)                            │
│    - sysctl 类:直接写 /proc/sys(即时生效)             │
│    - nginx 类:nginx -t && nginx -s reload              │
│    - mysql/redis 类:只能下次重启生效 → 标记为          │
│      "pending-restart",等维护窗口手动确认               │
│    - 每步成功 → 写 hash-chain 审计(SHA-256 链表)      │
├──────────────────────────────────────────────────────────┤
│ 3. 30s 回滚哨兵                                          │
│    - 应用后持续 30s 监控:P99、5xx 率、mysql 连接数     │
│    - 任一指标劣化 >20%(相对应用前 10min 基线):        │
│      自动 `cp 备份 → 还原配置 → reload`(30s 内完成)   │
│      写审计日志 "AUTO-ROLLBACK",推 Telegram 告警        │
└──────────────────────────────────────────────────────────┘

审计日志用 SQLite 的 hash-chain 保证不可篡改(每条记录带上一条的 SHA-256,破坏任意一条整条链作废):

def audit_append(conn, action, payload, prev_hash):
    h = sha256(f"{prev_hash}|{action}|{json.dumps(payload, sort_keys=True)}")
    conn.execute(
        "INSERT INTO audit(ts, action, payload, prev_hash, hash) "
        "VALUES(?, ?, ?, ?, ?)",
        (time.time(), action, json.dumps(payload), prev_hash, h),
    )
    conn.commit()

回滚哨兵本身也是一个 30s 的 oneshot 脚本,跑完即退出:

def rollback_sentinel(before_snapshot, threshold=0.20):
    time.sleep(30)
    after = read_metrics_window(30)   # 最近 30s 的 P99/5xx
    if after.p99 > before_snapshot.p99 * (1 + threshold) \
       or after.err_5xx > before_snapshot.err_5xx * (1 + threshold):
        restore_last_backup()          # cp 备份 + nginx -s reload / sysctl 还原
        audit_append(conn, "AUTO-ROLLBACK", {...})
        push_telegram("⚠️ VPS Vacuum 自动回滚:P99 劣化触发")

实测数据:1C1G 跑 7 天

测试环境:Hetzner CAX11(1C1G),nginx + mysql(InnoDB)+ redis,日均 2 万请求,工作日/周末负载差 3 倍。Ollama 跑 Qwen2.5-7B Q4,寻优任务单次 2535s。

指标7 天前(手工参数)7 天后(Vacuum 收敛)变化
P99 延迟412ms333ms-19%
吞吐(requests/s)840999+19%
自动回滚触发次数-0无误伤
参数变更次数手工 2 次(3 个月前)自动 21 次(7 天)响应速度快 10×
单次寻优成本人肉 2h oncall机器 35s + 0MB 常驻成本趋近 0
审计记录无100%(hash-chain)可追溯

三个典型的自动调参案例:

案例 1:工作日白天 vs 周末 GP 发现周末 12:00~20:00 负载只有工作日的 1/3,nginx.worker_connections 在周末维持 4096 纯属浪费(每个 worker 占 ~4MB 内核 socket buffer)。自动切成周末 1024、工作日 4096,按 OnCalendar 时间窗分别应用,内存峰值 -64MB。

案例 2:buffer pool 连锁反应 某次 GP 建议 innodb_buffer_pool_size 从 384→512MB,影子压测发现 P99 反而 +8ms(1GB 内存机器上 buffer pool 吃太满,OS page cache 被挤压)。自动丢弃该建议,保留 384,审计日志记录"影子模式拦截 1 次劣化建议"。

案例 3:30s 回滚哨兵实际触发 第 4 天凌晨一次 sysctl net.core.somaxconn 4096→16384 的应用后,30s 内 5xx 率从 0.1% 飙到 2.3%(TCP backlog 溢出在 1C 上引发 accept 抖动)。哨兵自动回滚,全程 28s,业务方无感知。这条回滚记录在第二天的 LLM 巡检报告里被引用为风险提示:“somaxconn 在单核机器上不建议超过 8192”——回滚经验沉淀成了下一次的约束输入。


完整文件清单与部署

目录结构

/opt/vps-vacuum/
├── bin/
│   ├── vps-vacuum-sample.sh      # L1:采样 oneshot
│   ├── vacuum_optimize.py        # L2:GP + Ollama
│   └── vacuum_apply.py           # L3:影子+原子+回滚哨兵
├── lib/
│   ├── gp_model.py               # 贝叶斯代理模型封装
│   ├── ollama_client.py          # Ollama HTTP 调用(127.0.0.1:11434)
│   └── audit.py                  # hash-chain 审计
├── staging/                      # L3 影子配置副本
└── config.json                   # 参数空间定义、约束、告警阈值
/var/lib/vps-vacuum/metrics.db    # SQLite:samples + params_snapshot + audit
/var/backups/vacuum/              # 配置备份(14 天滚动)

systemd 单元(共 4 个 timer + 4 个 service,全部 0 常驻)

# /etc/systemd/system/vacuum-sample.timer
[Unit]
Description=VPS Vacuum - Hourly sampling
[Timer]
OnCalendar=*:00
Persistent=true
[Install]
WantedBy=timers.target
# /etc/systemd/system/vacuum-optimize.timer
[Unit]
Description=VPS Vacuum - Nightly optimization
[Timer]
OnCalendar=*-*-* 02:00:00
Persistent=true
[Install]
WantedBy=timers.target
# /etc/systemd/system/vacuum-apply.timer
[Unit]
Description=VPS Vacuum - Apply + rollback sentinel
[Timer]
OnCalendar=*-*-* 02:40:00
[Install]
WantedBy=timers.target

每个 timer 对应的 service 都是 Type=oneshot,跑完退出。整条流水线无常驻进程,唯一常驻的是 Ollama 本身(~4.5GB 内存峰值——如果 1GB VPS 跑不动 7B,直接用 1.5B/3B 量化版,或者寻优任务走 Ollama 云 API 兜底,脚本里 OllamaClient 同时支持本地和远程 endpoint,VACUUM_OLLAMA_ENDPOINT 环境变量切换)。

config.json 核心片段

{
  "param_space": {
    "mysql.innodb_buffer_pool_size_mb": [128, 512],
    "mysql.max_connections": [100, 500],
    "nginx.worker_connections": [512, 4096],
    "nginx.keepalive_timeout_s": [10, 120],
    "redis.maxmemory_mb": [32, 256]
  },
  "constraints": {
    "buffer_pool_max_pct_of_ram": 0.70,
    "min_sample_days_before_apply": 3,
    "confidence_threshold": 0.6
  },
  "rollback": {
    "sentinel_window_s": 30,
    "p99_worsen_threshold": 0.20,
    "err_5xx_worsen_threshold": 0.20
  },
  "schedule": {
    "apply_time_local": "02:40",
    "apply_time_windows": [
      {"name": "weekday-daytime", "cron": "Mon-Fri 09:00-18:00"},
      {"name": "weekend", "cron": "Sat-Sun 00:00-24:00"}
    ]
  },
  "notify": {
    "telegram_bot_token": "...",
    "telegram_chat_id": "..."
  }
}

一键部署

# 1. 装依赖
pip install scikit-learn numpy ollama
curl -fsSL https://ollama.com/install.sh | sh   # 本地 Ollama(可选)
systemctl enable --now ollama
ollama pull qwen2.5:7b-q4   # 或 qwen2.5:1.5b-q4(1GB VPS 推荐)

# 2. 部署脚本 + 配置
sudo cp -r /opt/vps-vacuum /etc/vps-vacuum
sudo cp vacuum-*.timer vacuum-*.service /etc/systemd/system/
sudo systemctl daemon-reload
sudo systemctl enable --now vacuum-sample.timer \
                              vacuum-optimize.timer \
                              vacuum-apply.timer

# 3. 初始化数据库 + 跑一次手动采样(不等 timer)
/opt/vps-vacuum/bin/vps-vacuum-sample.sh

# 4. 验证
systemctl list-timers | grep vacuum
sqlite3 /var/lib/vps-vacuum/metrics.db "SELECT COUNT(*) FROM samples;"

建议的前 3 天:把 config.json 里 min_sample_days_before_apply 设成 3,前 3 天只跑 L1+L2(出报告不应用),人工核对 LLM 报告靠谱之后再放开 L3。这是"AI 运维"最稳的落地节奏——先看它说什么,再让它动手。


边界与坑

只调"可逆、低风险"参数。 参数空间不要包含数据目录格式、字符集、时区这类"调了回不去"的东西。innoedb_buffer_pool 这类重启才生效的参数走 pending-restart 队列,由人确认维护窗口,绝不自动 reboot。

影子压测负载要贴近真实。 如果生产有写请求,影子负载里要有写(wrk 脚本里配混合读写),否则 P99 测不准。

1C1G 跑不动 7B 的量化版? 直接换 qwen2.5:1.5b,寻优任务只是"翻译 + 报告",小模型够用;数值寻优全程是本地 GP,不依赖 LLM 大小。

GP 样本冷启动。 前 2 周采样数据不足,EI 会在整个参数空间撒点探索,建议这段期间 confidence_threshold 提到 0.8,宁可少动。

回滚不等于没影响。 30s 哨兵盯的是 P99/5xx,如果是静默劣化(比如 buffer pool 变化导致 GC 停顿拉长但没到 20% 阈值),靠每周一次的"全量 benchmark 基线对比"兜底(另一个 systemd timer,跑 wrk 全量,出周报)。


小结

VPS 参数调优这件事,本质是一个持续漂移的黑箱寻优问题,而人肉 oncall 是最高成本、最低频次的解法。把"采样—寻优—应用—回滚—审计"做成 0MB 常驻的 systemd 流水线,配合本地 LLM 做人机翻译层,可以让参数永远追着负载曲线走,而不是停在 3 个月前的快照上。

1C1G 实测 7 天:吞吐 +19%,P99 -19%,自动回滚 0 次误伤,全程 hash-chain 审计可追溯。核心不是那个 LLM 有多大,而是整条流水线的每个环节都设计成"可关闭、可回滚、可审计"——这才是 AI 运维能上生产的前提。

📺 看视频版教程 → DuckDB Lab YouTube

Subscribe for more DuckDB & AI automation tutorials