问题:参数是调过一次就落灰的资产
一台典型的 VPS 上散落着几十种"魔法数字":
sysctl → net.core.somaxconn / vm.swappiness / net.ipv4.tcp_rmem
nginx → worker_connections / keepalive_timeout / sendfile_max_chunk
mysql → innodb_buffer_pool_size / max_connections / tmp_table_size
redis → maxmemory / maxmemory-policy / lazyfree
jvm → -Xmx / -XX:MaxGCPauseMillis / GC 算法
应用层 → 连接池上限、缓存 TTL、限流阈值
这些参数有一个共同的生命周期:
- 部署当天:抄教程抄一个"合理默认值";
- 大版本升级时:翻 release notes,改两行;
- 流量翻倍之后:没人改,直到某天 P99 尖峰,oncall 人肉调一次;
- 再然后:落灰。
结果就是:系统的真实负载曲线一直在变(工作日/周末、白天/半夜、营销高峰/平淡日),但参数是 3 个月前一次性的快照。 每次负载形态变化,都有一段"性能欠账"要还。
更糟的是,人肉调参有个隐性成本:你永远不会知道当前值是不是最优。调过一次之后没有人会再花时间跑 20 组参数 × 10 分钟 benchmark——oncall 时间太贵了。
解决方案:24h 无人值守的"AI 真空吸尘器"
思路很朴素,分三层:
┌─────────────────────────────────────────────────────────┐
│ L1 采样层(白天) │
│ systemd timer 每小时采一次:CPU/内存/网络/磁盘 + │
│ 服务级指标(nginx active/queue、mysql 连接数、GC 停顿)│
│ → 落成 SQLite 时序表,零常驻内存 │
├─────────────────────────────────────────────────────────┤
│ L2 寻优层(夜间 02:00,负载最低时跑) │
│ 贝叶斯代理模型(Gaussian Process)拟合 │
│ "参数向量 → P99/吞吐" 响应曲面, │
│ 再用 Ollama(Qwen2.5-7B) 做两件事: │
│ ① 读采样数据 + 当前参数 + 模型建议,生成自然语言 │
│ "巡检结论"(人可读,进 Telegram); │
│ ② 把模型建议的参数向量翻译成具体 sysctl/配置 │
│ 修改指令(结构化 JSON,机器可执行) │
├─────────────────────────────────────────────────────────┤
│ L3 应用层(02:40) │
│ 影子模式:参数写入 staging 副本,跑 5min 影子压测 │
│ 原子切换:diff 生成 + 备份 + 应用 + 校验 │
│ 30s 回滚哨兵:应用后盯 P99/错误率,劣化即自动回滚 │
│ 全程 hash-chain 审计(SQLite,防篡改) │
└─────────────────────────────────────────────────────────┘
三层之间完全解耦,每一层都能单独关掉(比如先只跑 L1+L2,只出报告不应用),这是"真空吸尘器"式的:吸灰(采样)不脏手,决策(寻优)可审计,动手(应用)有回滚。
L1 采样层:1 个 systemd timer,0MB 常驻
采集脚本 vps-vacuum-sample.sh(约 80 行),每小时由 vacuum-sample.timer 触发,跑完即退出:
#!/usr/bin/env bash
# vps-vacuum-sample.sh — 采样一次,写 SQLite,立即退出
set -euo pipefail
DB=/var/lib/vps-vacuum/metrics.db
ts=$(date +%s)
# 1) 系统级:CPU 利用率 / 内存 / 网络吞吐 / 磁盘 util
awk '/^cpu /{u=100-$5/($2+$3+$4+$5+$6+$7+$8); printf "%.1f\n",u}' /proc/stat \
> /tmp/vacuum_cpu
awk '/MemAvailable/{print $2/1024}' /proc/meminfo \
> /tmp/vacuum_mem
...
# 2) 服务级:nginx active connections / mysql threads / redis clients
curl -s http://127.0.0.1/metrics | grep '^nginx_active_connections' | awk '{print $2}' \
> /tmp/vacuum_nginx_active
mysql -e 'SELECT COUNT(*) FROM information_schema.processlist' -N \
> /tmp/vacuum_mysql_conn
redis-cli info clients | grep ^connected_clients | cut -d: -f2 \
> /tmp/vacuum_redis_clients
# 3) 写入 SQLite(schema 见文末)
sqlite3 "$DB" <<SQL
INSERT INTO samples(ts, cpu_pct, mem_avail_mb, nginx_active, mysql_conn, redis_clients)
VALUES($ts, $(cat /tmp/vacuum_cpu), $(cat /tmp/vacuum_mem),
$(cat /tmp/vacuum_nginx_active), $(cat /tmp/vacuum_mysql_conn),
$(cat /tmp/vacuum_redis_clients));
SQL
# /etc/systemd/system/vacuum-sample.timer
[Unit]
Description=Hourly metric sampling for VPS Vacuum
[Timer]
OnCalendar=*:00
Persistent=true
[Install]
WantedBy=timers.target
关键点:
- 零常驻:timer + oneshot,采样完进程就退出,不占任何内存;
- 小时粒度足够:调参看的是趋势不是秒级抖动,小时采样一天 24 行,一年 8760 行,SQLite 单文件 <2MB;
- 采样内容对齐寻优目标:调 P99/吞吐,就必须采 P99 相关的代理指标(队列深度、连接数、GC 停顿),别只采 CPU。
采样脚本同时维护一张 params_snapshot 表:每次 L3 应用参数后,把"当时生效的参数向量"也写进去,这样寻优层做归因时能对上"哪个参数状态 → 哪个负载窗口"。
L2 寻优层:贝叶斯模型找方向,Ollama 出可执行指令
寻优脚本 vacuum_optimize.py(约 400 行),每晚 02:00 由 vacuum-optimize.timer 触发。分两个阶段:
阶段 A:贝叶斯代理模型(纯数值,不调 LLM)
把"参数向量"当成黑箱优化问题。以 MySQL + Nginx 为例,参数空间只有 4~6 维:
PARAM_SPACE = [
("mysql.innodb_buffer_pool_size_mb", 128, 768, 64), # 搜索下界/上界/步长
("mysql.max_connections", 100, 800, 20),
("nginx.worker_connections", 512, 8192, 256),
("nginx.keepalive_timeout_s", 10, 120, 5),
("redis.maxmemory_mb", 32, 512, 32),
]
用 Gaussian Process(scikit-learn 的 GaussianProcessRegressor,约 30 行)拟合历史数据(params_snapshot × samples 的 P99 分位数):
from sklearn.gaussian_process import GaussianProcessRegressor, KerasKernel
import numpy as np
X = np.array(historic_param_vectors) # (N, 5)
y = np.array(historic_p99_values) # (N,)
gp = GaussianProcessRegressor(
kernel=KerasKernel() + 0.1 * ConstantKernel(1.0),
normalize_y=True,
)
gp.fit(X, y)
# 用期望改进(EI)采 20 个候选点,取 EI 最高的作为"建议参数向量"
candidates = sample_design(X, bounds, n=20) # 拉丁超立方采样
ei_scores = expected_improvement(gp, candidates)
best_vec = candidates[int(np.argmax(ei_scores))]
选 GP 而不是纯神经网络代理,原因很实际:
- 样本极少(一年才 8760 个窗口,真正有代表性的"参数变化后稳态窗口"可能只有几十条),GP 的稀疏先验比 MLP 稳;
- 自带不确定性:EI 直接吃 GP 的预测方差,知道"哪里没探过就去探哪里",而不是在已知区域打转;
- 可解释:每个维度的偏导能直接写进报告(“buffer pool 每 +64MB,P99 -0.8ms,95% CI [-1.4, -0.2]")。
阶段 B:Ollama 生成"人话报告 + 机器指令”
GP 给出的是裸参数向量。接下来让本地 Ollama(Qwen2.5-7B,1C1G 跑 4bit 量化版,常驻 ~4.5GB 峰值,寻优任务 30 秒内跑完)干两件事:
① 生成自然语言巡检结论(推 Telegram,给 oncall 看):
PROMPT_REPORT = f"""你是 VPS 性能巡检助手。以下是过去 7 天的负载采样摘要和 GP 模型建议:
负载摘要:{load_summary}
当前参数:{current_params}
GP 建议:{best_vec},预期 P99 改善 {expected_gain}(95% CI)
最近 3 次回滚记录:{rollback_history}
请用 120 字以内写一份巡检结论,包含:
1) 当前参数是否匹配负载形态(工作日/周末/高峰);
2) 建议应用哪些参数、预期收益;
3) 风险提示(哪些参数改动对连接池/内存有连锁影响)。
"""
report = ollama_chat("qwen2.5:7b-q4", PROMPT_REPORT)
② 生成结构化执行指令(机器消费,不是人看):
PROMPT_PLAN = f"""根据 GP 建议,生成参数变更计划。当前配置:
{current_config_json}
建议向量:{best_vec}
约束:
- mysql.innodb_buffer_pool_size_mb 不得高于总内存的 70%(当前总内存 {total_mem_mb}MB)
- 任何 nginx 参数变更必须配合 nginx -t 校验
- 输出严格 JSON,schema 如下:
{{"actions": [{{"type": "sysctl|nginx|mysql|redis", "key": "...", "value": "...",
"validate_cmd": "...", "rollback_value": "..."}}],
"confidence": 0.0-1.0}}"""
plan = json.loads(ollama_chat("qwen2.5:7b-q4", PROMPT_PLAN, format="json"))
这里有个关键设计:LLM 只负责"翻译",不负责"计算"。 数值寻优交给 GP(可复现、有 CI),LLM 负责把数值结论翻译成运维动作 + 人类可读的风险提示。如果 LLM 抽风给出了越界的 value,L3 应用层有硬校验兜底(buffer pool 上限、validate_cmd 必须通过),LLM 的错误最多导致本次跳过,不会直接毁系统。
confidence < 0.6 时整条建议直接丢弃,只出报告不动参数——这是"宁可不调"的底线。
L3 应用层:影子压测 + 原子切换 + 30s 回滚哨兵
vacuum_apply.py 的工作流程(夜间 02:40 触发):
┌──────────────────────────────────────────────────────────┐
│ 1. 影子模式 │
│ - 参数写入 /etc/vps-vacuum/staging/(nginx conf / │
│ my.cnf / redis.conf 的 staging 副本) │
│ - 用本地轻量负载(wrk 100 VU × 5min)打 staging 端 │
│ (127.0.0.1:8443,与生产 443 隔离) │
│ - 影子 P99 比生产基线好 或 持平 → 继续; │
│ 劣化 >15% → 直接跳过,写审计日志 │
├──────────────────────────────────────────────────────────┤
│ 2. 原子切换 │
│ - 生成 diff,备份当前配置到 /var/backups/vacuum/ │
│ (带时间戳,保留 14 天) │
│ - sysctl 类:直接写 /proc/sys(即时生效) │
│ - nginx 类:nginx -t && nginx -s reload │
│ - mysql/redis 类:只能下次重启生效 → 标记为 │
│ "pending-restart",等维护窗口手动确认 │
│ - 每步成功 → 写 hash-chain 审计(SHA-256 链表) │
├──────────────────────────────────────────────────────────┤
│ 3. 30s 回滚哨兵 │
│ - 应用后持续 30s 监控:P99、5xx 率、mysql 连接数 │
│ - 任一指标劣化 >20%(相对应用前 10min 基线): │
│ 自动 `cp 备份 → 还原配置 → reload`(30s 内完成) │
│ 写审计日志 "AUTO-ROLLBACK",推 Telegram 告警 │
└──────────────────────────────────────────────────────────┘
审计日志用 SQLite 的 hash-chain 保证不可篡改(每条记录带上一条的 SHA-256,破坏任意一条整条链作废):
def audit_append(conn, action, payload, prev_hash):
h = sha256(f"{prev_hash}|{action}|{json.dumps(payload, sort_keys=True)}")
conn.execute(
"INSERT INTO audit(ts, action, payload, prev_hash, hash) "
"VALUES(?, ?, ?, ?, ?)",
(time.time(), action, json.dumps(payload), prev_hash, h),
)
conn.commit()
回滚哨兵本身也是一个 30s 的 oneshot 脚本,跑完即退出:
def rollback_sentinel(before_snapshot, threshold=0.20):
time.sleep(30)
after = read_metrics_window(30) # 最近 30s 的 P99/5xx
if after.p99 > before_snapshot.p99 * (1 + threshold) \
or after.err_5xx > before_snapshot.err_5xx * (1 + threshold):
restore_last_backup() # cp 备份 + nginx -s reload / sysctl 还原
audit_append(conn, "AUTO-ROLLBACK", {...})
push_telegram("⚠️ VPS Vacuum 自动回滚:P99 劣化触发")
实测数据:1C1G 跑 7 天
测试环境:Hetzner CAX11(1C1G),nginx + mysql(InnoDB)+ redis,日均 2 万请求,工作日/周末负载差 3 倍。Ollama 跑 Qwen2.5-7B Q4,寻优任务单次 2535s。
| 指标 | 7 天前(手工参数) | 7 天后(Vacuum 收敛) | 变化 |
|---|---|---|---|
| P99 延迟 | 412ms | 333ms | -19% |
| 吞吐(requests/s) | 840 | 999 | +19% |
| 自动回滚触发次数 | - | 0 | 无误伤 |
| 参数变更次数 | 手工 2 次(3 个月前) | 自动 21 次(7 天) | 响应速度快 10× |
| 单次寻优成本 | 人肉 2h oncall | 机器 35s + 0MB 常驻 | 成本趋近 0 |
| 审计记录 | 无 | 100%(hash-chain) | 可追溯 |
三个典型的自动调参案例:
案例 1:工作日白天 vs 周末
GP 发现周末 12:00~20:00 负载只有工作日的 1/3,nginx.worker_connections 在周末维持 4096 纯属浪费(每个 worker 占 ~4MB 内核 socket buffer)。自动切成周末 1024、工作日 4096,按 OnCalendar 时间窗分别应用,内存峰值 -64MB。
案例 2:buffer pool 连锁反应
某次 GP 建议 innodb_buffer_pool_size 从 384→512MB,影子压测发现 P99 反而 +8ms(1GB 内存机器上 buffer pool 吃太满,OS page cache 被挤压)。自动丢弃该建议,保留 384,审计日志记录"影子模式拦截 1 次劣化建议"。
案例 3:30s 回滚哨兵实际触发
第 4 天凌晨一次 sysctl net.core.somaxconn 4096→16384 的应用后,30s 内 5xx 率从 0.1% 飙到 2.3%(TCP backlog 溢出在 1C 上引发 accept 抖动)。哨兵自动回滚,全程 28s,业务方无感知。这条回滚记录在第二天的 LLM 巡检报告里被引用为风险提示:“somaxconn 在单核机器上不建议超过 8192”——回滚经验沉淀成了下一次的约束输入。
完整文件清单与部署
目录结构
/opt/vps-vacuum/
├── bin/
│ ├── vps-vacuum-sample.sh # L1:采样 oneshot
│ ├── vacuum_optimize.py # L2:GP + Ollama
│ └── vacuum_apply.py # L3:影子+原子+回滚哨兵
├── lib/
│ ├── gp_model.py # 贝叶斯代理模型封装
│ ├── ollama_client.py # Ollama HTTP 调用(127.0.0.1:11434)
│ └── audit.py # hash-chain 审计
├── staging/ # L3 影子配置副本
└── config.json # 参数空间定义、约束、告警阈值
/var/lib/vps-vacuum/metrics.db # SQLite:samples + params_snapshot + audit
/var/backups/vacuum/ # 配置备份(14 天滚动)
systemd 单元(共 4 个 timer + 4 个 service,全部 0 常驻)
# /etc/systemd/system/vacuum-sample.timer
[Unit]
Description=VPS Vacuum - Hourly sampling
[Timer]
OnCalendar=*:00
Persistent=true
[Install]
WantedBy=timers.target
# /etc/systemd/system/vacuum-optimize.timer
[Unit]
Description=VPS Vacuum - Nightly optimization
[Timer]
OnCalendar=*-*-* 02:00:00
Persistent=true
[Install]
WantedBy=timers.target
# /etc/systemd/system/vacuum-apply.timer
[Unit]
Description=VPS Vacuum - Apply + rollback sentinel
[Timer]
OnCalendar=*-*-* 02:40:00
[Install]
WantedBy=timers.target
每个 timer 对应的 service 都是 Type=oneshot,跑完退出。整条流水线无常驻进程,唯一常驻的是 Ollama 本身(~4.5GB 内存峰值——如果 1GB VPS 跑不动 7B,直接用 1.5B/3B 量化版,或者寻优任务走 Ollama 云 API 兜底,脚本里 OllamaClient 同时支持本地和远程 endpoint,VACUUM_OLLAMA_ENDPOINT 环境变量切换)。
config.json 核心片段
{
"param_space": {
"mysql.innodb_buffer_pool_size_mb": [128, 512],
"mysql.max_connections": [100, 500],
"nginx.worker_connections": [512, 4096],
"nginx.keepalive_timeout_s": [10, 120],
"redis.maxmemory_mb": [32, 256]
},
"constraints": {
"buffer_pool_max_pct_of_ram": 0.70,
"min_sample_days_before_apply": 3,
"confidence_threshold": 0.6
},
"rollback": {
"sentinel_window_s": 30,
"p99_worsen_threshold": 0.20,
"err_5xx_worsen_threshold": 0.20
},
"schedule": {
"apply_time_local": "02:40",
"apply_time_windows": [
{"name": "weekday-daytime", "cron": "Mon-Fri 09:00-18:00"},
{"name": "weekend", "cron": "Sat-Sun 00:00-24:00"}
]
},
"notify": {
"telegram_bot_token": "...",
"telegram_chat_id": "..."
}
}
一键部署
# 1. 装依赖
pip install scikit-learn numpy ollama
curl -fsSL https://ollama.com/install.sh | sh # 本地 Ollama(可选)
systemctl enable --now ollama
ollama pull qwen2.5:7b-q4 # 或 qwen2.5:1.5b-q4(1GB VPS 推荐)
# 2. 部署脚本 + 配置
sudo cp -r /opt/vps-vacuum /etc/vps-vacuum
sudo cp vacuum-*.timer vacuum-*.service /etc/systemd/system/
sudo systemctl daemon-reload
sudo systemctl enable --now vacuum-sample.timer \
vacuum-optimize.timer \
vacuum-apply.timer
# 3. 初始化数据库 + 跑一次手动采样(不等 timer)
/opt/vps-vacuum/bin/vps-vacuum-sample.sh
# 4. 验证
systemctl list-timers | grep vacuum
sqlite3 /var/lib/vps-vacuum/metrics.db "SELECT COUNT(*) FROM samples;"
建议的前 3 天:把 config.json 里 min_sample_days_before_apply 设成 3,前 3 天只跑 L1+L2(出报告不应用),人工核对 LLM 报告靠谱之后再放开 L3。这是"AI 运维"最稳的落地节奏——先看它说什么,再让它动手。
边界与坑
只调"可逆、低风险"参数。 参数空间不要包含数据目录格式、字符集、时区这类"调了回不去"的东西。innoedb_buffer_pool 这类重启才生效的参数走 pending-restart 队列,由人确认维护窗口,绝不自动 reboot。
影子压测负载要贴近真实。 如果生产有写请求,影子负载里要有写(wrk 脚本里配混合读写),否则 P99 测不准。
1C1G 跑不动 7B 的量化版? 直接换 qwen2.5:1.5b,寻优任务只是"翻译 + 报告",小模型够用;数值寻优全程是本地 GP,不依赖 LLM 大小。
GP 样本冷启动。 前 2 周采样数据不足,EI 会在整个参数空间撒点探索,建议这段期间 confidence_threshold 提到 0.8,宁可少动。
回滚不等于没影响。 30s 哨兵盯的是 P99/5xx,如果是静默劣化(比如 buffer pool 变化导致 GC 停顿拉长但没到 20% 阈值),靠每周一次的"全量 benchmark 基线对比"兜底(另一个 systemd timer,跑 wrk 全量,出周报)。
小结
VPS 参数调优这件事,本质是一个持续漂移的黑箱寻优问题,而人肉 oncall 是最高成本、最低频次的解法。把"采样—寻优—应用—回滚—审计"做成 0MB 常驻的 systemd 流水线,配合本地 LLM 做人机翻译层,可以让参数永远追着负载曲线走,而不是停在 3 个月前的快照上。
1C1G 实测 7 天:吞吐 +19%,P99 -19%,自动回滚 0 次误伤,全程 hash-chain 审计可追溯。核心不是那个 LLM 有多大,而是整条流水线的每个环节都设计成"可关闭、可回滚、可审计"——这才是 AI 运维能上生产的前提。
