凌晨两点网站打不开:一个人值班时的前 15 分钟排查顺序
作者: OpsMate 团队
更新于
基于 OpsMate 实机排查整理;命令请在你有权限的服务器上执行,路径与服务名按环境替换。
网站半夜打不开、只有你一个人值班时,先按固定顺序做前 15 分钟排查,不要一上来重启整机。重启可能抹掉故障现场,也可能打断数据库写入。顺序是:确认影响 → 机器是否活着 → 入口和应用是否在跑 → 只看故障窗口日志 → 写下三行再动手。适用于常见 Linux VPS(systemd、Nginx、Docker);路径与端口按环境替换。本文只做第一轮分流,深入步骤见专题指南。
同一件事,别人搜的时候常写成「VPS 半夜挂了」,或者「机器突然关机,怎么排查」。词不一样,第一轮动作一样:先确认是不是所有人都打不开,再看这台机器还在不在跑。不会 Linux、也不会 SSH 的话,不必从命令开始,先看短文 网站突然打不开不懂服务器;已经能登录的,从下文第 1 步按 15 分钟顺序继续。
0. 网站突然打不开、又不懂服务器时,先做这三步
不会 Linux、不会 SSH,也可以先做分流。下面三步用手机或自己电脑就能完成,不需要会敲服务器命令:
- 换网验证:是不是全员打不开
用手机流量再打开一次;让同事换一个网络试。只有你这边打不开,先查本地 DNS、代理、缓存,别急着动服务器或重启。 - 打开云控制台:实例还在不在跑
看实例是否 Running(或「运行中」)、公网 IP 是否还在、安全组/防火墙是否放行 80/443(或你的业务端口)。实例已关机、欠费停机或安全组全挡时,面板和 SSH 都进不去,得先在控制台处理;必要时用控制台自带的 VNC/串口。 - 保存证据,再找人或再学 SSH
记下:大概几点开始、谁受影响、控制台截图(实例状态/监控)、页面上看到的是超时、502 还是证书错误。若你自己电脑能跑命令,可再在本机记下外部访问结果(把example.com换成你的域名):
这组命令跑在你自己的电脑上,不是在服务器上。状态码和curl -sS -o /dev/null -w '%{http_code} %{time_total}s\n' --max-time 10 https://example.com/ dig +short example.com Adig结果先原样保存;分享前遮盖内部地址和客户信息。
确认是全员打不开、且实例仍在运行之后,若你已经会 SSH 并能登录,从下文 「1. 第 0–2 分钟」 起按 15 分钟顺序继续(外面 curl → 机器是否活着 → 入口与应用 → 故障窗口日志 → 动手前写三行)。若还不会登录,带着上面三步的证据找当初搭建的人、按次顾问或同事,比空喊「网站挂了」有效得多。
接手别人搭的机器、先写一页清单,见 招不起运维的创始人自救手册。完全不会管服务器时的总答,见 我不会管理服务器怎么办。
1. 第 0–2 分钟:从外面确认影响
在你自己的电脑上执行(不是在服务器上),把 example.com 换成你的域名:
curl -sS -o /dev/null -w '%{http_code} %{time_total}s\n' --max-time 10 https://example.com/
dig +short example.com A
dig +short example.com AAAA
000或超时:请求没拿到任何 HTTP 响应,常见方向是 DNS、网络、防火墙/安全组、TLS 握手,或者机器本身不可达。502/504:网关(Nginx 或 CDN)还在,但没从上游拿到有效响应,后面重点查应用,参见 Nginx 502 Bad Gateway。500:请求到达了应用,应用自己报错,重点看应用日志。200:从你这里能打开,可能只是部分地区、部分路径或部分用户有问题,先问清楚是哪个页面、哪个网络。dig返回的地址和你预期的服务器(或 CDN)地址不一致:先查 DNS 是否被改动或过期。
这组命令不能说明:单个网络位置的结果不代表所有用户;如果前面有 CDN,看到的状态码可能是 CDN 生成的错误页,不是源站的真实状态。可以再用手机流量打开一次作对照。
2. 第 2–5 分钟:机器还活着吗
先试着 SSH 登录。如果 SSH 连不上,先去云厂商控制台看实例状态、监控图和安全组,必要时用控制台自带的 VNC/串口登录;这种情况下 OpsMate 也连不上这台机器,帮不上忙。能登录的话:
uptime
nproc
free -h
df -h
df -i
uptime的 load average 要和nproc的核数对比:持续明显高于核数,说明有任务在排队(CPU 或 I/O)。free -h看available一列,而不是used:Linux 会把空闲内存拿来做缓存,used高不等于内存不够。df -h某个分区 100%,或df -i的 inode 100%:写入会失败,数据库和应用经常因此挂掉,转到 磁盘占用突然飙升 做分流,不要急着删文件。
这组命令不能说明:是哪个进程在占资源,也看不到故障发生那一刻的峰值;它们只是当前快照。
3. 第 5–8 分钟:入口和应用在不在跑
systemctl --failed --no-pager
systemctl status nginx --no-pager
sudo ss -ltnp
docker ps -a --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
systemctl --failed列出启动失败的服务;空列表不代表应用正常,有些应用不是用 systemd 管的。ss -ltnp看 80/443 和应用端口有没有进程在监听(需要 sudo 才能看到进程名)。Nginx 在、应用端口却没人监听,基本对上 502 的常见原因。docker ps -a里某个容器是Restarting或Exited,转到 Docker 容器反复重启。
再在服务器上直接请求一次应用,绕开 DNS、CDN 和 Nginx(端口和路径只是示例,换成你的实际上游和一个安全的健康检查路径):
curl -sS -o /dev/null -w '%{http_code}\n' --max-time 5 http://127.0.0.1:3000/
本机能返回正常状态码、外面却打不开,问题更可能在 Nginx、防火墙、证书或 DNS;本机也失败,就先查应用。注意:端口在监听不等于应用健康,应用可能在监听但每个请求都卡住或报错。
4. 第 8–12 分钟:只看故障窗口的日志
先问自己“大概从几点开始坏的”,然后只看那段时间附近的日志,不要从头翻:
journalctl -p err --since "30 min ago" --no-pager | tail -n 100
sudo tail -n 100 /var/log/nginx/error.log
docker logs --since 30m --tail 200 --timestamps YOUR_CONTAINER
sudo dmesg -T | grep -i -E 'out of memory|killed process' | tail -n 20
journalctl -p err只显示 err 及以上级别;很多应用把错误写在自己的日志文件里,这里没有不代表没出错。- Nginx 的
error.log路径以你的配置为准;connect() failed (111: Connection refused)一类记录指向上游没在监听。 docker logs从退出前的第一条异常看起,而不是只看最后一行。YOUR_CONTAINER换成实际容器名。dmesg里出现Out of memory/Killed process,说明内核在某个时间点杀过进程;时间要和故障时间对得上才算相关证据。如果日志里提到磁盘写满,可以再看 Docker 日志占满磁盘。
分享或提交这些日志前,先遮盖密码、令牌、连接串、客户邮箱和内部地址。
5. 第 12–15 分钟:动手前先写三行
在任何重启或修改之前,先写下来(发到自己的笔记或团队群都行):
- 现象:几点开始、谁受影响、外部 curl 结果。
- 证据:哪条命令、哪行输出支持你的判断;哪些还没确认。
- 最小动作 + 回退:准备做的那一个动作,做完怎么验证,失败了怎么退回去。
几个常见的最小动作,每一个都是需要你拍板的变更,不是诊断步骤:
- 只重启出问题的那一个服务或容器,而不是整台机器。重启会清掉进程内存里的现场;先把上面几步的输出复制保存下来。
- 修改 Nginx 配置前先备份原文件,改完用
sudo nginx -t检查语法,再安排 reload;出问题就把备份放回去再 reload。 - 磁盘写满时,只清理已确认可以丢弃的内容,业务数据先备份或快照。
- 最近刚发布过版本、证据指向新代码:回滚到上一版本通常比半夜现场修更稳妥,前提是你知道数据库迁移能不能回退。
- 整机重启放到最后。重启前检查
/var/log/journal目录是否存在:不存在时,journal 可能只保存在内存里,重启后这次启动的日志会丢失。
做完动作后,再跑一遍第 1 步的外部 curl 和第 2 步的资源检查,确认恢复,并记下时间。
在 OpsMate 里怎么走这 15 分钟
OpsMate 把 SSH 终端和 AI 放在同一个服务器页面。上面的命令你可以直接在终端里手敲;记不清命令时,也可以用一句话把情况告诉 AI。AI 会提出排查命令,除了看日志,也可以用 ps、df、ss、docker、journalctl 这类命令做检查。命令和输出都留在终端里,方便你核对与复盘。每次让 AI 帮忙看,终端里最近的输出都会一起发到云端 AI,敏感信息请先去掉。人在外面时,巡检和 Telegram 告警可以先把异常推给你。只收 Telegram 告警不需要把凭证存到云端;想直接从 Telegram 远程 SSH 排障,才需要把该服务器的凭证托管到云端,参见 用 Telegram 收服务器告警。
边界要说清楚:
- SSH 连不上的机器,OpsMate 也连不上,要先走云厂商控制台。
- AI 以排查为主。未通过安全检查的命令会被拦截且不会执行。低风险修复默认自动执行,每一步都会记录。本文里的回滚、改配置都由你决定。OpsMate 自己会做什么、不会做什么,以官网 常见问题 为准。
- AI 的结论是排查起点,需要用命令输出核对,不能当作根因证明。
- 每次让 AI 帮忙看,终端里最近的输出都会一起发到云端 AI,敏感信息请先去掉。桌面端默认保证的只是 SSH 凭证留在本机。
说明性示例
说明性示例(不是真实客户案例):凌晨两点,外部 curl 返回 502。服务器能登录,uptime 负载不高;systemctl status nginx 显示 Nginx 正常运行,但 ss -ltnp 里应用的 3000 端口没有进程监听。docker ps -a 显示应用容器反复 Restarting,docker logs 里第一条异常是数据库写入失败。回头看 df -h,根分区 100%。这时 502 只是表象,真正要处理的是磁盘:先按磁盘指南确认是日志还是业务数据占满,只清理确认可丢弃的内容,再观察容器是否自己恢复。如果在第一步就重启了整台机器,磁盘依然是满的,问题会在几分钟后重演,而且现场记录更少。
AI 排查提示词
网站从大约 30 分钟前开始打不开。请先只做检查、不做任何改动,看看这台服务器的:负载、可用内存、磁盘容量和 inode、失败的 systemd 服务、监听端口、Docker 容器状态,以及最近 30 分钟的系统、Nginx 和应用错误日志。请区分已证实的事实和推测,并列出还缺少哪些信息。不要重启服务、删除文件或修改配置;如果需要变更,先给出最小步骤、风险、验证方法和回退方案,等我确认。
常见问题
我的网站突然打不开了,我不懂服务器,该怎么办?
先从外面核实:用手机流量打开网站,记下时间和看到的错误原文。如果你或帮你的人能登录服务器,先看机器是否活着、磁盘有没有满、应用有没有在跑,把输出保存下来再考虑重启。本文第 1~3 步就是这个顺序。
外包走了,服务器只有他会弄,我现在该做什么?
出事当下,先弄清还有谁能进去:云控制台、SSH 密钥、域名注册商。你这边谁都进不去时,云厂商控制台和工单就是入口。网站恢复后,再接管账号、收回外包的权限,并把入口、依赖和负责人补进服务器交接清单,避免下一次从头猜。
看到的是证书警告时
页面能打开但浏览器报证书,或接口握手失败。先在你自己的电脑上看公网终点送出的叶证。不要先强制续期,也不要重载 Nginx。CDN 或负载均衡卸掉 TLS 时,公网叶证和源站叶证可以不同。notAfter 或签发者不同,不能证明哪张是旧证。*.example.com 只覆盖一层名字,例如 api.example.com,不覆盖 a.api.example.com。超时、报错或空白记成未确认。
timeout 15 openssl s_client -servername example.com -connect example.com:443 </dev/null | openssl x509 -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
echo "pipe_status:$?"
timeout 15 openssl s_client -servername example.com -connect example.com:443 </dev/null | openssl x509 -noout -checkhost example.com
echo "pipe_status:$?"
s_client 打印的是这个终点送出的叶证,不证明信任链或吊销状态。普通 shell 里 pipe_status 为 0,只表示管道末端的 x509 退出成功,不表示 TLS 握手、信任链或超时检查通过。-checkhost 只核名字。源站把 ORIGIN_IP 换成你有权查看的地址。只有同一域名、同一 SNI、同一终止层和同一节点,才比较序列号和 SHA-256 指纹:
timeout 15 openssl s_client -servername example.com -connect ORIGIN_IP:443 </dev/null | openssl x509 -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
echo "pipe_status:$?"
timeout 15 openssl s_client -servername example.com -connect ORIGIN_IP:443 </dev/null | openssl x509 -noout -checkhost example.com
echo "pipe_status:$?"
能登录终止 TLS 的机器时,用 sudo nginx -T 找到包含该域名的那一个 server { } 块,从块里抄 ssl_certificate,替换 PATH_FROM_THE_MATCHING_SERVER_BLOCK。nginx -T 是磁盘配置加一次配置检查,不是运行态已经加载的证明。输出先脱敏。timer 和 hook 只是线索:看 enabled、状态、退出结果和续期日志。没有 certbot.timer 可能是 snap、cron 或其他客户端,不要写成“不是 certbot”。hook 不要执行,也不要默认重载。
sudo nginx -T
sudo certbot certificates
systemctl is-enabled certbot.timer
systemctl show certbot.timer -p ActiveState -p UnitFileState -p Result --no-pager
systemctl show certbot.service -p ActiveState -p Result -p ExecMainStatus --no-pager
sudo journalctl -u certbot.service -n 40 --no-pager
sudo ls -l /etc/letsencrypt/renewal-hooks/deploy /etc/letsencrypt/renewal-hooks/post
sudo openssl x509 -in PATH_FROM_THE_MATCHING_SERVER_BLOCK -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
sudo openssl x509 -in PATH_FROM_THE_MATCHING_SERVER_BLOCK -noout -checkhost example.com
同一终点的指纹不同,才可以怀疑进程还没加载这个文件,并且仍然不要因此重载。条件不齐就写未确认。更完整的记录项见 网站突然打不开不懂服务器。OpsMate 不会自动续证书。
小公司没钱请运维,服务器出问题一般怎么处理?
一般是团队里的开发者照固定清单做第一轮排查,再带着证据找按次付费的外包,或者提云厂商工单。功夫在平时:配一个能推到手机的外部可用性告警,每周花几分钟看磁盘、内存和备份。要监控哪些指标,见 小团队 VPS 监控清单。
试用
每月免费 500 次 AI 调用;服务器数量不限。桌面端默认把 SSH 凭证保留在本机。
参考
- curl 手册 — 从外面确认 HTTP 状态码与耗时
- journalctl(1) — 只读查看故障窗口系统日志
- Module ngx_http_proxy_module — 502 时常涉及的上游代理配置
- df(1) — 磁盘打满导致应用挂掉时的快速核对
常见问题
网站突然打不开、又不懂服务器怎么办?
先换网确认是不是全员打不开,再打开云控制台看实例是否 Running、安全组是否放行,把时间和现象记下来。这三步不需要会 Linux 命令。确认全员打不开且机器还在跑之后,会 SSH 的从本文第 1 步继续;不会的带着证据找人。详见上文「网站突然打不开、又不懂服务器时,先做这三步」。
需要帮助理解排查结果?
OpsMate(itops.sh)帮助开发者和运维人员用 AI 辅助排查,由你核对证据。每次让 AI 帮忙看,终端里最近的输出都会一起发到云端 AI,敏感信息请先去掉。
免费开始 本地凭证桌面端