凌晨两点网站打不开:一个人值班时的前 15 分钟排查顺序

作者: OpsMate 团队
更新于
基于 OpsMate 实机排查整理;命令请在你有权限的服务器上执行,路径与服务名按环境替换。

网站半夜打不开、只有你一个人值班时,先按固定顺序做前 15 分钟排查,不要一上来重启整机。重启可能抹掉故障现场,也可能打断数据库写入。顺序是:确认影响 → 机器是否活着 → 入口和应用是否在跑 → 只看故障窗口日志 → 写下三行再动手。适用于常见 Linux VPS(systemd、Nginx、Docker);路径与端口按环境替换。本文只做第一轮分流,深入步骤见专题指南。

同一件事,别人搜的时候常写成「VPS 半夜挂了」,或者「机器突然关机,怎么排查」。词不一样,第一轮动作一样:先确认是不是所有人都打不开,再看这台机器还在不在跑。不会 Linux、也不会 SSH 的话,不必从命令开始,先看短文 网站突然打不开不懂服务器;已经能登录的,从下文第 1 步按 15 分钟顺序继续。

0. 网站突然打不开、又不懂服务器时,先做这三步

不会 Linux、不会 SSH,也可以先做分流。下面三步用手机或自己电脑就能完成,不需要会敲服务器命令:

  1. 换网验证:是不是全员打不开
    用手机流量再打开一次;让同事换一个网络试。只有你这边打不开,先查本地 DNS、代理、缓存,别急着动服务器或重启。
  2. 打开云控制台:实例还在不在跑
    看实例是否 Running(或「运行中」)、公网 IP 是否还在、安全组/防火墙是否放行 80/443(或你的业务端口)。实例已关机、欠费停机或安全组全挡时,面板和 SSH 都进不去,得先在控制台处理;必要时用控制台自带的 VNC/串口。
  3. 保存证据,再找人或再学 SSH
    记下:大概几点开始、谁受影响、控制台截图(实例状态/监控)、页面上看到的是超时、502 还是证书错误。若你自己电脑能跑命令,可再在本机记下外部访问结果(把 example.com 换成你的域名):
    curl -sS -o /dev/null -w '%{http_code} %{time_total}s\n' --max-time 10 https://example.com/
    dig +short example.com A
    这组命令跑在你自己的电脑上,不是在服务器上。状态码和 dig 结果先原样保存;分享前遮盖内部地址和客户信息。

确认是全员打不开、且实例仍在运行之后,若你已经会 SSH 并能登录,从下文 「1. 第 0–2 分钟」 起按 15 分钟顺序继续(外面 curl → 机器是否活着 → 入口与应用 → 故障窗口日志 → 动手前写三行)。若还不会登录,带着上面三步的证据找当初搭建的人、按次顾问或同事,比空喊「网站挂了」有效得多。

接手别人搭的机器、先写一页清单,见 招不起运维的创始人自救手册。完全不会管服务器时的总答,见 我不会管理服务器怎么办。

1. 第 0–2 分钟:从外面确认影响

在你自己的电脑上执行(不是在服务器上),把 example.com 换成你的域名:

curl -sS -o /dev/null -w '%{http_code} %{time_total}s\n' --max-time 10 https://example.com/
dig +short example.com A
dig +short example.com AAAA

这组命令不能说明:单个网络位置的结果不代表所有用户;如果前面有 CDN,看到的状态码可能是 CDN 生成的错误页,不是源站的真实状态。可以再用手机流量打开一次作对照。

2. 第 2–5 分钟:机器还活着吗

先试着 SSH 登录。如果 SSH 连不上,先去云厂商控制台看实例状态、监控图和安全组,必要时用控制台自带的 VNC/串口登录;这种情况下 OpsMate 也连不上这台机器,帮不上忙。能登录的话:

uptime
nproc
free -h
df -h
df -i

这组命令不能说明:是哪个进程在占资源,也看不到故障发生那一刻的峰值;它们只是当前快照。

3. 第 5–8 分钟:入口和应用在不在跑

systemctl --failed --no-pager
systemctl status nginx --no-pager
sudo ss -ltnp
docker ps -a --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'

再在服务器上直接请求一次应用,绕开 DNS、CDN 和 Nginx(端口和路径只是示例,换成你的实际上游和一个安全的健康检查路径):

curl -sS -o /dev/null -w '%{http_code}\n' --max-time 5 http://127.0.0.1:3000/

本机能返回正常状态码、外面却打不开,问题更可能在 Nginx、防火墙、证书或 DNS;本机也失败,就先查应用。注意:端口在监听不等于应用健康,应用可能在监听但每个请求都卡住或报错。

4. 第 8–12 分钟:只看故障窗口的日志

先问自己“大概从几点开始坏的”,然后只看那段时间附近的日志,不要从头翻:

journalctl -p err --since "30 min ago" --no-pager | tail -n 100
sudo tail -n 100 /var/log/nginx/error.log
docker logs --since 30m --tail 200 --timestamps YOUR_CONTAINER
sudo dmesg -T | grep -i -E 'out of memory|killed process' | tail -n 20

分享或提交这些日志前,先遮盖密码、令牌、连接串、客户邮箱和内部地址。

5. 第 12–15 分钟:动手前先写三行

在任何重启或修改之前,先写下来(发到自己的笔记或团队群都行):

  1. 现象:几点开始、谁受影响、外部 curl 结果。
  2. 证据:哪条命令、哪行输出支持你的判断;哪些还没确认。
  3. 最小动作 + 回退:准备做的那一个动作,做完怎么验证,失败了怎么退回去。

几个常见的最小动作,每一个都是需要你拍板的变更,不是诊断步骤:

做完动作后,再跑一遍第 1 步的外部 curl 和第 2 步的资源检查,确认恢复,并记下时间。

在 OpsMate 里怎么走这 15 分钟

OpsMate 把 SSH 终端和 AI 放在同一个服务器页面。上面的命令你可以直接在终端里手敲;记不清命令时,也可以用一句话把情况告诉 AI。AI 会提出排查命令,除了看日志,也可以用 ps、df、ss、docker、journalctl 这类命令做检查。命令和输出都留在终端里,方便你核对与复盘。每次让 AI 帮忙看,终端里最近的输出都会一起发到云端 AI,敏感信息请先去掉。人在外面时,巡检和 Telegram 告警可以先把异常推给你。只收 Telegram 告警不需要把凭证存到云端;想直接从 Telegram 远程 SSH 排障,才需要把该服务器的凭证托管到云端,参见 用 Telegram 收服务器告警。

边界要说清楚:

说明性示例

说明性示例(不是真实客户案例):凌晨两点,外部 curl 返回 502。服务器能登录,uptime 负载不高;systemctl status nginx 显示 Nginx 正常运行,但 ss -ltnp 里应用的 3000 端口没有进程监听。docker ps -a 显示应用容器反复 Restarting,docker logs 里第一条异常是数据库写入失败。回头看 df -h,根分区 100%。这时 502 只是表象,真正要处理的是磁盘:先按磁盘指南确认是日志还是业务数据占满,只清理确认可丢弃的内容,再观察容器是否自己恢复。如果在第一步就重启了整台机器,磁盘依然是满的,问题会在几分钟后重演,而且现场记录更少。

AI 排查提示词

网站从大约 30 分钟前开始打不开。请先只做检查、不做任何改动,看看这台服务器的:负载、可用内存、磁盘容量和 inode、失败的 systemd 服务、监听端口、Docker 容器状态,以及最近 30 分钟的系统、Nginx 和应用错误日志。请区分已证实的事实和推测,并列出还缺少哪些信息。不要重启服务、删除文件或修改配置;如果需要变更,先给出最小步骤、风险、验证方法和回退方案,等我确认。

常见问题

我的网站突然打不开了,我不懂服务器,该怎么办?

先从外面核实:用手机流量打开网站,记下时间和看到的错误原文。如果你或帮你的人能登录服务器,先看机器是否活着、磁盘有没有满、应用有没有在跑,把输出保存下来再考虑重启。本文第 1~3 步就是这个顺序。

外包走了,服务器只有他会弄,我现在该做什么?

出事当下,先弄清还有谁能进去:云控制台、SSH 密钥、域名注册商。你这边谁都进不去时,云厂商控制台和工单就是入口。网站恢复后,再接管账号、收回外包的权限,并把入口、依赖和负责人补进服务器交接清单,避免下一次从头猜。

看到的是证书警告时

页面能打开但浏览器报证书,或接口握手失败。先在你自己的电脑上看公网终点送出的叶证。不要先强制续期,也不要重载 Nginx。CDN 或负载均衡卸掉 TLS 时,公网叶证和源站叶证可以不同。notAfter 或签发者不同,不能证明哪张是旧证。*.example.com 只覆盖一层名字,例如 api.example.com,不覆盖 a.api.example.com。超时、报错或空白记成未确认。

timeout 15 openssl s_client -servername example.com -connect example.com:443 </dev/null | openssl x509 -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
echo "pipe_status:$?"
timeout 15 openssl s_client -servername example.com -connect example.com:443 </dev/null | openssl x509 -noout -checkhost example.com
echo "pipe_status:$?"

s_client 打印的是这个终点送出的叶证,不证明信任链或吊销状态。普通 shell 里 pipe_status 为 0,只表示管道末端的 x509 退出成功,不表示 TLS 握手、信任链或超时检查通过。-checkhost 只核名字。源站把 ORIGIN_IP 换成你有权查看的地址。只有同一域名、同一 SNI、同一终止层和同一节点,才比较序列号和 SHA-256 指纹:

timeout 15 openssl s_client -servername example.com -connect ORIGIN_IP:443 </dev/null | openssl x509 -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
echo "pipe_status:$?"
timeout 15 openssl s_client -servername example.com -connect ORIGIN_IP:443 </dev/null | openssl x509 -noout -checkhost example.com
echo "pipe_status:$?"

能登录终止 TLS 的机器时,用 sudo nginx -T 找到包含该域名的那一个 server { } 块,从块里抄 ssl_certificate,替换 PATH_FROM_THE_MATCHING_SERVER_BLOCK。nginx -T 是磁盘配置加一次配置检查,不是运行态已经加载的证明。输出先脱敏。timer 和 hook 只是线索:看 enabled、状态、退出结果和续期日志。没有 certbot.timer 可能是 snap、cron 或其他客户端,不要写成“不是 certbot”。hook 不要执行,也不要默认重载。

sudo nginx -T
sudo certbot certificates
systemctl is-enabled certbot.timer
systemctl show certbot.timer -p ActiveState -p UnitFileState -p Result --no-pager
systemctl show certbot.service -p ActiveState -p Result -p ExecMainStatus --no-pager
sudo journalctl -u certbot.service -n 40 --no-pager
sudo ls -l /etc/letsencrypt/renewal-hooks/deploy /etc/letsencrypt/renewal-hooks/post
sudo openssl x509 -in PATH_FROM_THE_MATCHING_SERVER_BLOCK -noout -subject -issuer -serial -fingerprint -sha256 -dates -ext subjectAltName
sudo openssl x509 -in PATH_FROM_THE_MATCHING_SERVER_BLOCK -noout -checkhost example.com

同一终点的指纹不同,才可以怀疑进程还没加载这个文件,并且仍然不要因此重载。条件不齐就写未确认。更完整的记录项见 网站突然打不开不懂服务器。OpsMate 不会自动续证书。

小公司没钱请运维,服务器出问题一般怎么处理?

一般是团队里的开发者照固定清单做第一轮排查,再带着证据找按次付费的外包,或者提云厂商工单。功夫在平时:配一个能推到手机的外部可用性告警,每周花几分钟看磁盘、内存和备份。要监控哪些指标,见 小团队 VPS 监控清单。

试用

每月免费 500 次 AI 调用;服务器数量不限。桌面端默认把 SSH 凭证保留在本机。

参考

常见问题

网站突然打不开、又不懂服务器怎么办?

先换网确认是不是全员打不开,再打开云控制台看实例是否 Running、安全组是否放行,把时间和现象记下来。这三步不需要会 Linux 命令。确认全员打不开且机器还在跑之后,会 SSH 的从本文第 1 步继续;不会的带着证据找人。详见上文「网站突然打不开、又不懂服务器时,先做这三步」。

需要帮助理解排查结果?

OpsMate(itops.sh)帮助开发者和运维人员用 AI 辅助排查,由你核对证据。每次让 AI 帮忙看,终端里最近的输出都会一起发到云端 AI,敏感信息请先去掉。

免费开始 本地凭证桌面端

排障指南