记一次磁盘日志满导致 Redis AOF 文件格式错误的问题
2024-6-26 08:0:0 Author: einverne.github.io(查看原文) 阅读量:0 收藏

, Last modified on 06/26/2024 | View revision history

记录一次 VPS 被日志写满,VPS 重启后,导致 Redis 备份文件格式错误的问题。

今天早上起来的时候就收到了一台服务器服务的告警,但是没怎么注意,还以为是网络波动,但是到中午发现服务无法访问了,上到管理面板看了一下,发现日志写到 99%,幸好此时还可以登录,所以赶紧 ssh 登录上去,使用 gdu 扫描一下,发现 /www/wwwlogs/ 文件占用了超过 60 GB,然后再一看网站的访问日志就写了超过 30GB,所以立马 less 排查一下没发现异常,就把文件清理了,但是 Ubuntu 下有一个问题,即使清理了文件,一时间系统也无法感知到文件被删除了,可能因为 Nginx 还在不断占用文件句柄写文件中,所以无奈只能临时重启一下服务器。

但是重启之后问题就出现了,首先是 Redis 无法启动

❯ sudo /etc/init.d/redis-server status
● redis-server.service - Advanced key-value store
     Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Wed 2024-06-26 14:42:18 CST; 13s ago
       Docs: http://redis.io/documentation,
             man:redis-server(1)
    Process: 6918 ExecStart=/usr/bin/redis-server /etc/redis/redis.conf (code=exited, status=0/SUCCESS)
   Main PID: 6919 (code=exited, status=1/FAILURE)

Jun 26 14:42:18 gc4 systemd[1]: redis-server.service: Scheduled restart job, restart counter is at 5.
Jun 26 14:42:18 gc4 systemd[1]: Stopped Advanced key-value store.
Jun 26 14:42:18 gc4 systemd[1]: redis-server.service: Start request repeated too quickly.
Jun 26 14:42:18 gc4 systemd[1]: redis-server.service: Failed with result 'exit-code'.
Jun 26 14:42:18 gc4 systemd[1]: Failed to start Advanced key-value store.

然后我根据 Redis ,查看了 /var/log/redis/redis-server.log 之后发现,原来是 AOF 文件的问题。

8882:M 26 Jun 2024 14:43:42.161 * Reading RDB preamble from AOF file...
8882:M 26 Jun 2024 14:43:42.257 * Reading the remaining AOF tail...
8882:M 26 Jun 2024 14:43:42.935 # Bad file format reading the append only file: make a backup of your AOF file, then use ./redis-check-aof --fix <filename>

因为这一台服务器的 Redis 是直接通过 apt 安装,所以 AOF 文件默认被放在了 /var/lib/redis/appendonly.aof ,使用命令行

# back up aof file
cp appendonly.aof appendonly.aof.bak
redis-check-aof --fix appendonly.aof

然后再重启 Redis

sudo /etc/init.d/redis-server start

即可。



如果要使用 Remark42 进行评论确保访问的域名为 https://blog.einverne.info 或者点击 这里评论。

blog comments powered by


文章来源: https://einverne.github.io/post/2024/06/redis-crash-aof-file-broken.html
如有侵权请联系:admin#unsafe.sh