用于异地备份与 S3 存储桶的备份存储服务器

四块 16 TB 硬盘有三种组合方式：

• 两组镜像（RAID 10）：可用 32 TB，重建速度和随机 I/O 性能最佳，每组镜像可承受一块硬盘故障。
• RAIDZ2 或 mdadm RAID 6：同样可用 32 TB，但能承受任意两块硬盘故障。对于备份目标，这通常是正确的选择。
• RAIDZ1 或 RAID 5：可用 48 TB，但在漫长的 16 TB 重建过程中，一旦第二块硬盘故障，所有数据都会丢失。

工具通常会把 32 TB 显示为约 29.1 TiB；ZFS 存储池的使用率请保持在约 80% 以下。两块 512 GB NVMe 硬盘可以安装操作系统，并以镜像方式承载用于元数据的 ZFS special vdev，从而加速包含大量数据块的仓库。该 vdev 一旦丢失，整个存储池也随之丢失，因此切勿只用单块硬盘承载。

3-2-1 原则要求保留三份数据副本，存放在两种介质上，其中一份位于异地。而如今更大的风险是：入侵者获得生产服务器的 root 权限后，利用在那里找到的凭据删除备份。请堵住这条路：

• 在 authorized_keys 中使用强制命令，将每个客户端的 SSH 密钥限制为只能运行 borg serve --append-only；或者运行 restic 的 rest-server --append-only。
• 在 Proxmox Backup Server 中，为各主机分配具有 DatastoreBackup 角色的令牌，该角色可以新增备份但不能清理备份；清理操作则在服务器端执行。
• 在备份服务器本机上创建 ZFS 快照，客户端无法触及这些快照。
• 定期安排恢复测试。从未恢复过的备份，只是一个假设。

MinIO、Garage 和 SeaweedFS 都支持 S3 API，因此 restic、Kopia、rclone、pgBackRest 以及大多数备份工具无需任何修改即可写入。在单台服务器上：

• 冗余只交给一层负责：要么把裸盘交给对象存储，由其自身的纠删码负责冗余（MinIO 的多盘模式就是如此）；要么将其运行在 ZFS 或 mdadm 阵列之上，二者不要同时使用。
• 当您在其他机房添加第二、第三个节点用于复制后，Garage 和 SeaweedFS 才能真正大显身手。
• 用 nginx 或 Caddy 做 TLS 终止，并为每个客户端单独签发访问密钥，权限仅限其自己的存储桶。
• 如果您的存储支持版本控制或对象锁定，请开启这些功能，这样被覆盖的对象仍可恢复。