数据迁移
从其他 S3 兼容存储(其他厂商对象存储、自建 MinIO 或本系统其他桶)将数据迁移到当前桶。本文说明迁移能力与在管理后台中的创建、查看与操作步骤。
是什么
在存储桶设置中创建数据迁移任务,系统会从你配置的源端点(S3 兼容)拉取源桶中的对象并上传到当前桶。支持按前缀迁移、单文件大小限制、跳过已存在文件等,便于从其他存储或本系统其他桶批量迁入数据。
入口
- 在 对象存储 → 存储桶列表 中点击目标存储桶(即迁移目标桶)进入桶详情。
- 进入 存储桶设置 → 迁移 或 数据迁移 Tab。
- 在迁移任务列表中可创建新任务、查看进度与日志、暂停/恢复/重试或编辑、删除任务。
相关:存储桶与文件。
创建迁移任务(前端配置)
点击「创建迁移任务」或「添加迁移任务」后,在弹窗中填写以下配置。
源端信息
| 配置项 | 说明 |
|---|---|
| 源端点 | 必填。源 S3 服务地址,如 https://s3.amazonaws.com、http://minio:9000。 |
| Access Key | 必填(新建时)。源端 S3 的 Access Key ID。 |
| Secret Key | 必填(新建时);编辑时留空表示不修改。源端 S3 的 Secret Access Key。 |
| 源存储桶 | 必填。源端桶名称。 |
| 区域 | 可选。源桶所在区域,默认如 us-east-1。 |
| 前缀 | 可选。只迁移源桶中对象键以此前缀开头的文件,如 exports/;留空表示迁移整个桶。 |
迁移策略
| 配置项 | 说明 |
|---|---|
| 单文件大小限制(MB) | 超过该大小的文件将跳过不迁移;填 0 表示不限制。 |
| 跳过已存在文件 | 开启时,根据对象路径(key)+大小(size)判断:若目标桶已有相同文件则跳过;关闭时则强制重新上传覆盖。 |
保存后任务进入列表,状态为「待执行」;系统会按配置的迁移时间窗口(若有)或调度策略开始执行。任务开始后会先扫描源桶列表,再按对象逐个迁移到当前桶。
任务列表与状态
列表中展示每个迁移任务的状态与进度:
| 状态 | 说明 |
|---|---|
| 待执行 | 已创建,尚未开始。 |
| 扫描中 | 正在列举源桶对象。 |
| 迁移中 | 正在将文件迁移到目标桶。 |
| 已完成 | 迁移结束。 |
| 已暂停 | 已手动暂停,可恢复。 |
| 失败 | 任务异常结束,可查看错误信息或重试。 |
可查看已迁移文件数/总文件数、已迁移大小/总大小、跳过数、失败数等;点击「日志」可查看每个文件的迁移状态(待迁移、已迁移、已跳过、失败)。
操作说明
- 暂停:迁移中的任务可暂停,暂停后不再拉取新文件。
- 恢复:已暂停的任务可恢复,从中断处继续。
- 重试:失败的任务可重试;重试前可先编辑「前缀」或「跳过已存在」等选项后保存再重试。
- 编辑:待执行或已暂停的任务可编辑;通常可修改前缀、单文件大小限制、跳过已存在等;源端点、源桶、密钥等部分产品支持编辑(如仅编辑前缀),以界面为准。
- 删除:可删除任务记录;若任务正在运行,可能需先暂停再删除,以界面为准。
注意事项
- 迁移为拉取模式:数据从源端读到当前系统再写入当前桶,会占用当前系统带宽与存储;大容量迁移建议在业务低峰执行。
- 源端与目标端均需为 S3 兼容;Secret Key 请妥善保管,编辑时留空即保留原值。
- 若系统配置了迁移时间窗口(如仅凌晨执行),任务会在窗口内执行,列表或说明中会提示。
- 迁移过程中新增到源桶的文件是否被包含,取决于扫描与迁移的时序,通常以任务开始时的列表为准;如需增量可再创建新任务或使用前缀缩小范围。