Skip to content

数据迁移

从其他 S3 兼容存储(其他厂商对象存储、自建 MinIO 或本系统其他桶)将数据迁移到当前桶。本文说明迁移能力与在管理后台中的创建、查看与操作步骤。

是什么

在存储桶设置中创建数据迁移任务,系统会从你配置的源端点(S3 兼容)拉取源桶中的对象并上传到当前桶。支持按前缀迁移、单文件大小限制、跳过已存在文件等,便于从其他存储或本系统其他桶批量迁入数据。

入口

  1. 对象存储 → 存储桶列表 中点击目标存储桶(即迁移目标桶)进入桶详情。
  2. 进入 存储桶设置 → 迁移数据迁移 Tab。
  3. 在迁移任务列表中可创建新任务、查看进度与日志、暂停/恢复/重试或编辑、删除任务。

相关:存储桶与文件

创建迁移任务(前端配置)

点击「创建迁移任务」或「添加迁移任务」后,在弹窗中填写以下配置。

源端信息

配置项说明
源端点必填。源 S3 服务地址,如 https://s3.amazonaws.comhttp://minio:9000
Access Key必填(新建时)。源端 S3 的 Access Key ID。
Secret Key必填(新建时);编辑时留空表示不修改。源端 S3 的 Secret Access Key。
源存储桶必填。源端桶名称。
区域可选。源桶所在区域,默认如 us-east-1
前缀可选。只迁移源桶中对象键以此前缀开头的文件,如 exports/;留空表示迁移整个桶。

迁移策略

配置项说明
单文件大小限制(MB)超过该大小的文件将跳过不迁移;填 0 表示不限制。
跳过已存在文件开启时,根据对象路径(key)+大小(size)判断:若目标桶已有相同文件则跳过;关闭时则强制重新上传覆盖。

保存后任务进入列表,状态为「待执行」;系统会按配置的迁移时间窗口(若有)或调度策略开始执行。任务开始后会先扫描源桶列表,再按对象逐个迁移到当前桶。

任务列表与状态

列表中展示每个迁移任务的状态与进度:

状态说明
待执行已创建,尚未开始。
扫描中正在列举源桶对象。
迁移中正在将文件迁移到目标桶。
已完成迁移结束。
已暂停已手动暂停,可恢复。
失败任务异常结束,可查看错误信息或重试。

可查看已迁移文件数/总文件数、已迁移大小/总大小、跳过数、失败数等;点击「日志」可查看每个文件的迁移状态(待迁移、已迁移、已跳过、失败)。

操作说明

  • 暂停:迁移中的任务可暂停,暂停后不再拉取新文件。
  • 恢复:已暂停的任务可恢复,从中断处继续。
  • 重试:失败的任务可重试;重试前可先编辑「前缀」或「跳过已存在」等选项后保存再重试。
  • 编辑:待执行或已暂停的任务可编辑;通常可修改前缀、单文件大小限制、跳过已存在等;源端点、源桶、密钥等部分产品支持编辑(如仅编辑前缀),以界面为准。
  • 删除:可删除任务记录;若任务正在运行,可能需先暂停再删除,以界面为准。

注意事项

  • 迁移为拉取模式:数据从源端读到当前系统再写入当前桶,会占用当前系统带宽与存储;大容量迁移建议在业务低峰执行。
  • 源端与目标端均需为 S3 兼容;Secret Key 请妥善保管,编辑时留空即保留原值。
  • 若系统配置了迁移时间窗口(如仅凌晨执行),任务会在窗口内执行,列表或说明中会提示。
  • 迁移过程中新增到源桶的文件是否被包含,取决于扫描与迁移的时序,通常以任务开始时的列表为准;如需增量可再创建新任务或使用前缀缩小范围。