通过 OSSImport 实现其他云的对象储存向阿里云OSS迁移

前言

当使用了像 OSS、S3 这样的开放对象储存的 PaaS 产品后,一面上体验到了网站核心同附件库分离的安全性、高性能以及免维护的便利性,一面上却又怕在一个厂家的对象储存上扎根了就无法迁移,会被厂家绑架。

如果你的网站大量应用了其他厂家的云服务像 云服务器、云数据库、对象存储要迁移到阿里云的上的话,像云服务器可以通过压缩、解压或者rysnc等同步方式传输,云数据库可以通过 DTS 迁移,那么对象储存,就可以使用阿里云的 OSSImport 工具。

介绍

OssImport 工具可以将本地、其它云存储的数据迁移到OSS,它有以下特点:

  • 支持的丰富的数据源,有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展;
  • 支持断点续传;
  • 支持流量控制;
  • 支持迁移指定时间后的文件、特定前缀的文件;
  • 支持并行数据下载、上传;
  • 支持单机模式和分布式模式,单机模式部署简单使用方便,分布式模式适合大规模数据迁移。

阿里集团内部像淘宝、优酷都已经完成了向阿里云的迁移工作,而存储数据的传输就是应用的 OssImport,所以 OssImport 是经历过大量数据迁移考验的,是一款非常成熟的迁移工具。

要求 & 收获

需要使用到的产品:

  1. 任意(包括非阿里云)服务器/ECS (阿里云服务器可以不计推送到 OSS 的流量)
  2. 阿里云 OSS
  3. 其他非阿里云的对象储存产品

通过本文你将讲学到:

  1. 安装 Java 环境
  2. 使用 OSSImport 迁移对象存储文件

教程

安装 Java

OSSImport 的运行需要 Java 1.7 以上版本,所以我们需要在服务器中安装 Java 运行环境。

这里以 Ubuntu 16.04 LTS 为例。 OSSImport 的单机模式支持 Windows 和 Linux 发行版,所以只要安装好了 Java 环境都可以使用 OSSImport。

RHEL/CentOS 的教程在:在 RHEL/CentOS 上安装 OpenJDK 和 Oracle JDK

一、安装依赖

apt-get install python-software-properties software-properties-common

二、添加PPA源,由 webupd8team 团队制作的快速命令行安装 Java 的工具

add-apt-repository ppa:webupd8team/java

三、刷新软件源缓存并安装

apt-get update
apt-get install oracle-java9-installer

四、查看安装后版本

java version

例如:

root@MF8.biz:~/ossimport# java version
Error: Could not find or load main class version
Caused by: java.lang.ClassNotFoundException: version
root@iZuf60ssdog3u50holkx23Z:~/ossimport# java -version
java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

下载 OSSImport

上图是迁移架构的图解,OssImport 有 单机模式分布式模式 两种部署方式。对于小于 30TB 的小规模数据迁移,单机模式即可完成。对于大规模的数据迁移,请使用分布式模式。

这里介绍的是 单机模式 的部署,毕竟我暂时也接触不到大于 30TB 的数据迁移嘛。

一、下载 OSSImport

wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip

二、修改配置文件

配置文件有 conf/sys.propertiesconf/local_job.cfg ,前者主要是运行环境的参数,如果数据迁移量特别大建议把内存改大点。 后者是我们迁移的重点。

不同对象储存产品迁移的配置文件模板可以在下面选择:

迁移类型 配置文件 说明
从本地迁移到OSS job.cfg srcPrefix 是以 / 结尾的绝对路径,如 D:/work/oss/data/, /home/user/work/oss/data/
从七牛云存储迁移到OSS job.cfg srcPrefix 和 destPrefix 可以配置为空;如果不为空,请以 / 结尾,如 destPrefix=docs/
从百度bos迁移到OSS job.cfg srcPrefix 和 destPrefix 可以配置为空;如果不为空,请以 / 结尾,如 destPrefix=docs/
从AWS S3迁移到OSS job.cfg S3的 域名列表
从又拍云存储迁移到OSS job.cfg srcAccessKey/srcSecretKey填操作员账号及密码
从腾讯cos迁移到OSS job.cfg srcDomain请按照V4版本填写,如srcDomain=sh ; srcPrefix可以为空,当不为空时候,请以 / 开头和结尾,如 srcPrefix=/docs/
从Azure blob迁移到OSS job.cfg srcAccessKey/srcSecretKey填存储存储账号及密钥;srcDomain填连接字符串中的 EndpointSuffix,如 core.chinacloudapi.cn
从OSS迁移到OSS job.cfg 适用于不同区域之间、不同存储类型之间、不同前缀之间的数据迁移;推荐在ECS上部署,并使用带internal的域名,可以节省流量费用
使用高速通道迁移数据到OSS job.cfg 适用于所有数据源,如果您有高速迁移需求,请提交工单或联系OSS支持人员 1

配置 OSSImport

这里以腾讯云的 COS 的迁移为例来介绍,如何配置。

一、复制模板文件内容,将上面下载的 job.cfg 文件内容复制替换 conf/local_job.cfg 的内容,或者干脆删掉重命名也没问题。

二、是否开启增量传输(可选),如果像论坛、门户这样多用户的网站想不关站迁移以做到用户无感知的话,就需要进行增量传输,也就是传输一遍以后扫描列表看看有没有新增的文件再进行传输。把第 2 行的 isIncremental=false 改为 isIncremental=true,像博客、CMS这种单管理员用户的默认的话不用增量就行。

三、腾讯云的源access key,在 COS 的控制台左侧列表中就有 密钥管理

点击前往 API密钥管理 查看,如果没有就新建一个:

然后修改对应在第 2023 行的内容,改为自己对应的 srcAccessKeysrcSecretKey


#源access key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的acceess key/accss key id,又拍云填写操作员账号

srcAccessKey=AKID******6ZEBKUn6D3mSJFMZ******GA1g

#源secrect key,同步本地文件以及通过http地址同步的不需要填,大部分云平台填写控制台获取的secret key/access key secret,又拍云填写操作员密码

srcSecretKey=dQ8g******bWn6jInD7vYz******341m

四、修改所在地域34 行的的内容,其实配置文件中默认有介绍:

#7.腾讯云: cos v3版本不需要填写;cos v4版本需要填上bucket所在的区域,比如华南园区填写:gz,华北园区:tj,华东园区:sh

srcDomain=sh

例如我的 Bucket 是在 华东 的,那就是 sh 不变了。

五、srcBucket 也就是要迁移的 Bucket 的名称,例如我这个是 qcloud-demo 那就填 qcloud-demo

六、修改源前缀 是不是要迁移 Bucket 下的某个目录了,一般来说还是留空的好,第40行的内容:

#源前缀,默认为空,如果srcType=local,则此目录是本地目录,如果是其他类型,则是源Bucket里需要同步的Object的前缀,注意如果是本地目录,需要完整目录路径(以'/'进行分割并且以'/'结尾,例: c:/example/)
srcPrefix=

像我这样,等号后面啥都不要,留空即可。

七、阿里云的Accesskey4447 行,也就是,建议使用 RAM 实现,可以参考 《使用 AliCloud Duplicity 将服务器文件备份至 OSS》 中设置 RAM 的教程

#目的 access key

destAccessKey=Jwd1******nMnZBs

#目的 secret key

destSecretKey=ir8Qt*****jwh5b0eF******xM5QE

八、修改目的endpoint 注意是只要 EndPoint 就行而不是 访问域名,这时候 ECS 的优越性就来了,上传的时候走内网带宽不计流量而且带宽够大。

destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com

九、目的bucket 这个不用多说,就是 OSS 的 Bucket 名称了。

十、destPrefix 和上面第六步的前缀名称对应,如果是空的那么这一步也留空,如果是有目录的那也留目录。

十一、腾讯云 APPID,第 63 行的 APPID 在 https://console.cloud.tencent.com/developer 可以看到

十二、数据校验(可选) ,最后一行,对数据进行校验,防止数据传输发生错误。个人建议用第三种 MD5 校验的方式更可靠一点,不过时间也更长,修改为:

auditMode=detailed

使用 OSSImport

修改好上述文件以后进行保存,然后在解压后的文件夹中运行:

bash import.sh

如果是 Windows Server 就在 cmd.exe 中执行:

console.bat start

注:

Job运行信息,可以查看log/ossimport2.log; Task的失败原因,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log; Task的失败文件,可以查看master/jobs/${JobName}/failed_tasks/${TaskName}/error.list

如果运行出错可以参考:https://help.aliyun.com/knowledge_detail/57110.html 针对反馈结果进行拍错。

可以看到我的文件都已经成功的完成了迁移:

妙正灰 :文科屌丝伪IT男一枚.