地球影像及高级地理空间解决方案的全球领导者DigitalGlobe近日宣布，已经将公司全部地球影像数据通过AWS Snowmobile移交给亚马逊云服务平台(AWS)进行验证，随后将会把数据移出并上传至云端。DigitalGlobe是AWS Snowmobile数据传输服务的全球第一位、也是目前为止最大的一位客户。当数据摄取完成后，在DigitalGlobe历史上由任何卫星拍摄到的每张图像都将联网上传至AWS。
自2001年发射第一颗卫星QuickBird以来，DigitalGlobe公司就一直在24小时昼夜不间断地收集地球的图像。随着新的卫星的加入，DigitalGlobe的图像收集能力与分辨率一直在不断提高，而这些高质量的地球图像需要占用海量的存储空间。例如WorldView-3卫星收集的一张图像可能就达到30GB。在过去17年中，DigitalGlobe共收集了70多亿平方公里的图像，这些图像存档已经使用了高达100PB的存储空间，并且还在以每年10PB的速度增加。
虽然占用巨大的空间，这些积累多年的地球影像也为人们提供了宝贵的资料。没有人能够预测到在这个不断变化的星球上何时会发生某个特殊事件，从而触发某个特定位置的图像（或一系列图像）的检索。这些图像为人文、历史、科学、生物、工业等等乃至人类的社会发展，都提供了关键性的证据。
可以想象，维护100PB图像存档库的费用十分高昂，因此DigitalGlobe从很久以前就十分重视磁带库的管理。公司的主磁带库拥有12,000个磁带托架，可以放置60台LTO-5磁带设备，并保证磁带始终处于运转状态。这种以磁带为中心的模式在十年间运行良好。DigitalGlobe可以在4小时内调取档案中的任意图像并交付给客户；仅去年一年，公司就完成了400万次的调取。但就像一辆汽车，损耗程度随着使用频率的提高和行驶里程数的不断提高，这个存档库也逐渐老化。这些磁带头在60英尺的封闭空间内保持着超过10,000英里的运动轨迹。而校准这一存档库就像调校一辆老式跑车 - 必须不断地进行校对。
在过去两年中，越来越多的客户和合作伙伴已经逐渐向公有云的模式转换，这使DigitalGlobe可以直接将数据传至亚马逊云服务平台的S3存储服务，而不再需要通过FTP或寄送火线驱动器。我们最常用的客户案例也更多地集中在从大量图像中摄取关键信息。目前，有350多位开发人员正在DigitalGlobe的GBDX平台上构建新的应用程序和机器学习算法；此外，公司最近拓展的服务部门也正在使用大规模的算法和分析程序。公司向GBDX平台提供的图像越多，GBDX算法产生的结论质量就越高。因此DigitalGlobe决定告别磁带，将全部数据迁移至客户都在使用的亚马逊云服务平台。
将8,700个磁带的庞大内容转移到Amazon S3平台上，利用常规方法显然是不可能做到的，因为DigitalGlobe的网络一直处在高度利用状态。一年前，DigitalGlobe成为了AWS Snowball的测试用户。可是AWSSnowball每个单元平台只能存储80TB，所以不适合DigitalGlobe的存储规模。DigitalGlobe选择亚马逊最新推出的AWSSnowmobile，这是一款EB规模的数据传输服务，用于将超大规模数据迁移到AWS平台上。每个Snowmobile单元可传输高达100PB的数据，存储在一个45英尺长的加固货运集装箱中，由半挂式卡车牵引。
公司选择将AWS Snowmobile卡车，也就是“车轮上的数据中心”，停放在位于科罗拉多州威斯敏斯特的总部。由于这是AWS Snowmobile首次在客户公司场地运行， AWS和DigitalGlobe的技术团队之间进行了大量的性能调校和协作，以保证数据能够以最佳速率加载的同时又不影响公司的正常运营。例如，公司在地面放置了钢板，以确保卡车在科罗拉多多变的天气条件下不会陷入地面，并挂上人们所能见到的最大的电缆、网线和冷却装置以保障它的运行。这并不是简单的文件传输。每个磁带都必须联网、挂载、移动文件、将文件转换成Amazon S3对象、再进行加密。在2017年第一季度，DigitalGlobe成功迁移了5400万个文件。
今后，DigitalGlobe历史上所拍摄的每一张地球影像都将联网至云端。通过对云服务的巨大投入, DigitalGlobe大幅加快了世界上最大商业地球影像库的可用性，将其与大范围地球影像，以便于各类分析用途，同时也能提供给合作伙伴和客户更多更强大的功能。如今DigitalGlobe已经告别所有的磁带，每天从S3直接调取80到100 TB的图像数据。未来DigitalGlobe将优化其数据生命周期管理技术，更好地进行数据成本管理。
图：AWSSnowmobile非常巨大，以至于DigitalGlobe的WorldView-3卫星
在太空中都能看见公司园区内的设备地点
能够做到高度以客户为中心，通过看似不可能的方法——诸如AWS Snowmobile去解决重要的数据迁移问题，并且有技术实力与勇气去完成的公司少之又少。未来DigitalGlobe会与世界顶尖科技公司继续探索数据迁移方面的合作，为客户创造更多的价值。
