你网盘里的文件都存在哪?
为了存储你的数据到底要花多少钱?
以下为视频逐字稿:
在距离宁夏中卫市约 7 公里的荒漠,上千条整齐排列的黑色横条会把你引导到一个 600 亩的基地。
欢迎来到亚马逊 AWS 宁夏数据中心,这里大概可以存放 500 万 TB 的数据。
全世界大概有 3 亿个硬盘放在几万个这样的数据中心里,满足全球 40 亿互联网用户上传和下载需求。你的 iCloud 里的照片、发布的微博、网盘里的视频,都存在这里。
这样一个庞大系统是如何运转的?为了存储你的数据到底要花多少钱?
这是一个典型的数据中心, 你可以看到一排排机柜,机柜里是机架式服务器,服务器里插着硬盘,你的视频就在这里。
服务器是数据中心的基本单位,大概长这样。
每台服务器都有独立的 CPU 和内存,接受上传和下载请求。衡量服务器大小的单位是 U,常见的尺寸有 1U、2U 和 4U。每 1U 表示服务器高度是 4.445 cm,尺寸越高,能装的硬盘也越多。
机柜的高度一般是 42U,可以并排放进 16 台 1U 的服务器,每 100 平米可以放 20 台机柜,这样,100 平米的数据中心机房可以放下 20 * 16 * 4 * 8 差不多 1 万 TB 硬盘。
那么,数据中心收到下载请求之后,怎么把硬盘里的视频传给你呢?
传文件当然不难,难的是如何在几万人同时下载的时候还能保持高速传输。
这时就需要把文件分片,比如一个 1G 的文件,就可以切成 1024 块 1M 大小的文件块,分布到 1024 台服务器。
收到下载请求后,数据中心会先访问元数据服务器,反馈对象存储在哪些服务器,比如文件A 存储在 B、C、D 三台服务器,用户就会再次直接访问 3 台 OSD 服务器读取数据。
但这样还是不够,为了提高你的下载速度,今天的云存储服务都提供了CDN 支持,CDN 相当于你和数据中心之间的缓存,极大的缓解了数据中心的压力。
除了你的网盘,我们今天在互联网上使用的绝大多数服务都需要数据中心的支持。我们可以在百度腾讯阿里提供云服务平台看到它们对于数据存储的定价,大概是 0.15 元/GB/月,1T 一年就得 1800,并不便宜。
为什么成本这么高?让我们来算一下。
以这个长得很像一块机械硬盘的百度阳泉数据中心为例,这里有 16 万个服务器。
阳泉数据中心可以存储大概 6000 PB 也就是大概 614 万TB 的数据,假设都使用 8TB x 18 规格的存储服务器,则有将近 4.27 万个存储服务器,按每块 8TB 硬盘两千每个服务器一万元来粗略计算,硬件成本就得 19.6 亿,平均每 TB 319.5 元。
除了硬件,电费也很吓人。
即使在非常节能的“北极“整机柜中,每 6 台服务器也需要 1 个 2400W 的电源进行集中供电,那么数据中心每小时要耗费 6.4 万度电来运转这些服务器,按照阳泉市 0.45 元/度的商业用电标准,每年光电费就烧掉 2.5 亿。
还有网费。数据中心为了提供云存储服务,需要向联通、电信这样的宽带运营商缴费约 10 万元/Gb/月的专线接入费用。按中国数据中心的平均出口带宽 332Gb 来计算,每年还得交 4 亿的网费。
所以,存数据是真的贵。即使不考虑硬件,阳泉数据中心每存储 1 TB 数据,用在电费和带宽上的钱也每年需要 106 元。
高昂的运营成本让中国的网盘服务在 2016 年纷纷倒闭,而活下来的网盘产品,都有着不菲的价格。
今天的网盘主要有两种收费模式,购买空间和购买会员。
iCloud 和 Dropbox 是典型的空间购买型网盘,2TB 空间每年要 816元人民币 。这是 Dropbox 2018 年的财报,平均每个用户支付了 117.64 美元。除了有点贵,都挺好的。
如果不想花这么多钱,可以选择免费也有 2TB 的百度网盘。但免费也有免费的问题,无论你家网速多快,只要不是会员就会被限速下载。
毕竟服务商的带宽也是要钱的。
还是以阳泉数据中心为例, 即使每年交 4 亿网费,不限速的情况下 332 Gb 带宽也就只能支持 6 万人同时以 700k 每秒的速度下载,还是非常紧张。
如果保证 1 万个会员就能以 3.9M 每秒的速度下载,剩下的 5 万个免费用户下载速度只有 50k 每秒了。
这样节约了成本,也设置了更多的付费点。毕竟每 TB 的每年运营成本就得 106 元,不想想办法也就只能和其他网盘一样倒闭了。
当然,还有一些良心公司提供了无限空间的云存储服务。
2017 年初,为了验证亚马逊公司的「无限云」,一名叫 Beaston02 的男子坚持录制了 2000 TB 色情片上传到亚马逊云。半年后,亚马逊停止了无限云服务。