SEO秀

您现在的位置是:首页>SEO技术

SEO技术

怎么使用丈量数据确立加载一反馈机制?

seo秀2021-01-19 16:48:24SEO技术97来源:西安百度推广
采集时序数据的另一个利益,就是能够通过编程使你的应用天生丈量数据,从而可以确立平安、周详的反馈循环,这方面有许多有用的例子。

在云盘算中,启用新的实例只需要给提供者发一条简朴的API挪用即可,但要想知道什么时候应该启动更多的实例或打消正在运行的实例,就会很贫苦。若是基于采集的资源使用情形来判断启用打消的话,就会容易得多,这是丈量数据用做反馈机制的一种通例。

我在 Flickr,有一个大型项目,使用了这种反馈机制,事实证明,异常有用。



2007年,Yahoo!决议关掉 Yahoo!! Photos设计很简朴:通知 Yahoo! Photos的用户,这个服务将被关闭,用户可以自己选择,将自己的照片连同元数据一起转移到其他的服务,包罗非Yahoo!!的服务,像Shutterfly和 Kodak Gallery, Flickr也是选项之一。

为这个项目做出容量评估将是一件苦差事。只管有一些丈量数器据,用上载频度、片巨细及其他因素指述了Yahoo! Photos的典型用户,但有若干用户会选择Flickr,纵然选择了Flickr,用户的使用模式又会若何转变,我们心里仍然没底。我们谈论的是一项已经跨越10年的照片存储服务,将会有巨量的数括,而且这么大的空同会在很短的时间内消耗掉。不用讲得太正确,我告诉你,2009年后期,Fick天天用掉约莫12TB的存储客量。从Yahoo! Photos到Flickr的迁徙,在2007年连续了一段不长的时间,天天消耗的存空间是这个数的两倍还多。

在在备迁徙的历程中,基于对迁徙的评估以及现有的 Yahoo! Photos数器,我们对存需求做了更好的估量,并给出了一个宽松的平安系统,确保迁徙竣事之前,不会出现存空间不够的情形。我们能想到的每件事情,都有丈量数据:

● 迁徙的账户

● 迁徙的照片

● 处置的照片

● 迁徙行列巨细

● 磁盘空间消耗量

对选择迁徙到Flickr的用户,更先迁徙历程,并举行考察

我直接联到有意思的部门来说吧:纵然微了云云郑重的估量,我们照样错了,错大了。虽然做了研究,对存猪容量做了经心的评估,想迁近移到Fick来的人照样超出了我们的预期。要把想迁徙到Flickr来的人的Yhoo! Photos数据都近移过来的话,我们部看的存猪空间都市用完。要么增添存猪,要么Flickr住手上载片。

調天地,由于丈量数据能够追踪磁を请耗,我们很快意识到了这点,但却受限于采购时间表。主要的是尽快购置、安装、设置、部署更多存造,以免用完现有存。部著更多空间与迁徙历程之间展开了一场竞赛,p分页题目e

为了注释我们是若何通过丈量数据反转危为安的,要先先容一下迁徙历程是若何举行的:

1.见告用户,将关闭 Yahoo! Photos服务,用户可以从列表中选择迁徙到哪里。如果选择Flickr的话,该用户账号就进人迁徙行列。

2.一旦用户的迁徙义务进入行列,则则锁定该用户的 Yahoo! Photos账号,防止用户举行修改。现在 Yahoo! Photos和 Flickr之间举行API对API的通讯,以获取要迁徙的照片数据。

3.Flickr获取并处置 Yahoo! Photos账号的照片及其元数据。

4.将Yahoo!Photos账号写人 Flickr存储和数据库。

迁徙完成后,开放 Flickr这边的账号,通知用户可以使用迁徙过来的 Flickr新账号了。单个用户的迁徙并不需要很长时间,但用户量很大,以是照样花了不少时间。迁徙历程基本上就是一个大规模的异步历程,每个异步历程包罗建立Flickr新账号和批量上载照片。

由于知道迁徙要消耗若干存储、ldquo;有机rdquo;(非迁徙)增进要消耗若干存储,纵然估量不足的话,也可以预测出还能够支持的天数。我们下了一个重大的订单,来购置存储,并更先计时。确认了发货和安装日期,这样我们就知道这些存储什么时候能够在数据中心上架以及需要多久才气投入使用。

由于使用 Ganglia采集数据,3行剧本代码就可以盘算出存储的消耗率,然后将这个数字传给卖力迁徙的API历程。照片是存储在漫衍于美国各地的若干个数据中心的,要确保API历程能够远程获得这个值,并检查正在迁徙数据的所有数据中心。我们修改了API的处置历程,以便考察存储消耗的速率。若是在已往的一小时存储的消耗率大于维持到新存储上线那天的消耗率,则降低对排队守候迁徙的账号的处置速率,反之,则加速处置速率。前面列出的步骤中,我们在步骤2和步骤3之间插入了一个检查当前存储消耗率的步骤。

由于我们会凭据存储的消耗率调整迁徙的速率,进入行列的账号可能会守候更长的时间。减慢处置历程也是一个不得已的折中,既要保证迁徙的顺利举行,又要不影响 Flickr的当前营业。

最终,迁徙顺利完成,没有发生存储空间用光的情形。事后看来,我们的估量是有误差的,但并没有当初想的那么大。迁徙更先时的岑岭使我们忧郁存储会用光,以是马上部署了更多的存储。但随着逐渐靠近原来的存储极限,进入迁徙行列的用户也逐步减少了

这个故事说明,将漫衍在天下多个地址的网站建设丈量数据采集系统纳入反馈循环,能够将PB级照片数据从 Yahoo! Photos平安地迁徙到 Flickr,同日时基本不影响两者的正常使用。p分页题目e

(责任编辑: *** )

发表评论

评论列表(11人评论 , 97人围观)
  • 2021-01-22 20:01:47

    白天嘈杂得不愿意醒,夜晚安静得舍不得睡。