内容传送网络中内容刷新的方法

暂无

技术领域\n本发明涉及内容传送网络技术，特别是内容传送网络中内容的刷新方法。\n背景技术\n在内容传送网络(Content Delivery Networks，简称CDN)出现以前，内 容在网络上是一种集中存储的方式，用户所有的请求都要由中心服务器处理。 当网络内容以文本、图形等格式存在时中心服务器的处理量并不大，骨干网的 带宽占用不是爆炸式增长，而且不稳定的网络传输对这些低数据量、低QOS媒体 的传递影响尚不明显。\n当前网络内容向多媒体发展，大型的A/V流媒体内容大量出现。这些内容的 特点是数据量大，一般每个内容有几百兆，为保证浏览质量，网络带宽一般要 求至少300Kbps，连续连接时间从几十分钟到2小时。这样，如果沿用集中式的 方式，中心服务器的处理能力和带宽将很快饱和。而且经过多个网络设备后出 现数据丢包、误码概率上升，用户将感到A/V失真或断续、抖动，直接影响使用 质量。\nCDN的思想是将内容在网络中优化分布，改变以往集中存储集中处理的方 式，将最常用的内容放在离用户最近的地方。当用户向内容运营者请求内容时， 该请求由实现面向内容的负载均衡策略的设备处理转发，为用户的请求选择一 个拥有该内容的最靠近用户的最优服务器。这些最优的服务器除了地理上离用 户近，而且专门经过优化设计，在处理能力上也优于普通服务器。\nCDN网络的结构如图1所示：\n媒体管理器(Media Manager，简称MM)主要完成从内容装配商(简称CA) 的服务器上取得内容，然后发放到用户指定的边缘缓存(Edge Cache，简称Ec)， 并记录内容在CDN网络中的分布情况，把此信息同步到媒体定向解析器(Media Request Broker，简称MRB)上。当用户访问CA的Web页面时，CA重定向用户请求 到MRB上，MRB根据内容在网络中的分布情况，采用一定的策略把用户的请求定 位到相应的EC上，由EC为用户提供服务。\nCDN网络能根据CA用户的要求把内容推到网络的边缘，满足内容的高速访 问。但是，如果CA的每个内容都被MM发送到每个EC，如图2所示：这样EC需要的 存储空间非常大。如果每个EC都建一个存储中心，CDN的网络成本非常高。现在 一般的方案是在CDN网络中有一中心存储器(Center Server，简称CS)，由它来 完成所有的内容的存储，边缘EC只是存储用户当前需要的内容。如图3所示，MM 把内容分发到一些EC(如EC2，EC3等等)，但没有发到另外一些EC(如EC1)。同时， 内容被存储在CS上。\n在每一个时刻，如何满足用户感兴趣的内容最大可能在EC服务器上，这是 一个关键问题。解决这个问题一般从两个方面着手：一是内容的分发，就是怎 样让用户感兴趣的内容分发到用户最近的EC上。其次是内容的删除，就是采用 什么样的策略删除绝大部分用户不感兴趣的内容。这样从这两个方面就可以达 到网络的性价比最优。\n当前行业上解决的一般方法也是从这两个方面来提出的。一般从分发来讲， 当某个EC的用户去访问此EC要求某个特定的内容的时候，如果此EC上没有此内 容，EC将直接去把内容从CS上拉下来。从内容删除来讲，EC首先能接受从CA来 的指令删除某个特定的内容，同时EC也能采用一些简单的策略，如根据CA用户 指定的内容在EC上的存在的时间限制来删除内容。通过这样一些策略来维护当 前EC上的流媒体的内容。\n首先，上面的内容发布的时候没有考虑到内容的不同需求，可能有一些内 容需要实时刷新，有一些内容CA需要指定它定时刷新。其次，从一般实现方案 的分发方面来讲，内容只是在发布的时候才会发布到CA用户指定的ECs上，CA用 户没有指定发放内容的ECs从CS上取内容的时候都需要花费一定的时间，这样实 际影响用户的使用流媒体的效果，没有从根本上解决系统把内容发布到最需要 的用户的近端的Ecs。而且，当此EC上的内容达到一定的使用率的时候，我们可 以确定这个EC能提供服务的范围之内此内容有相当的热度。我们可以肯定在另 外一些ECs(没有此内容)的服务范围内肯定有一些用户对此内容感兴趣。如何找 到这些ECs，系统自动提前把这些内容发到这些EC上去，现有的方案没有提供解 决。\n同时，从内容的删除方面来看，系统一般采用了简单的删除策略：CA用户 的指定的删除和ECs按照CA用户指定的内容在系统的存在时间来进行删除。这样 当某个内容出现CA不能预见的热点时，即内容已经到达在ECs上的存在时间，应 该由系统给删除掉此内容。但是在用户对此内容的点击率非常高的情况下，如 何保证服务器在这种情况能真正删除用户不需要的内容，保留用户点击率高的 内容，能够最大可能继续提供服务，这个问题没有得到很好的解决。\n发明内容\n本发明的目的在于提供一种内容传送网络中内容刷新的方法，以保证CDN 系统中每个EC(Edge Cache)上的内容尽可能是用户所需要的内容，达到最大的 客户满意度。\n本发明提供一种内容传送网络中内容刷新的方法，其特征在于：\n内容传送网络系统根据边缘缓存的LOG日志中记录的内容使用热度进行相 应内容的分发和/或删除。\n其中，分发包括如下步骤：\nA、媒体管理器MM取第一个边缘缓存当前的Log日志文件，从中找到第一个 内容标识ID；\nB、分析到现在为止的一个时间段内该内容的使用次数；\nC、如果使用次数超过设定的次数，则找到对该内容感兴趣的所有边缘缓存 组成的逻辑群组的链；\nD、遍历所有的逻辑群组的链，找到所有的包含此边缘缓存的逻辑群组；\nE、对逻辑群组内的所有的边缘缓存，通过内容标识ID查找内容记录，确定不 包含该内容的边缘缓存，然后把相应的内容从网络的中心服务器CS取到不包含 该内容的边缘缓存上。\n所述步骤C中，如果使用次数不超过设定的次数，则从Log日志中找下一 个内容标识ID，如果找到则转所述步骤B，如果找不到则执行步骤F：\n查找下一边缘缓存，如果找到所述边缘缓存则取其当前的Log日志文件， 从中找到第一个内容标识ID，转到所述步骤B，否则结束内容分发。\n删除包括如下步骤：\nA、媒体管理器(MM)取边缘缓存的LOG日志，从中取第一个内容标识(ID)；\nB、分析到现在为止该内容被使用的次数；\nC、如果使用次数小于阀值则媒体管理器(MM)发送删除指令，由边缘缓存 对该内容进行删除处理，继续步骤D；\nD、查找下一个内容标识(ID)，如果找到则转步骤B，如果找不到则结束。\n所述步骤C中，如果使用次数不小于设定的阀值，则继续步骤D。\n于边缘缓存(EC)中建立有中间状态表，该中间状态表记录有系统指令删 除但暂存于边缘存中的内容的状态信息，当所述步骤C中使用次数小于阀值时， 所述媒体管理器发送删除指令，由边缘缓存对该内容进行删除处理，包括步骤：\na.边缘缓存接收从所述媒体管理器发送删除指令；\nb.所述边缘缓存在所述中间状态表中记录该内容将被删除；\nc.检查磁盘空间是否小于阀值，如果小于阀值则进行磁盘空间清理，并刷 新中间状态表，继续步骤d；如果不小于阀值则继续步骤d；\nd.从中间状态表中找第一个内容标识(ID)如果找到则继续步骤e，否则继 续步骤g；\ne.判断该内容的使用次数是否大于阀值，如果不大于阀值，则继续步骤f； 如果大于阀值，则将该内容恢复为正常使用内容，整理中间状态表，并发送该 内容恢复正常的消息到媒体管理器继续步骤f；\nf.从中间状态表中找下一个内容标识，如果找到则转步骤e，否则继续步骤 g；\ng.结束流程。\n本发明的有益效果：\n1、给CA选择自动刷新某个特别内容的权力。\n2、能让系统通过记录CA用户的习惯从而得到哪些用户想使用某些内容的 信息。同时在进行内容自动分发的时候使用这些信息，这样能够最高限度满足 CA用户和普通用户的使用网络的要求。\n3、内容删除后在用户多次使用的情况下可自动恢复。\n附图说明\n图1为CDN网络的结构图；\n图2为CDN网络中CA进行内容分发的示意图；\n图3为多媒体管理器向边缘缓存分发内容的示意图；\n图4、图5、图6、图7为本发明的流程图。\n具体实施方式\n本发明的自动刷新(或称定时刷新)包括对内容的自动分发。首先，对于 新闻，采用主动自动刷新，例如每半个小时刷新一次，此时间间隔由系统设置。 对于一般的发布内容，当内容由CA发布的时候，由用户指定是否需要自动刷新， 然后记录在数据库中。如果一般内容是自动刷新，应该由用户指定系统的自动 刷新的时间间隔。如果没有指定，则系统提供一个自动刷新的时间间隔的缺省 值。CDN系统记录了每一个内容所对应的多个URL地址。\n同时，对于不同的内容CDN系统采用不同的分发策略，如对于新闻采用及时 的分发策略。对于一般内容，采用CA指定的时间进行定时发布。\n内容发布时MM的处理流程如图4、图5所示，其中图4为主流程，图5为内容 自动刷新流程。请参阅图4：步骤100根据CA的内容发布指令，判断内容是否是 新闻类内容，如果是则进行步骤104，否则进行步骤102；步骤104在系统中记录 内容的统一资源定位符(URL)，然后进行步骤108；步骤102则判断一般内容是 否需要自动刷新，如果是进行步骤106，否则进行步骤108；步骤106在系统中记 录自动刷新标记，如果用户指定了自动刷新的时间间隔，则需将其一并记录； 步骤108媒体管理器(MM)将内容发布到CA指定的边缘缓存上；步骤110记录内容 在系统中的分布；步骤112结束流程。请参阅图5：步骤200是定时器的定时时间 到，系统进行内容分发；步骤202媒体管理器(MM)根据内容的统一资源定位符 (URL)从CA中取出内容；步骤204媒体管理器发布内容到相应的边缘缓存，并 复位定时器；步骤206结束流程。\n从上可知，当定时时间到，刷新的过程可以自动进行。\n对内容传送网络系统根据边缘缓存的LOG日志中记录的内容使用热度进行 相应内容的分发或/和删除可以称为人工智能内容刷新。内容使用热度是指内容 被欢迎的程度，在本实施中是指内容被点击的次数(或者使用频率)。\n对于人工智能内容刷新中的内容分发，首先必须从一个EC上的内容使用的 热度情况，推断出另外哪些边缘缓存的服务范围之内的用户会对这个内容感兴 趣。一般情况下，CA知道自己的用户在哪里。\n在本发明中提出逻辑群组的概念。逻辑群组的组织在本实施例中是通过系 统提供的人机界面，由CA操作者(或用户)来指定完成的。从CA用户组织逻辑 群组的出发点来考虑，就是CA用户认为逻辑群组内的这些EC所服务范围内的用 户对于当前的内容感兴趣。\n逻辑群组的概念：\n逻辑群组应该是对于某个CA来讲的，不同的CA应该在系统中有不同的逻辑 群组表。这样逻辑群组实际上代替的是CA认为对这些内容感兴趣的一个EC的集 合。逻辑群组包括永久的逻辑群组和临时的逻辑群组。\n永久的逻辑群组是由CA指定的永久的逻辑群组，CA可以从CDN系统中删除此 逻辑群组，否则永久的逻辑群组将被保留。\n临时的逻辑群组是CA用户为了对于某个内容进行群组分发，而临时指定一 个逻辑群组，此逻辑群组在CDN系统中保存，但是系统进行一定策略的更新。 临时逻辑群组的刷新是根据临时逻辑群组的刷新频度(应该由CDN网管的设置包 括多长时间检查一次，以及此群组被使用了多少次)来刷新临时逻辑群组。对于 临时的逻辑群组，如果用户不重复使用一定的频度，系统将自动删除它。\n永久逻辑群组和CA临时逻辑群组分别使用链表来记录。\n如果CA用户指定一个永久逻辑群组并使用这个逻辑群组发送内容的时候， 实际上我们可以理解为CA认为这些边缘缓存(ECs)下的用户是真正对这些内容 感兴趣的用户。这样，CDN系统能够记住CA认为到底哪些ECs会对他发布的这个 内容感兴趣，当在使用刷新策略的时候，这个信息是一个非常有用的信息。\n根据LOG日志中记录的内容使用热度进行内容分发的方法为：取到第一个EC 的当前的Log日志文件，分析在从现在开始到以前的某个时间段的某个内容的使 用超过多少次，其中两个参数都由网管来预设。如果超过规定的次数，可以通 过CA的标识首先找到相应的逻辑群组的链，然后在遍历所有的逻辑群组链，包 括永久和临时的逻辑群组链，找到所有的包含此EC的逻辑群组，对于逻辑群组 内的所有的EC，通过内容ID查找内容记录，看此逻辑群组内有多少EC不包含此 内容，然后采用组播的方式把相应的内容从CS取到这些EC。日志文件的分析， 以及内容发送都是在晚上网络空闲的时间进行，此方式采用定时周期性完成。\n执行流程如图6所示：\n步骤300找到第一个边缘缓存；步骤302取该边缘缓存的Log日志文件；步骤 304从Log日志文件中找到第一个内容标识(ID)；步骤306分析该内容使用的频 率；步骤308将该内容使用的频率与给定的阀值进行比较，如果大于给定的阀值 则进行步骤320，否则进行步骤310；步骤310从Log日志文件中查找下一个内容 标识，如果找到则步骤312后进行步骤308，否则进行步骤314；步骤314查找下 一个边缘缓存，如果找到则经步骤316后进行步骤302，否则进行步骤318以结束 流程；步骤320找到内容的CA的标识(ID)即找到此内容属于哪一个CA；步骤322 找到此CA的永久和临时逻辑群组的链表；步骤324找到包含此边缘缓存的所有逻 辑群组；步骤326查找这些逻辑群组所包含的所有的边缘缓存；步骤328从所有 缓存中找到不包含该内容的边缘缓存；步骤330发布相应的内容到不包含该内容 的边缘缓存上，然后进行步骤310。\n内容的删除主要是针对单个的EC进行。根据LOG日志中记录的内容使用热度 进行内容删除的方法为：MM取边缘缓存的LOG日志文件，并从中找到内容标识， 并分析从现在开始到从前的某个时间的时间段内该内容使用的次数，如果该次 数少于设定的阀值次数，则发布删除命令，则此记录将被在CDN系统中删除。然 后再找下一个内容进行上述操作。其执行流程如图7的MM侧所示：\n步骤400媒体管理器取边缘缓存的Log日志文件；步骤420媒体管理器分析该 边缘缓存的第一个内容ID热度，即到现在当前为止该内容被点击的次数，步骤 404进行判断，如果被点击的次数小于设定的阀值，则媒体管理器向该边缘缓存 器发出删除该内容的指令，由边缘缓存进行相应的删除步骤，否则进行步骤408； 步骤408查找边缘缓存的下一个内容标识，如果找到则进行步骤410，否则进行 步骤412以结束流程；步骤410则分析找到的内容的热度，然后进行步骤404。\n边缘缓存对内容的删除可以是在接收到媒体管理器的删除命令时进行，也 可以是在定时时间到的时候进行。但是具体的实际内容只要EC上还有足够的空 间就不要删除，这样内容有一个中间状态，在这个中间状态的内容可以在EC需 要磁盘空间的时候进行彻底的删除。因此，在EC上建立并维护一个删除内容的 中间状态表，该中间状态表用来记录系统指令删除但暂存于边缘存中的内容的 状态信息。内容的状态信息包括内容标识(ID)、内容当前状态、内容被删除 时间和内容点击次数，如下表所示：   内容ID   内容当前状态   内容被删除时间   内容点击次数\n中间状态表在边缘缓存初始化时建立，也可在需要建立。维护此表的好处 在于如果用户在此内容已经被标识为删除以后，仍然被用户点击，并且点击次 数达到一定的阀值，这时EC可以从这个删除的中间状态表中恢复这项内容为正 常使用，在这个时候EC应该给MM一个消息，表示这个内容已经被重新使用。如 果EC在磁盘空间需要的情况下，可以自己删除这些文件。\n请参阅图7中的EC侧所示：对于接收从媒体管理器来的删除指令则从步骤 500开始执行，步骤502则需在中间状态表中记录被删除内容的相关信息，如在 内容ID中填入该内容的标识，在内容当前状态中填入该内容删除标记，以及填 入被删除的时间及被点击的次数等。对于系统定时地自动删除内容则从步骤504 开始执行。步骤504检查磁盘空间是否小于设定的阀值，如果小于阀值则进行 步骤508，否则进行步骤506；步骤508进行磁盘空间清理和刷新中间状态表， 包括从中间状态表中找出删除时间大于某个时间段和点击次数小于一定次数的 内容，并从边缘缓存上将该内容彻底删除，以及将该内容在中间状态表中的信 息删除，处理完后进行步骤506；步骤506从中间状态表中查找第一个内容标识， 如果找到则进行步骤510，否则进行步骤516；步骤510判断该内容被点的次数 是否大于设定的阀值，如果是大于设定的阀值则进行步骤512，否则进行步骤 514；步骤512则恢复该内容为正常内容，并将该内容在中间状态表中的信息删 除，同时向媒体管理器发送该内容正常使用的消息，然后进行步骤514；步骤 514从中间状态表中查找下一个内容，如果找到则进行步骤510，否则进行步骤 516。