​Google提出规模性均衡分区和层次聚类技术减少优化成本

Google提出规模性均衡分区和层次聚类技术，减少优化成本
一般来说，大规模优化问题的解决往往是从图形分区（graph partitioning）开始的，这意味着要将图形的顶点分割为能够在不同机器上进行处理的聚类，而这需要确保聚类的大小接近相等，因而产生了均衡图形分区问题。简而言之，我们需要将给定图形的顶点划分为k个几乎相等的聚类，同时最小化通过分区所划分的边缘的数量。实际上，这个NP-hard问题的难度是众所周知的，因为小型实例的最佳近似算法依赖于半定化的程序（semidefinite programming），而这对于大型实例来说几乎是不切实际的。
通过线性嵌入进行均衡分区
首先，我们的算法将图形的顶点嵌入到一条线上，然后以一种线性嵌入顺序为指导的分布式方式对顶点进行处理。我们研究了各种各样的方法以找到初始嵌入，并应用四种不同的技术（如局部交换和动态编程）以获取最终分区。最好的初始嵌入是基于“亲和聚类（affinity clustering）”的。
亲和层次聚类（Affinity Hierarchical Clustering）
亲和聚类是基于Bor?vka的经典最大成本生成树算法的凝聚层次图形聚类（agglomerative hierarchical graph clustering）。如上所述，该算法是我们平衡分区工具的关键部分。该算法首先将每个顶点放置在它自己的聚类中：v0、v1等等。然后，在每次迭代中，选择每个聚类中成本最高的边缘，以便生成更大的合并聚类：第一轮中的A0、A1、A2等等，以及第二轮中的B0、B1等等。合并的集合自然而然地产生了一个层次聚类，并且产生了叶顶点（一度顶点）的线性排序。下面的图片演示了这一点，底部的数字对应于顶点的排序。
与过去研究工作的比较
将我们的算法同以往在（分布式）均衡图形分区中的研究工作进行比较时，我们重点研究了FENNEL、Spinner、METIS以及一种最新的基于标签传播的算法（label propagationbased algorithm）。我们展示了在公共社交网络和大型私人地图方面的研究结果。对于Twitter追随力度图而言，我们看到，相较之前的结果（Ugander和Backstrom等人于2013年提出）有15-25%的一致性改进。对于LiveJournal图而言，我们的算法只有在K=2时稍逊于FENNEL。

神州电商专注于分销商城系统_深圳分销商城系统_微商城分销系统_商城系统开发_微信商城_APP定制_神州电商等业务 有需要请拨打热线：15118148970　曹女士