问题描述
在ec2上测试spark的graphx图处理的可扩展性(scalability),用1,2,4,8和16个结点(workers)测试。发现完全没有体现加速(speedup)。请问是否有人有这方面的经验?算法使用graphx的pagerank。http://ask.csdn.net/questions/233980
解决方案
解决方案二:
节点多了,partition个数也设大了没?
解决方案三:
引用1楼coding_hello的回复:
节点多了,partition个数也设大了没?
graphx没有接口负责partition!!???
解决方案四:
en,是没repartition,忘了。。。//Changethepartitioningheuristic============================================================defpartitionBy(partitionStrategy:PartitionStrategy):Graph[VD,ED]也可以改个策略让它调整一把试试
时间: 2025-01-02 02:22:12