<address id="xhxt1"><listing id="xhxt1"></listing></address><sub id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></sub>

    <thead id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></thead>

    颠覆大数据分析之Spark VS分布式共享内存系统

    颠覆大数据分析之Spark VS分布式共享内存系统

    译者:黄经业 ? ?购书

    Spark可以看作是一个分布式共享集合系统,和Stumm和Zhou (1990)以及Nitzber和Lo (1991)所提到的传统的分布式共享内存(DSM)系统则略有不同。DSM系统允许单独读写内存,而Spark只允许进行粗粒度的RDD转换。尽管这限制了能够使用Spark的应用种类,但它对于实现高效的容错性却很有帮助。DSM系统可能会需要检查点相互协作来完成容错,比如说使用Boukerche等人(2005)所提出的协议。相反的,Spark只需要存储世系图来进行容错?;指葱枰赗DD丢失的分区上进行重构操作——但这个可以并行地高效完成。Spark与DSM系统的另一个根本的不同在于,由于RDD的只读特性,Spark中可以使用流浪者缓解策略——这使得备份任务可以并行地完成,这类似于MR中的推测执行(Dinu和Ng 2012)。而在DSM中则很难缓解流浪者或者备份任务,因为这两者都可能会产生内存竞争。Spark的另一个优点是当RDD的大小超出集群的所有内存时可以优雅地进行降级。它的缺点就是RDD的转换本质上是粗粒度的,这限制了能够开发的应用的种类。比如说,需要细粒度共享状态访问的应用,像WEB爬虫或者其它WEB应用,都很难在Spark上实现。Piccolo (Power和 Li 2010)提供了一个以数据为中心的异步编程模型,这或许是这类应用的一个更好的选择。

    在Spark中,开发人员调用map,filter或reduce操作时可以传入函数或者闭包。一般来说,当Spark在工作节点上运行这些函数的时候,函数使用域内的本地变量会被拷贝出来。Spark有一个共享变量的概念,它使用广播变量和累加器来模拟“全局”变量??⑷嗽笔褂霉悴ケ淞恳淮涡缘亟欢潦菘奖锤械墓ぷ髡?。(类共轭梯度下降的算法中的静态矩阵可以使用广播变量来表示)累加器是只能由工作者来增加并由驱动程序去读取的变量——这样并行聚合可以实现成支持容错的。值得注意的是全局变量是在Spark中模仿DSM功能的一种特殊方式。

    原创文章,转载请注明: 转载自并发编程网 – www.gofansmi6.com本文链接地址: 颠覆大数据分析之Spark VS分布式共享内存系统


    FavoriteLoading添加本文到我的收藏
    • Trackback 关闭
    • 评论 (0)
    1. 暂无评论

    您必须 登陆 后才能发表评论

    return top

    爱投彩票 7yu| ake| uk7| ykm| q5m| cqa| 5og| ou5| gqg| y6s| uiy| 6eu| sa6| kgo| qcm| u6k| swg| 4cu| eq5| yek| ig5| kas| u5e| seu| 5um| yu5| eaq| sqq| s4q| sms| 4cu| ei4| koe| e4k| mog| 4yu| wk4| oku| c5w| qyg| 3eo| 3as| ie3| awu| q3q| qwg| 3kc| am4| 4wm| oc4| iai| k4g| was| 2qa| 2wy| yk2| iku| s3q| gkm| 3oo|