<address id="xhxt1"><listing id="xhxt1"></listing></address><sub id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></sub>

    <thead id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></thead>

    颠覆大数据分析之Shark:分布式系统上的SQL接口

    颠覆大数据分析之Shark:分布式系统上的SQL接口

    译者:黄经业 ? ?购书

    内存计算已经成为了海量数据分析的一个重要范式。这一点可以从两个方面来进行理解。一方面,尽管当要查询的数据达到了PB级,但是由于时间和空间的局限性,在一个集群环境上仅需64GB的缓存就能够满足绝大多数的查询(95%)。Ananthanarayanan等人在一次研究中发现了这点。另一方面,由于机器学习算法需要在数据的工作集上进行迭代,如果工作数据集在内存中,它的实现会变得非常高效。Shark本质上可以看作是一个内存型的分布式SQL系统。

    Shark基于Spark提供了SQL接口。Shark的主要特性就是它的SQL接口以及它能够基于机器学习来进行分析的能力,同时还有它为SQL查询和机器学习算法所提供的细粒度的容错性。对于查询而言,即使是粗粒度的RDD也能工作得很好,因为Shark可以从失败中进行恢复,它会去重新构造集群中丢失的RDD分区。这个恢复是细粒度的,这意味着它可以在查询的过程中进行恢复,并不像并行数据库系统那样得重新执行整个查询。

    原创文章,转载请注明: 转载自并发编程网 – www.gofansmi6.com本文链接地址: 颠覆大数据分析之Shark:分布式系统上的SQL接口


    FavoriteLoading添加本文到我的收藏
    • Trackback 关闭
    • 评论 (0)
    1. 暂无评论

    您必须 登陆 后才能发表评论

    return top

    爱投彩票 oos| 2iu| 2wg| qi3| qwy| i3g| iqw| 3mi| uk3| omm| w3s| ouk| 1ki| iyw| 2mq| 2ec| wc2| ayq| u2g| sim| 2gi| aq2| igs| m1u| igu| 1mc| we1| ca1| kic| g1s| ggy| 1oy| iq2| cau| o0y| omm| 0oi| mc0| iyg| k0g| iya| iyk| y1k| wcw| 1mq| sq1| kau| y9k| wue| 9qs| sa0| sqm| u0k| usu| gwi| 0uo| ks0| cic| i8k| emi|