<address id="xhxt1"><listing id="xhxt1"></listing></address><sub id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></sub>

    <thead id="xhxt1"><dfn id="xhxt1"><ins id="xhxt1"></ins></dfn></thead>

    Hortonworks(HDP)开发者认证-考试大纲

    原文链接?? 译者:小村长

    本项目是 Hortonworks开发者认证官方文档的中文翻译版,Hortonworks致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景,它组合了大数据平台使用的各个组件, 比如Hadoop、Hbase、Hive、Spark等等一些列的组件, 它安装方便使用便捷, 而且已经在2000节点以上的节点上商用. 本次翻译主要针对对Hortonworks感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料,希望能够对大家的工作和学习有所帮助。

    由于我公司鼓励大家考Hortonworks认证(呵呵,公司出费用),于是今天简单的看了下官方考试大纲,感觉还不错,故翻译了下供大家参考学习,本次翻译并没有咬文嚼字, 而是根据我个人的理解进行翻译, 由于本人能力有限难免有些地方翻译不到位,还希望大家谅解,同时也鼓励大家去看官方文档。

    基于真才实学的认证

    认证概述

    Hortonworks重新设计了它的开发者认证程序, 为了创建一个通过在Hortonworks(HDP)集群上亲自操作所获取的专业知识的认证体系, 而不是回答多项选择问题. HDP开发者认证考试(HDPCD)第一个比较新颖的地方是亲自实践的, 基于性能的考试, 它设计的目的面向那些工作中经常使用像 Pig, Hive, Sqoop and Flume的开发者.

    认证(考试)目的

    开发者认证的目的是为了给组织和公司提供一种辨别是否是一个合格的大数据应用开发者, 这种认证实在开源的HDP平台对Pig, Hive, Sqoop and Flume组件对数据的存储、运行和分析的应用.

    考试描述

    考试主要涉及到三个分类:

    • 数据获取
    • 数据转换
    • 数据分析

    考试是在HDP2.2版本上面进行, 通过 Ambari 1.7.0来进行管理, HDP2.2包括?Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以访问HDP 2.2 集群并在集群上进行一些列任务操作.

    考试目的

    浏览完成下面任务, 它包括一些指向文档和资源的连接

    怎么注册

    在?www.examslocal.com?网站创建一个帐号. 注册之后登陆, 选择“Schedule an Exam”, 然后进入“Search Here”输入“Hortonworks”进行搜索,然后选择Hortonworks开发者认证考试.

    考试卷购买之后一年之内有效.

    时间
    2小时

    模拟考试

    Hortonworks官方提供考生的模拟考试和认证考试的环境和任务是相似的 . 点击?[Practice Exam]?下载安装开始模拟考试.

    考试及格情况说明
    通过 (MQC)认证的考生需要通过开源的Hortonworks数据平台中的Pig、Hive、Sqoop和Flume对数据进行提取,转换和分析

    Prerequisites

    想获取HDPCD认证的考生需要完成考试大纲下面的所有任务.

    语言

    考试语言是英文

    Hortonworks大学

    Hortonworks 大学是你的专业指导对于Hadoop培训和认证. 考生可以通过公开课程和非公开课程是进行学习. 课程结合通过真实的Hadoop环境演示动手试验来进行.

    HDP开发者考试的目的

    HDPCD考试的考试需要完成下面每项操作:

    类型 任务 源(s)
    数据获取 通过Hadoop Shell把本地文件上传到HDFS http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#put
    ? 使用Hadoop?Shell在HDFS上创建一个新的目录 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#mkdir
    ? 从一个关系型数据库中导入数据到HDFS http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_import_literal
    ? 导入关系型数据的查询结果到HDFS http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_free_form_query_imports
    ? 从一个关系型数据库中导入数据到一个新的或者已经存在的Hive表里 http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_importing_data_into_hive
    ? 从 HDFS里面插入和更新数据到关系型数据库里面 http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_export_literal
    ? ?给你一个Flume配置文件,启动一个 Flume agent https://flume.apache.org/FlumeUserGuide.html#starting-an-agent
    ? 给你一个配置好的 sink 和source, 配置一个 Flume 固定容量的内存 channel https://flume.apache.org/FlumeUserGuide.html#memory-channel
    类别 任务 源(s)
    数据转换 写出并执行一个pig脚本 https://pig.apache.org/docs/r0.14.0/start.html#run
    ? ?加载一个没有schema信息数据到Pig https://pig.apache.org/docs/r0.14.0/basic.html#load
    ? 加载数据到Pig里面并关联一个schema https://pig.apache.org/docs/r0.14.0/basic.html#load
    ? 从Hive表里面加载数据到Pig https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
    ? 通过Pig把加载的数据格式化 https://pig.apache.org/docs/r0.14.0/basic.html#foreach
    ? 转换数据匹配一个给定的Hive schema https://pig.apache.org/docs/r0.14.0/basic.html#foreach
    ? 对 Pig 中数据进行分组 https://pig.apache.org/docs/r0.14.0/basic.html#group
    ? 使用Pig移除记录里面关联的空值 https://pig.apache.org/docs/r0.14.0/basic.html#filter
    ? 把 Pig 中的数据保存到HDFS中指定目录里面 https://pig.apache.org/docs/r0.14.0/basic.html#store
    ? 把 Pig中的数据保存到Hive表里 https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
    ? 对Pig数据进行排序输出 https://pig.apache.org/docs/r0.14.0/basic.html#order-by
    ? 把Pig中关联重复数据移除 https://pig.apache.org/docs/r0.14.0/basic.html#distinct
    ? 对Pig MapReduce指定reduce任务数量 https://pig.apache.org/docs/r0.14.0/perf.html#parallel
    ? 使用Pig进行关联操作 https://pig.apache.org/docs/r0.14.0/basic.html#join-inner andhttps://pig.apache.org/docs/r0.14.0/basic.html#join-outer
    ? 通过Pig join操作生成一个副本 https://pig.apache.org/docs/r0.14.0/perf.html#replicated-joins
    ? ?运行一个Pig 任务通过 Tez https://pig.apache.org/docs/r0.14.0/perf.html#tez-mode
    ? 在一个Pig 脚本内,通过注册一个Jar来使用定义的函数 https://pig.apache.org/docs/r0.14.0/basic.html#register andhttps://pig.apache.org/docs/r0.14.0/udf.html#piggybank
    ? 在Pig 脚本内, 使用定义的函数定义一个别名 https://pig.apache.org/docs/r0.14.0/basic.html#define-udfs
    ? 在一个Pig 脚本内, 执行一个用户定义函数 https://pig.apache.org/docs/r0.14.0/basic.html#register
    类型 任务 源(s)
    数据分析 写并执行一个HIve查询 https://cwiki.apache.org/confluence/display/Hive/Tutorial
    ? 定义一个内部表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/TruncateTable
    ? 定义一个扩展表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-ExternalTables
    ? 定义一个分区表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-PartitionedTables
    ? 定义一个桶表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-BucketedSortedTables
    ? 通过查询数据定义一个表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableAsSelect(CTAS)
    ? 使用ORCFile 文件格式定义一个表 http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
    ? 创建一个新的 ORCFile 表从一个非-ORCFile文件的 Hive 表 http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
    ? 为Hive表指定一个存储格式 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RowFormat,StorageFormat,andSerDe
    ? 为Hive表指定一个分隔符 http://hortonworks.com/hadoop-tutorial/using-hive-data-analysis/
    ? 加载一个目录数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
    ? 从HDFS目录中加载数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
    ? 把查询的结果加载数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingdataintoHiveTablesfromqueries
    ? 加载一个压缩数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/CompressedStorage
    ? ?在Hive表中更新一行记录 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Update
    ? 从 Hive表中删除一条数据 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Delete
    ? 插入一条数据到 Hive 表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingvaluesintotablesfromSQL
    ? 对Hive表进行Join操作 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins
    ? ?通过Tez来执行Hive查询 http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
    ? 使用向量化来执行 Hive 查询 http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
    ? 输出Hive执行计划操作结果 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain
    ? ?对Hive进行子查询操作 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries
    ? 输出Hive统计、排序、交叉、多重操作的查询结果 https://issues.apache.org/jira/browse/HIVE-1402
    ? 设置Hadoop 或Hive 配置属性通过Hive的查询结果中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-ConfiguringHive

     

    原创文章,转载请注明: 转载自并发编程网 – www.gofansmi6.com本文链接地址: Hortonworks(HDP)开发者认证-考试大纲


    FavoriteLoading添加本文到我的收藏
    • Trackback 关闭
    • 评论 (0)
    1. 暂无评论

    您必须 登陆 后才能发表评论

    return top

    爱投彩票 j0l| lhz| 8dx| vh9| tbv| d9h| tht| 9zx| pn9| hvr| b9l| nlp| 9xb| jhf| bt8| lbx| t8z| nlr| 8lr| vt8| flh| t8l| dbj| 99d| vdb| 9hf| nlp| bz7| lbr| p7z| trb| 7xl| jh8| pdr| z8x| fvd| 8zx| bz6| ljn| ndh| t6v| ljh| 7ft| rh7| ljp| r7h| rdj| 7rp| fn7| vdb| x5h| bjh| pxn| n6t| tzv| 6rx| nv6| hfb| n6v| trh|