全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    Combiner组件创建和使用演示【大数据文章】

    Combiner组件是MapReduce程序中的一种重要的组件，如果想自定义Combiner，我们需要继承Reducer类，并且重写reduce()方法。接下来，我们针对词频统计案例编写一个Combiner组件，演示如何创建和使用Combiner组件 查看全文>>

    大数据技术文章2020-11-12 |传智播客 |Combiner组件

  • 

    MapReduce程序在本地运行的模式怎样设置？

    MapReduce程序的运行模式主要有两种：本地运行模式和集群运行模式，集群运行模式只需要将MapReduce程序打成Jar包上传至集群即可，比较简单，这里不再赘述。下面我们以词频统计为例，讲解如何将MapReduce程序设置为在本地运行模式。 查看全文>>

    大数据技术文章2020-11-05 |传智播客 |MapReduce本地运行的模式设置

  • 

    Mapper类中的map()方法怎么用？

    MapReduce程序会根据输入的文件产生多个map任务。Hadoop提供的Mapper类是实现Map任务的一个抽象基类，该基类提供了一个map()方法，默认情况下，Mapper类中的map()方法是没有做任何处理的。 查看全文>>

    大数据技术文章2020-11-04 |传智播客 |Mapper类中的map()方法怎么用

  • 

    InputFormat接口的定义代码怎么设置？

    Hadoop中有五个编程组件，分别是：InputFormat、Mapper、Reducer、Parttioner、OutputFromat和Canbiner，其中Canbiner的作用是对Map阶段的输出的重复数据先做一次合并计算，所以不属于必属件。本节课就来对MapReducer的InputFormat组件做一个简单介绍 查看全文>>

    大数据技术文章2020-11-03 |传智播客 |InputFormat接口的定义代码设置

  • 

    Watch机制的显著特点有哪些？Watch简介

    在ZooKeeper中，引入了Watch机制来实现这种分布式的通知功能。ZooKeeper允许客户端向服务端注册一个Watch监听，当服务端的一些事件触发了这个Watch，那么就会向指定客户端发送一个事件通知，来实现分布式的通知功能。Watch机制在事件中有以下4个特点： 查看全文>>

    大数据技术文章2020-11-03 |传智播客 |Watch机制简介

  • 

    Znode储存结构是怎样的？节点类型有几种？

    Zookeeper的底层是一套数据储存结构，其中的节点，我们称之为znode。Zookeeper中数据存储的结构和标准文件系统非常类似，拥有一个层次的命名空间，也是使用斜杠(/)进行分割，两者都是采用树形层次结构。不同的是，标准文件系统是由文件夹和文件来组成的树，而Zookeeper是由什么来组成的树呢?下面我们来看一下Zookeeper数据存储结构 查看全文>>

    大数据技术文章2020-11-03 |传智播客 |Znode的储存结构和节点类型

  • 

    简单介绍YARN资源管理框架的体系结构【大数据文章】

    YARN是一个通用的资源管理系统和调度平台，它的基本设计思想是将MRv1(Hadoop1.0中的MapReduce)中的JobTracker拆分为两个独立的任务，这两个任务分别是全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中，ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。接下来，我们通过一张图来描述YARN的体系结构，具体如图1所示。 查看全文>>

    大数据技术文章2020-11-03 |传智播客 |YARN,YARN资源管理框架的体系结构

  • 

    Zookeeper分布式系统的集群架构介绍

    Zookeeper对外提供一个类似于文件系统的层次化的数据存储服务，为了保证整个Zookeeper集群的容错性和高性能，每一个Zookeeper集群都是由多台服务器节点(Server)组成，这些节点通过复制保证各个服务器节点之间的数据一致。只要当这些服务器节点过半数节点可用，那么整个Zookeeper集群就可用。下面我们来学习Zookeeper的集群架构，如图1所示。 查看全文>>

    大数据技术文章2020-11-03 |传智播客 |Zookeeper分布式系统,Zookeeper集群角色

  << < 1 ... 7 8 9 10 11 12 13 ... 35 > >>