关注码农话题
做一个实实在在的内行人

Hadoop

第2页

YARN – Failover

阅读(283)

失败类型 程序问题 进程崩溃 硬&#x#x4EF6;问题 失败处理 任务失败 运行时异常或者JVM退出都会报告给ApplicationMaster 通过心跳来检查挂住的任务(timeout),会检查多次(可配置)才判断该任务是否失效...

YARN – Container

阅读(253)

基本的资源单位(CPU、内存等) Container可以加载任意程序,而且不限于Java 一#x4E2A;Node可以包含多个Container,也可以是一个大的Container ApplicationMaster可以根据需要,动态申请和...

YARN – ApplicationMaster

阅读(283)

单个作业的资源管理和任务监控 具体功能描述#x8FF0;: 计算应用的资源需求,资源可以是静态或动态计算的,静态的一般是Client申请时就指定了,动态则需要ApplicationMaster根据应用的运行状态来决定 根据数据来申请对应位置...

YARN – ResourceManager

阅读(277)

负责全局的资源管理和任务调度,把整个集群当&##x6210;计算资源池,只关注分配,不管应用,且不负责容错 资源管理 以前资源是每个节点分成一个个的Map slot和Reduce slot,现在是一个个Container,每个Con...

Hadoop – YARN

阅读(377)

旧的MapReduce架构 JobTracker: 负责资源管理,跟踪资源消耗和可用性,作业生命周期管理(调度作业任务,跟踪进度,为任务提供容错) TaskTracker: 加载或关闭任务,定时报告认为状态 此架构会有以下问题: JobTr...

HDFS – 命令工具

阅读(282)

fsck: 检查文件的完整性 start-balancer.sh: 重新平衡HDFS hdfs dfs -copyFromLocal 从本地磁盘复制文&#x#x4EF6;到HDFS

HDFS – 可靠性

阅读(331)

DataNode可以失效 DataNode会定时发送心跳到NameNode。如果ղ#x5728;一段时间内NameNode没有收到DataNode的心跳消息,则认为其失效。此时NameNode就会将该节点的数据(从该节点的复制节点中获取)复...

HDFS – 读文件

阅读(316)

客户端向NameNode发送读取请求 NameNode#x8FD4;回文件的所有block和这些block所在的DataNodes(包括复制节点) 客户端直接从DataNode中读取数据,如果该DataNode读取失败(DataNode失效...

HDFS – 写文件

阅读(436)

1.客户端将文件写入本地磁盘的N#x4E34;时文件中 2.当临时文件大小达到一个block大小时,HDFS client通知NameNode,申请写入文件 3.NameNode在HDFS的文件系统中创建一个文件,并把该block id和要...

Hadoop – HDFS

阅读(368)

简介 Hadoop Distributed File System,分布式文件系统 架构 Block数据&##x5757; 基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的...

入职你的梦想 VS 变现你的技术

IT面试宝典码农市场