Skip to content

基于cdh的hadoop-2.6.0-cdh5.11.1 定制了yarn部分功能 1.平衡调度(避免计算压力倾斜) 2.屏蔽节点(因为cdh版本使用不了node-lable功能) 3.resourcemanager 8088端口外网访问添加认证(不想使用Kerberos)

Notifications You must be signed in to change notification settings

bravecharge/hadoop-2.6.0-cdh5.11.1

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 

Repository files navigation

改动: 一. hadoop-yarn-server-resourcemanage
1.节点屏蔽功能

 --node.black.list=n1,n2,n3     在main args上加上该参数, 则屏蔽n1,n2,n3节点,容器将不再分配在这些节点上

2.基于vcores平衡分配

--allocate.balancer.type=total 或 --allocate.balancer.type=available	在main args上加上该参数,
    "total"容器基于总资源平衡分配,   
    "available" 容器基于当前可用的资源平衡分配  

3.resource manager http添加basic auth认证

在yarn-site.xml中设置  http.basic.auth.enabled=true 则开启认证
 http.basic.auth=a:b  则指定账号为a密码为b

About

基于cdh的hadoop-2.6.0-cdh5.11.1 定制了yarn部分功能 1.平衡调度(避免计算压力倾斜) 2.屏蔽节点(因为cdh版本使用不了node-lable功能) 3.resourcemanager 8088端口外网访问添加认证(不想使用Kerberos)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published