hadoop任务运行错误之container is running beyond virtual memory limits

默认最简配置的单节点hadoop运行任务竟然出现“container is running beyond virtual memory limits”的错误 看错误是申请虚拟内存超出限制了,根据stackoverflow的指导,在yarn-site.xml添加下面的配置信息,然后重启hadoop然后再次运行任务就正常了

粗略的感觉了 […]

hadoop单服务器伪分布式节点安装1

参考hadoop.apache.org给出的文档在kvm虚拟机中简单的运行了一个hadoop伪分布式节点,没想过几天又忘记了操作步骤,所以重新记录一次,做个总结。 1.下载安装ssh服务,官方推荐同时也安装pdsh,如果条件允许建议安装,顺便也可以了解一下。ssh服务安装之后,配置ssh登录不需要输入密码 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ c […]

start-dfs.sh提示rcmd: socket: Permission denied

在Ubuntu16.10上安装hadoop-3.0.0-alpha2之后,执行sbin/start-dfs.sh时提示错误"rcmd: socket: Permission denied",使用sudo则又提示"there is no HDFS_NAMENODE_USER defined",如下图所示:   解决方法: 在/etc/pdsh下面新建文件rcmd_default,写入ssh […]