分类： hadoop

hadoop任务运行错误之container is running beyond virtual memory limits

默认最简配置的单节点hadoop运行任务竟然出现“container is running beyond virtual memory limits”的错误 看错误是申请虚拟内存超出限制了，根据stackoverflow的指导，在yarn-site.xml添加下面的配置信息，然后重启hadoop然后再次运行任务就正常了

粗略的感觉了 […]

hadoop单服务器伪分布式节点安装1

参考hadoop.apache.org给出的文档在kvm虚拟机中简单的运行了一个hadoop伪分布式节点，没想过几天又忘记了操作步骤，所以重新记录一次，做个总结。 1.下载安装ssh服务，官方推荐同时也安装pdsh，如果条件允许建议安装，顺便也可以了解一下。ssh服务安装之后，配置ssh登录不需要输入密码 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ c […]

start-dfs.sh提示rcmd: socket: Permission denied

在Ubuntu16.10上安装hadoop-3.0.0-alpha2之后，执行sbin/start-dfs.sh时提示错误"rcmd: socket: Permission denied"，使用sudo则又提示"there is no HDFS_NAMENODE_USER defined"，如下图所示：   解决方法： 在/etc/pdsh下面新建文件rcmd_default，写入ssh […]