hadoop任务运行错误之container is running beyond virtual memory limits

默认最简配置的单节点hadoop运行任务竟然出现“container is running beyond virtual memory limits”的错误 看错误是申请虚拟内存超出限制了,根据stackoverflow的指导,在yarn-site.xml添加下面的配置信息,然后重启hadoop然后再次运行任务就正常了

粗略的感觉了 […]

hadoop单服务器伪分布式节点安装1

参考hadoop.apache.org给出的文档在kvm虚拟机中简单的运行了一个hadoop伪分布式节点,没想过几天又忘记了操作步骤,所以重新记录一次,做个总结。 1.下载安装ssh服务,官方推荐同时也安装pdsh,如果条件允许建议安装,顺便也可以了解一下。ssh服务安装之后,配置ssh登录不需要输入密码 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ c […]

RaspberryPi作无线路由器

前一段时间升级了ubuntu之后,EDUP的无线网卡一连接wifi整个系统就会crash,导致无法正常上网,刚好小Pi闲置在旁,于是将它当作路由器先用起来,目的很简单,让Pi连上家里的wifi,然后让服务器通过Pi的有线网口路由出局。 操作比较简单,首先将Pi的有线网卡地址设置为静态,并且配置好IP地址,通过编辑/etc/network/interfaces实现,修改eth0的属性如下: auto […]