hadoop任务运行错误之container is running beyond virtual memory limits

默认最简配置的单节点hadoop运行任务竟然出现“container is running beyond virtual memory limits”的错误 看错误是申请虚拟内存超出限制了,根据stackoverflow的指导,在yarn-site.xml添加下面的配置信息,然后重启hadoop然后再次运行任务就正常了

粗略的感觉了 […]

hadoop单服务器伪分布式节点安装1

参考hadoop.apache.org给出的文档在kvm虚拟机中简单的运行了一个hadoop伪分布式节点,没想过几天又忘记了操作步骤,所以重新记录一次,做个总结。 1.下载安装ssh服务,官方推荐同时也安装pdsh,如果条件允许建议安装,顺便也可以了解一下。ssh服务安装之后,配置ssh登录不需要输入密码 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ c […]

RaspberryPi作无线路由器

前一段时间升级了ubuntu之后,EDUP的无线网卡一连接wifi整个系统就会crash,导致无法正常上网,刚好小Pi闲置在旁,于是将它当作路由器先用起来,目的很简单,让Pi连上家里的wifi,然后让服务器通过Pi的有线网口路由出局。 操作比较简单,首先将Pi的有线网卡地址设置为静态,并且配置好IP地址,通过编辑/etc/network/interfaces实现,修改eth0的属性如下: auto […]

使用python的configparser模块过滤ini配置文件

python的configparser模块可以用来生成/处理类似下面的配置文件

今天要做的是通过configparser模块读取已有的ini文件并过滤出需要的section项,需求很简单,提取满足如下条件的section名字: 1.包含DoNotList项且值不为0 2.不包含DoNotList项但是包含了MustDisplay项 […]

start-dfs.sh提示rcmd: socket: Permission denied

在Ubuntu16.10上安装hadoop-3.0.0-alpha2之后,执行sbin/start-dfs.sh时提示错误"rcmd: socket: Permission denied",使用sudo则又提示"there is no HDFS_NAMENODE_USER defined",如下图所示:   解决方法: 在/etc/pdsh下面新建文件rcmd_default,写入ssh […]

使用let's encrypt的ssl证书

前一段时间为了在外网安全登录给blog添加了一个ssl证书,分别尝试了自己生成的和startcom提供的免费版证书,虽然勉强可用,但是好景不长,startcom的证书因为沃通的关系,被浏览器拒之门外了。后来在朋友圈里看到mozilla和Cisco联手其他厂家共同推出的let's encrypt项目,于是今天就重新申请一个let's encrypt的证书试试看。虽然let's encrypt有官方网 […]

用Python生成批量命令

有时候遇到要批量修改一些规则的,参数递增(递减)的命令时,手动一条条去改实在是太痛苦了,这时候可以考虑用Python自动生成这些命令,比如生成bat或者sh脚本,然后执行就快捷多了。如下是一个示例,自己在现场遇到这样的需求,当时觉得很迷茫,这个系统没有这样的功能啊!后来偶然间在别人的机器看到了Python图标,于是乎想试试看自己能不能做一个简单的模式出来,简单的goole一下,还真的可行: [cr […]

无奈的“转转”

从58同城到赶集网,虽然以前这里广告满天垃圾横行,但至少能自由的发布信息,不管是买家还是卖家,不管是贫民还是贼娃,总还能落个自由交易。但是合体后升级到这个所谓的“转转”,不只是无法自由登录,需强制绑定微信,还要在发布信息时验证芝麻信用分!额的个神啊,我就想上去找根主机电源线,非得要闹这么大一阵势,半推半就的上去了,想散布个求购帖子,确发现已然是不能了o-:)。难理解....这PM是脑壳坏掉了吗,非 […]