自从ubuntu升级之后，EDUP无线网卡总是无法正常链接wifi，dmesg里面提示“ing authentication with *** by local choice (Reason: 3=DEAUTH_LEAVING)”的错误，搜索错误信息也找不到有用的内容 不得已用pi作中转先凑合着用，但是这样总归是比较麻烦。恰好这几天有闲功夫，google看是否有解决的办法，由于上面的错误信息没有可 […]
分类： ECW
to record the skills, experience and some other interesting things about the Computer World
ubuntu upgrade忽略特定的包
例如设置下面两个包在apt-get upgrade的时候不升级： echo wine-staging-amd64 hold | sudo dpkg --set-selections echo wine-staging-i386 hold | sudo dpkg --set-selections 取消则将hold换为install： echo wine-staging-amd64 install | […]
hadoop任务运行错误之container is running beyond virtual memory limits
默认最简配置的单节点hadoop运行任务竟然出现“container is running beyond virtual memory limits”的错误 看错误是申请虚拟内存超出限制了，根据stackoverflow的指导，在yarn-site.xml添加下面的配置信息，然后重启hadoop然后再次运行任务就正常了
|
1 2 3 4 5 6 7 8 9 10 11 12 |
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> <description>Whether virtual memory limits will be enforced for containers</description> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description> </property> |
粗略的感觉了 […]
hadoop单服务器伪分布式节点安装1
参考hadoop.apache.org给出的文档在kvm虚拟机中简单的运行了一个hadoop伪分布式节点，没想过几天又忘记了操作步骤，所以重新记录一次，做个总结。 1.下载安装ssh服务，官方推荐同时也安装pdsh，如果条件允许建议安装，顺便也可以了解一下。ssh服务安装之后，配置ssh登录不需要输入密码 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ c […]
RaspberryPi作无线路由器
前一段时间升级了ubuntu之后，EDUP的无线网卡一连接wifi整个系统就会crash，导致无法正常上网，刚好小Pi闲置在旁，于是将它当作路由器先用起来，目的很简单，让Pi连上家里的wifi，然后让服务器通过Pi的有线网口路由出局。 操作比较简单，首先将Pi的有线网卡地址设置为静态，并且配置好IP地址，通过编辑/etc/network/interfaces实现，修改eth0的属性如下： auto […]
使用python的configparser模块过滤ini配置文件
python的configparser模块可以用来生成/处理类似下面的配置文件
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
[Section1] Option1 = 1 Option2 = 2 DoNotList = 1 [Section2] Option3 = 3 Option4 = 4 MustDisplay = 1 2 3 [Section3] Option5 = 5 Option6 = 6 |
今天要做的是通过configparser模块读取已有的ini文件并过滤出需要的section项，需求很简单，提取满足如下条件的section名字： 1.包含DoNotList项且值不为0 2.不包含DoNotList项但是包含了MustDisplay项 […]
start-dfs.sh提示rcmd: socket: Permission denied
在Ubuntu16.10上安装hadoop-3.0.0-alpha2之后，执行sbin/start-dfs.sh时提示错误"rcmd: socket: Permission denied"，使用sudo则又提示"there is no HDFS_NAMENODE_USER defined"，如下图所示： 解决方法： 在/etc/pdsh下面新建文件rcmd_default，写入ssh […]
使用let's encrypt的ssl证书
前一段时间为了在外网安全登录给blog添加了一个ssl证书，分别尝试了自己生成的和startcom提供的免费版证书，虽然勉强可用，但是好景不长，startcom的证书因为沃通的关系，被浏览器拒之门外了。后来在朋友圈里看到mozilla和Cisco联手其他厂家共同推出的let's encrypt项目，于是今天就重新申请一个let's encrypt的证书试试看。虽然let's encrypt有官方网 […]