mysql纵排结果恢复成insert语句

2022-11-19 mowkeeperECW

某些情况下查询出来的数据不想通过其他工具进行备份，可以临时通过这种方法从少量屏幕结果中进行恢复

# coding: utf8

import sys

import re

if len(sys.argv) != 2:

exit("replicate_sql select.sql")

sql_num = 0

list_col = []

list_val = []

with open(sys.argv[1],'r') as fsql:

lines = fsql.readlines()

for line in lines:

line = line.replace("\n","")

# 结果开始标志

if re.search(r".* row .*", line):

sql_num += 1

# print(f"deal result {sql_num}")

#正式的结果行

if ": " in line:

kv = line.split(": ")

col, val = kv[0].strip(), kv[1].strip()

# print("/*"+line+"*/")

# print("/*"+str((col, val))+"*/")

# 匹配时间格式

if re.match(r"(\d{4}-\d{1,2}-\d{1,2})",val):

val = f"'{val}'"

# 匹配空串

if val == "":

val = "''"

if col in list_col:

list_val.append(val)

else:

list_col.append(col)

list_val.append(val)

#结果结束了

else:

if len(list_col) !=0 and len(list_val) !=0 :

print("insert into t1({cols}) values({vals});".format(cols=",".join(list_col), vals=",".join(list_val)))

list_val = []

print(f"/*deal {sql_num} sql*/")

python3 replaicate_sql.py ~/tmp/t.sql

node-exporter无法获取cpu信息的一个案例

2022-09-28 mowkeeperUnix/Linux

没什么，真没什么 1、现象获取不到cpu的信息 2、原因 node-exporter开启了processes信息的获取（添加了启动参数--collector.processes），但是/proc/stat中processes信息是错误的这里应该是个正值，但是现在却变为负数了，所以处理异常。二期这还是某个os自己改内核出来的bug，虽然新版已经修复了，但是还很多机器跑在有问题的kernel版本 […]

prometheus基础部署使用

2022-09-23 mowkeeperUnix/Linux

关于prometheus的介绍网上有很多详细的资料和整套的书籍，因为接触的晚，偶有用到，所以整理一下最基础的部署和使用，以便归档一、安装prometheus 1、根据平台类型直接下载二进制包 2、解压后将包中的所有文件都移动到/usr/local/prometheus便于统一管理 3、启动应用可以直接手动拉起，或者配置systemctl服务来监管，根据使用环境选择（1）通过systemctl […]

python模块被import时获取caller的信息进行初始化

2022-07-06 mowkeeperpython

主要目的是将重复定义的模块独立出来，便于其他脚本直接引用，减少反复定义的问题 module1:

import os,sys

import inspect

if __name__ == '__main__':

pass

else:

# python3

if sys.version>'3':

frm_list = inspect.stack()

for item in frm_list:

if item.index is None:

# print(item)

continue

else:

if __file__ in item.filename:

# print(item)

continue

else:

# print(item)

frm = item

mod = inspect.getmodule(frm[0])

t_file = str(os.path.abspath(mod.__file__))

# python2

else:

frm_list = inspect.stack()

mod = inspect.getmodule(frm_list[1][0])

t_file = str(os.path.abspath(mod.__file__))

t_list = [1,2,3]

t_dict = {"k1":"v1"}

module2:

import time

from module1 import *

# print(t_name)

print(id(t_file),t_file)

print(id(t_list),t_list)

print(id(t_dict),t_dict)

time.sleep(10)

分别运行module2，返回结果如下：

# python2 module2.py

(139742777226544, '/home/software/boofuzz/ft_local/module2.py')

(139742781893304, [1, 2, 3])

(139742781927784, {'k1': 'v1'})

python3 module2.py

139720418778448 /home/software/boofuzz/ft_local/module2.py

139720418165064 [1, 2, 3]

139720421308600 {'k1': 'v1'}

参考： https: […]

vscode不能自动补全import对象的方法

2022-07-04 mowkeeperOther

1、检查插件是否已经安装 Python Extension Pack，Python Extended，Python Path 2、添加2个额外的配置在setting.json中，增加两个变量

"python.autoComplete.extraPaths": [

"/home/myTest"

"python.analysis.extraPaths": [

"/home/myTest"

]

参考地址 https://github.com/microsoft/python-language-server/blob/master/T […]

kazoo操作zookeeper基本功能的记录

2022-03-29 mowkeeperpython

任何数字化的信息在若干年后都会变成废品

# coding: utf-8

from kazoo.client import KazooClient, NoNodeError

zk = KazooClient(hosts="192.168.1.1:2181")

zk.start()

node_path_tpl = "/test1/resources/rsip@{ip}/rsport@{port}"

# 从文件读取信息

# ip:port

# with open("ip.list", "r") as f:

# node_list = f.readlines()

# 直接从zk获取信息

node_list = []

rsip_list = zk.get_children("/test1/resources")

for rsip in rsip_list:

_, host = rsip.split("@")

rsport_list = zk.get_children("/test1/resources" + "/" + rsip)

for rsport in rsport_list:

_, port = rsport.split("@")

node_list.append("{}:{}".format(host, port))

for item in node_list:

sub_node_list = []

ip, port = item.replace("\n", "").split(":")

node_path = node_path_tpl.format(ip=ip, port=port)

print(node_path)

# 获取所有子节点

# 方法1: 直接返回异常

# try:

# if zk.exists(node_path):

# sub_node_list = zk.get_children(node_path)

# else:

# print("(ne){}".format(node_path))

# except NoNodeError:

# continue

# 方法2: 通过zstat获取

if zk.exists(node_path):

_, state = zk.get(node_path)

if state.numChildren != 0:

sub_node_list = zk.get_children(node_path)

else:

zk.ensure_path(node_path)

# 子节点不为空，删除所有子节点

for sub_item in sub_node_list:

sub_node_path = node_path + "/" + sub_item

print("\t" + sub_node_path)

# zk.delete(sub_node_path, recursive=True)

zk.stop()

zk.close()

python的dict对象update操作的一些收集

2022-03-24 mowkeeperpython

默认的dict.update()在处理dict中包含list/dict对象时候会直接进行替换，不能取并集，在某些场景下不满足需求。针对这一问题，网上有很多讨论的内容，stackoverflow这个帖子比较经典，可以参考 https://stackoverflow.com/questions/3232943/update-value-of-a-nested-dictionary-of-varying […]

python的map和zip

2022-03-19 mowkeeperpython

def map(func: Callable[[_T1], _S], iter1: Iterable[_T1])

map(func, *iterables) --> map object

Make an iterator that computes the function using arguments from each of the iterables. Stops when the shortest iterable is exhausted.

在使用map的时候，如果func只有一个参数，那么iterables直接传递一个list是可行的，但是如果func默认不止一个参数，那么这里传给map的参数需要额外关注，不能直接使用list或者tuple的组合，我们先通过一张图，来直观的看一下map参数的格式：假设func1是我们定义的参数，有4个固定参数。正常调用func1直接 […]

mowblog

一群散乱的记忆

分类：ECW

mysql纵排结果恢复成insert语句

node-exporter无法获取cpu信息的一个案例

prometheus基础部署使用

python模块被import时获取caller的信息进行初始化

vscode不能自动补全import对象的方法

kazoo操作zookeeper基本功能的记录

python的dict对象update操作的一些收集

python的map和zip

2022年11月
一	二	三	四	五	六	日
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30