python 模块
module_time
1548558746.5218766 '2019/1/27 11:13'
计算机能看懂的 (为了进行数据转换) 人能看懂的
时间戳时间 结构化时间 格式化时间
time.time() time.localtime() time.strftime('%Y-%m-%d %H:%M:%S')
时间类型之间的互转：
格式化字符串 --> strptime =结构化时间=> mktime --> 时间戳
时间戳 --> localtime =结构化时间=> strftime --> 格式化字符串
fortmat_string(格式化字符串)
↑ strptime
↑ ↓
strftime ↓
struct_time (结构化时间(元组))
↑ mktime
↑ ↓
localtime|gmtime ↓
timestamp(时间戳(float类型))
# ============格式化时间转为时间戳===============
format_time = '2018-8-8 18:55:20'
# 格式化时间结构化时间
struct_time = time.strptime(format_time,'%Y-%m-%d %H:%M:%S')
# 格式化时间转时间戳
timestamp = time.mktime(struct_time)
print(timestamp)
# ============时间戳转格式化时间===============
timestamp = 60
# 时间戳转结构化时间
struct_time = time.localtime(timestamp)
# 结构化时间转格式化时间
format_time = time.strftime('%Y-%m-%d %H:%M:%S',struct_time)
print(format_time)
时间戳 --> ctime --> 格式化时间
结构化时间 --> asctime --> 格式化时间
练习：
生成随机验证码
发红包module_random
random 取随机数
随机小数：
取0-1之间的小数
random.random()
定义范围
random.uniform(n,m)
随机整数：
random.randint(1,5) 包括1和5
random.randrange(1,5) 顾头不顾尾,可步长
随机从一个列表中取值：
random.choice([1,2,3,('k','j')])
随机从一个列表中取n值：
list = [1,2,3,('k','j'),'a',{'o':5}]
random.sample(list,n)
打乱顺序：(洗牌)
l = list(i for i in range(20))
random.shuffle(l)module_os
文件夹相关的：
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推
os.mkdir('dirname') 生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录,若目录不为空则无法删除,报错；相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
stat 结构:
st_mode: inode 保护模式
st_ino: inode 节点号。
st_dev: inode 驻留的设备。
st_nlink: inode 的链接数。
st_uid: 所有者的用户ID。
st_gid: 所有者的组ID。
st_size: 普通文件以字节为单位的大小；包含等待某些特殊文件的数据。
st_atime: 上次访问的时间。
st_mtime: 最后一次修改的时间。
st_ctime: 由操作系统报告的"ctime"。在某些系统上（如Unix）是最新的元数据更改的时间,在其它系统上（如Windows）是创建时间（详细信息参见平台的文档）。
os.system("bash command") 运行shell命令,直接显示,无返回值
os.popen("bash command").read() 运行shell命令,获取执行结果,需要返回值,用这个
os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd
路径相关的：
os.path
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在,返回True；如果path不存在,返回False
os.path.isabs(path) 如果path是绝对路径,返回True
os.path.isfile(path) 如果path是一个存在的文件,返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录,则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后访问时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path) 返回path的大小module_sys
sys模块适合python 解释器打交道的
sys.argv 命令行参数List，第一个元素是程序本身路径
sys.exit(n) 退出程序，正常退出时exit(0),错误退出sys.exit(1)
sys.version 获取Python解释程序的版本信息
sys.path 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform 返回操作系统平台名称module_序列化
json
如果你是要跨平台沟通，那么推荐使用json
key只能是字符串
不能多次load和dump
支持的数据类型有限
pickle
如果你是只在python程序之间传递消息，并且要传递的消息是比较特殊的数据类型
处理文件的时候 rb/wb
支持多次dump/load
json序列化
序列 ： list str tuple byte
狭义的序列 ：str / bytes
序列化？把。。。变得有序，把。。。变成str或者是bytes
反序列化？把str/bytes 还原回原来的 。。。
json
json.dumps 序列化方法
json.loads 反序列化方法
特性：json能支持的数据类型非常有限，字符串 数字 列表 字典
坑1：json格式规定所有的key必须是字符串数据类型
dic = {1:2}
ret = json.dumps(dic)
print(dic[1])
print(ret)
new_dic = json.loads(ret)
print(new_dic)
坑2 ： json中的所有tuple都会被当作list处理
dic = {1:(1,2,3)}
ret = json.dumps(dic)
print(ret)
new_dic = json.loads(ret)
print(new_dic)
dumps loads 字符串 和 其他基础数据类型之间转换
dump load 文件 和 其他基础数据类型之间转换
dic = {"key":"value"}
# 直接转换字典到字符串写入文件中
with open('json_file2','w') as f:
json.dump(dic,f)
# 直接读出来就是字典
with open('json_file2') as f:
ret = json.load(f)
print(ret['key'])
pickle序列化
pickle
1.支持几乎所有python中的数据类型
2.只在python语言中通用
3.pickle适合bytes类型打交道的
# dumps 把数据类型转换为bytes
s = {(1,2,3):2,3:4}
result = pickle.dumps(s) # 将字典转换为bytes
with open('pickle_file','wb') as f:
f.write(result)
# loads把bytes转换为原来的数据类型
with open('pickle_file','rb') as f:
content = f.read()
ret = pickle.loads(content) # 转换为原来的字典
# dump 可以支持多个对象放入文件
s1 = {1,2,3}
s2 = {1:2,3:4}
with open('pickle_file2','wb') as f:
pickle.dump(s1,f)
pickle.dump(s2,f)
# 使用load 把所有行取出来 转换为原来的数据类型
with open('pickle_file2','rb') as f:
while True:
try:
content = pickle.load(f)
print(content)
except EOFError:
breakmodule_hashlib
import hashlib
################################### 简单使用
md5=hashlib.md5()
md5.update(b"12345678")
print(md5.hexdigest())
print(len(md5.hexdigest()))
################################### 迭代使用
sha256=hashlib.sha256()
sha256.update(b"hello")
sha256.update(b"yuan")
print(sha256.hexdigest()) # d843cc930aa76f7799bba1780f578439
##################################### 加盐操作
sha256=hashlib.sha256("salt".encode("utf8"))
sha256.update(b"hello")
sha256.update(b"yuan")
print(sha256.hexdigest()) # 32969d77ae4b0c01c24873abb7f073d69453ddadbf6e31b11564a4490a9ccac8
module_logging
默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG），默认的日志格式为日志级别：Logger名称：用户输出消息。函数式用法
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='/tmp/test.log',
filemode='w')
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')配置参数：
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有：
filename：用指定的文件名创建FiledHandler，这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。
format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息
############################# logger对象用法
def get_logger():
import logging
# 1 创建logger对象
logger = logging.getLogger()
# 创建流对象：文件流fh，屏幕流ch
# 创建一个handler，用于写入日志文件
fh = logging.FileHandler('test.log')
# 再创建一个handler，用于输出到控制台
ch = logging.StreamHandler()
# # 设置级别
from logging import WARNING, DEBUG, INFO, ERROR
logger.setLevel(DEBUG)
ch.setLevel(ERROR)
# 3 创建格式对象
formatter = logging.Formatter('%(asctime)s --- %(message)s')
formatter2 = logging.Formatter('%(asctime)s --%(levelname)s- %(message)s')
# 4 流对象添加格式对象
fh.setFormatter(formatter)
ch.setFormatter(formatter2)
# 5 logger对象添加流对象
logger.addHandler(fh) # logger对象可以添加多个fh和ch对象
logger.addHandler(ch)
return logger
# 6 使用logger对象进行日志打印
logger=get_logger()
logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')logging库提供了多个组件：Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口，Handler发送日志到适当的目的地，Filter提供了过滤日志信息的方法，Formatter指定日志显示格式。另外，可以通过：logger.setLevel(logging.Debug)设置级别,当然，也可以通过
fh.setLevel(logging.Debug)单对文件流设置某个级别。module_re
module_re
search 只取一个，需要group取
ret=re.search(正则,字符串)
ret.group()
findall 取所有
ret = re.findall(正则,字符串)
compile 节省时间 一条正则表达式用多次
finditer 节省空间 结果的条数很多的时候
分组遇到findall，优先显示分组中匹配到的内容
ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) ## ['oldboy']
取消优先：
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) ## ['www.oldboy.com']正则表达式
正则表达式
正则表达式 --> 字符串规则匹配的
1.判断某一个字符串是否符合规则
2.从一段文字中提取出符合规则的内容
# 身份证号
# ^([1-9]\d{16}[\dx]|[1-9]\d{14})$
# ^[1-9]\d{14}(\d{2}[\dx])?$
| 字符 | 描述 |
|---|---|
| \d | 数字 |
| \D | 非数字 |
| \w | 数字字母下划线 |
| \W | 非数字字母下划线 |
| \s | space enter table space |
| \S | 非空白 |
| \t | table |
| \n | 回车 |
| ^ | 一个字符串的开始 |
| $ | 一个字符串的结尾 |
| ^xxxx$ | 约束的了整个字符串中的内容必须一一与表达式对应上 |
| | | 表示或 |
| () | 分组 # a( b|c )d |
| . | 表示除了换行符以外的任意字符 |
| [ ] | 匹配字符组中的字符 |
| [^ABC] | 非字符组 |
| {n} | 在这个量词前面的一个元字符出现n次 |
| {n,} | 在这个量词前面的一个元字符出现n次或n次以上 |
| {n,m} | 在这个量词前面的一个元字符出现n次到m次以上 |
| ? | 出现0次或者1次 |
| + | 出现1次或者多次 |
| * | 出现0次或者多次 |
更多精彩
