其他

2022-04-05hush阅读(70)赞(0)

Python 的 import 是非常直观的，但即使这样，有时候你会发现，明明包就在那里，我们仍会遇到 ModuleNotFoundError，明明相对路径非常正确，就是报错 ImportError: attempted relative ...

2022-03-27hush阅读(82)赞(0)

一、文件指针移动 #大前提:文件内指针的移动是Bytes为单位的,唯独t模式下的read读取内容个数是以字符为单位 # f.read(3) # with open('a.txt',mode='rt',encoding='utf-8') as...

2022-01-01hush阅读(134)赞(0)

APScheduler简介 在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time...

2021-12-30hush阅读(135)赞(0)

tqdm模块是python进度条库, 主要分为两种运行模式 基于迭代对象运行: tqdm(iterator) import time from tqdm import tqdm, trange #trange(i)是tqdm(range(i...

2021-12-14hush阅读(326)赞(2)

前言 前两天和隔壁做风控的同学聊天，据说他们经常使用浏览器指纹来识别和标记爬虫（当然具体的细节是不能透露的），联想到我们最近也经常遇到被风控的情况，于是就花了点时间研究下浏览器指纹相关的知识。需要明确的是，“隐藏浏览器指纹”和“隐藏Webd...

2021-12-09hush阅读(148)赞(0)

前言 netifaces是一个非常简单好用的用来获取本机网卡信息的第三方库，如ip地址, MAC地址等等信息，支持Windows, Linux和MacOS. 安装netifaces 采用pip安装法 pip install netiface...

2021-12-08hush阅读(146)赞(0)

1. 背景知识: UUID: 通用唯一标识符 ( Universally Unique Identifier ), 对于所有的UUID它可以保证在空间和时间上的唯一性. 它是通过MAC地址, 时间戳, 命名空间, 随机数, 伪随机数来保证生...

2021-11-27hush阅读(177)赞(0)

前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resque...