hush的文章

2021-07-31hush阅读(539)赞(0)

反弹shell方式： 一、首先： 什么是反弹shell？ 反弹shell（reverse shell），就是控制端监听在某TCP/UDP端口，被控端发起请求到该端口，并将其命令行的输入输出转到控制端。reverse shell与telnet...

2021-07-28hush阅读(368)赞(0)

1、引入from scrapy.utils.project import get_project_settings 2、利用get_project_settings()读取settings.py中的属性 在middlewares.py文件中...

2021-07-28hush阅读(372)赞(0)

首先上图：（因为工作原因，项目名需要打码） 由于各方面原因，需要将多个爬虫部署在一起，scrapy可以很好的解决这个问题。 接下来，开始无脑CV大法做实验： 1:创建一个scrapy程序：scraps startproject MySpid...

2021-07-23hush阅读(368)赞(0)

问题：在运行scrapy的过程中，如果想主动退出该怎么做？ 背景：比如说我只要爬取当日的新闻，那么在遍历的时候，如果出现了超过1条不是当日的新闻，那么就不爬取了，就主动退出爬虫，这个时候该怎么做呢？ 代码如下： import scrapy ...

2021-07-22hush阅读(324)赞(0)

1.基于内存的key-value数据库 2.基于c语言编写的，可以支持多种语言的api //set每秒11万次，取get 81000次 3.支持数据持久化 4.value可以是string，hash， list， set, sorted s...

2021-07-22hush阅读(878)赞(2)

1. 问题 今天把 redis 从 3 升级到里 5，我按照常规流程，下载 redis 解压并添加新路径到环境变量，然后删除原有 redis 的环境变量路径，之后打开 conf 文件进行配置； 在准备工作完成后，我使用 redis-serv...

2021-07-22hush阅读(345)赞(0)

scrapy是一个异步的爬虫框架、异步解决的很大的问题就是io方面的操作，当我们爬虫请求到数据后，进行存储(io)的过程，也是需要被处理为异步的。 当然，我们同步的代码也是可以进行使用的，只是存储的速度相对比较慢。 同步代码：需要在sett...

2021-07-21hush阅读(327)赞(0)

yield Request(url=parse.urljoin(response.url, p_url),callback=self.parse_detail) 回调函数不执行： 加上： dont_filter=True参数 yield R...

2021-07-20hush阅读(1229)赞(3)

首先确定自己的Python环境版本，例如Python 3.5、3.6、3.7，甚至2.X等等。 打开PyTorch官网：https://pytorch.org/get-started/locally/ 如上图所示，根据自己的系统、安装工具、...