MENU

分类 Python 下的文章

Python与redis数据交互的坑

前言

最近遇到一个将线上的redis数据同步到本地开发环境,想着直接用Python小脚本的方式直接同步就好了。线上是zadd有序集合的数据,习惯性的将平时在shell交互环境方式写。(如下)

# shell交互方式zadd数据
ZADD key score member

# 本次在Python脚本方式写的(错误情况)
online = redis.Redis(host="ip", port="端口")
local = redis.Redis(host="ip", port="端口")
local_pip = local.pipeline()
local_pip.zadd(key, score, member)  // 错误示范

阅读全文

基于Python、scrapy爬取软考在线题库

前言

前段时间,报名个软件设计师考试,自然需要复习嘛,看到软考在线这个平台有历年来的题目以及答案,想法就是做一个题库小程序咯,随时随地可以打开复习。很多人问,这不出现很多类似的小程序了?是的,但是他们的要不需要付费,要不一大堆广告,这激发我自己做一个小程序的想法。

阅读全文

scrapy值图片下载管道以及保存本地

前言

对于图片下载,在scrapy框架中提供了专门下载的Pipeline,即ImagesPipeline这个是定义好的。但是对于我们来说,他的局限性很大,所以基本上我们需要重写一个Pipeline。怎么局限性?
内置的ImagesPipeline会默认读取Item的image_urls字段,并认为该字段是一个列表形式,它会遍历Item的image_urls字段,然后取出每个URL进行图片下载。而我们业务逻辑往往不是这样。

阅读全文

scrapy数据入库处理

前言

对于数据存储,通常情况下存入MySQL或者MongoDB两种数据存储。下面主要以MySQL为例子。再scrapy中有一个叫Pipeline(管道),scrapy对于爬数据的分工很明确,爬虫部分、数据定义部分、管道部分。管道部分主要实现对爬取的数据流进行后期存储或者清洗等等。

阅读全文