前言

最近遇到一个将线上的redis数据同步到本地开发环境，想着直接用Python小脚本的方式直接同步就好了。线上是zadd有序集合的数据，习惯性的将平时在shell交互环境方式写。(如下)

# shell交互方式zadd数据
ZADD key score member

# 本次在Python脚本方式写的(错误情况)
online = redis.Redis(host="ip", port="端口")
local = redis.Redis(host="ip", port="端口")
local_pip = local.pipeline()
local_pip.zadd(key, score, member)  // 错误示范

阅读全文

前言

最近在用Python2脚本处理一些业务，遇到请求结果转成json数据，但是很不幸运出现如下报错信息(但是在Python3中不会出现有)：

UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5 in position 108: ordinal not in range(128)

阅读全文

前言

前段时间，报名个软件设计师考试，自然需要复习嘛，看到软考在线这个平台有历年来的题目以及答案，想法就是做一个题库小程序咯，随时随地可以打开复习。很多人问，这不出现很多类似的小程序了？是的，但是他们的要不需要付费，要不一大堆广告，这激发我自己做一个小程序的想法。

阅读全文

前言

对于图片下载，在scrapy框架中提供了专门下载的Pipeline，即ImagesPipeline这个是定义好的。但是对于我们来说，他的局限性很大，所以基本上我们需要重写一个Pipeline。怎么局限性？
内置的ImagesPipeline会默认读取Item的image_urls字段，并认为该字段是一个列表形式，它会遍历Item的image_urls字段，然后取出每个URL进行图片下载。而我们业务逻辑往往不是这样。

阅读全文

前言

对于数据存储，通常情况下存入MySQL或者MongoDB两种数据存储。下面主要以MySQL为例子。再scrapy中有一个叫Pipeline(管道)，scrapy对于爬数据的分工很明确，爬虫部分、数据定义部分、管道部分。管道部分主要实现对爬取的数据流进行后期存储或者清洗等等。

阅读全文