Python 3爬虫爬取煎蛋网图片 100%能用字符串查找不用正则表达式

Ophira ·

更新时间:2024-09-21

· 675 次阅读

跟着小甲鱼的视频做了一个爬虫，可惜小甲鱼的视频已经是很久以前的了，所以程序已经不能用了
于是做的第一个爬虫就遇上了硬茬儿，各种修改之后，终于做成功了一个完整的可用的程序

不过也算是邪恶了一把。。。技术本无罪~~~

爬了几页的照片下来还是很赏心悦目的~送给你们
在这里插入图片描述

话不多说，直接上代码：

import urllib.request
import os
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0\
                   (Macintosh; Intel Mac OSX10_14_2) AppleWebKit/537.36(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return  html
def get_page(url): #找到下一个页面的网址
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page')+23
    c = html.find('<a href=',a)
    d = html.find('comments',a)
    next_page = html[c+9:d+8]
    return next_page
def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []
    a = html.find('img src=')
    while a !=-1:
        b = html.find('.jpg',a,a+255)
        if b!= -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    return img_addrs
def save_imgs(folder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open('http:'+each)
            f.write(img)
def download_mm(folder = 'ooxx', pages = 10):
    if  not os.path.exists(folder):
        os.mkdir(folder)
    os.chdir(folder)
    url = 'http://jandan.net/ooxx/'
    for i in range(10):
        next_page= get_page(url)
        page_url = 'http:'+next_page
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)
        url = page_url
if __name__ == '__main__':
    download_mm()

基本的结构框架也就是：请求网页源代码–>通过正则字符串查找相应的图片地址返回一个列表–>将列表中所有地址中的内容全部写入一个文件夹。。

如果你觉得帮到你了，请留下宝贵在赞~~~
如果有问题也可以随时交流

作者：倚剑天客

爬虫字符串煎蛋网字符串查找图片正则正则表达式 Python 字符