各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(三):看图像识选手

Lana ·

更新时间:2024-09-21

· 754 次阅读

各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(一):爬虫选手信息

各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(二):统计并展示数据

各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(三):看图像识选手

各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(四):AI分析谁最容易出道

使用paddlehub

!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
import paddlehub as hub
module = hub.Module(name="resnet_v2_50_imagenet")

hub.Module(name="resnet_v2_50_imagenet")执行出错

---------------------------------------------------------------------------FileNotFoundError                         Traceback (most recent call last) in 
----> 1 module = hub.Module(name="resnet_v2_50_imagenet")
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/module/module.py in __new__(cls, name, directory, module_dir, version)
    142         self._serving_func_name = self._get_func_name(self.__class__,
    143                                                       _module_serving_func)
--> 144         self._directory = directory
    145         self._initialize(**kwargs)
    146         self._is_initialize = True
/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddlehub/module/module.py in init_with_name(cls, name, version)
    200                 break
    201         sys.path.pop(0)
--> 202         return user_module
    203 
    204     @property
FileNotFoundError: [Errno 2] No such file or directory: '/home/aistudio/.paddlehub/cache/resnet_v2_50_imagenet'

找不到模型，终端输入以下命令下载模型

hub install resnet_v2_50_imagenet

在这里插入图片描述

获取所有标签

import numpy as np
\## 读取label
f = open(r"dataset/label_list.txt")
line = f.readline()
label_list = []
while line:
  label_list.append(line.replace("\n",""))
  line = f.readline()
f.close()

爬取图片

主要通过百度图片进行搜索爬取,，使用正则表达式获取所有图片

import re
import requests
from urllib import error
from bs4 import BeautifulSoup
import os
## name:选手名称 basepath:图片下载目录 pn: 百度图片分页参数 pic_num:下载图片数量
def crawl_pic_urls(name,basepath,pn,pic_num):
    pic_urls=[]
    # 数据源主要是通过百度
    url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + name+' 青春有你 高清' + '&pn='
    tmp = url
    num=0
    while num pic_num:
                pic_url=pic_url[0:pic_num]
            down_pic(name,pic_url,basepath)
            num+=len(pic_url)
            pn+=60
        except error.HTTPError as e:
            print('网络错误，请调整网络后重试')
for name in label_list:
    crawl_pic_urls(name,'dataset/train/',0,15)
    crawl_pic_urls(name,'dataset/validate/',0,5)

上面为什么加“青春有你高清”，爬过安崎的图片的都懂

安崎小甜心加油！！！
原创文章 44获赞 61访问量 2万+ 关注私信展开阅读全文
作者：Mark_MMXIX