数据清洗之 数据库文件读写
数据库文件读写
使用sqlalchemy建立连接
需要知道数据库的相关参数，如数据库IP地址、用户名和密码等
通过pandas种read_sql 函数读入，读取完以后是dataframe格式
通过dataframe的to_sql方法保存
数据库连接
conn = create_engine(‘mysql+pymysql://user:password@IP:3306/db’)
user: 用户名
password: 密码
IP: 服务器IP，本地电脑用localhost
3306: 默认端口号
db: 数据库名称
作者：若尘
import pandas as pd
import pymysql
from sqlalchemy import create_engine
conn = create_engine('mysql+pymysql://root:root@localhost:3306/data_test')
# 读取数据库内容
sql = 'select * from qidianreader'
df1 = pd.read_sql(sql, con=conn)
df1.head(5)
| id | title | href | author | infos | |
|---|---|---|---|---|---|
| 0 | 1 | 庆帝番外 | https://book.qidian.com/info/1017372661 | 祝家大郎 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 1 | 2 | 宋北云 | https://book.qidian.com/info/1018027097 | 伴读小牧童 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 2 | 3 | 美漫之超人 | https://book.qidian.com/info/1018978566 | 白蘸糖 | 星海漫游，时空穿梭，机械科技，目标是未知的星辰大海！ |
| 3 | 4 | 李朝万古一逆贼 | https://book.qidian.com/info/1015407245 | 秽多非人 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 4 | 5 | 废土修真的日常 | https://book.qidian.com/info/1016234812 | 枯玄 | 热血的少年，为打破次元壁一往无前！ |
def query(table):
host = 'localhost'
user = 'root'
password = 'root'
database = 'db_qidian'
port = 3306
conn = create_engine('mysql+pymysql://{}:{}@{}:{}/{}'.format(user, password, host, port, database))
sql = 'select * from ' + table
result = pd.read_sql(sql, con=conn)
return result
df2 = query('qidianreader')
df2.head(10)
| id | title | href | author | infos | |
|---|---|---|---|---|---|
| 0 | 1 | 庆帝番外 | https://book.qidian.com/info/1017372661 | 祝家大郎 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 1 | 2 | 宋北云 | https://book.qidian.com/info/1018027097 | 伴读小牧童 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 2 | 3 | 美漫之超人 | https://book.qidian.com/info/1018978566 | 白蘸糖 | 星海漫游，时空穿梭，机械科技，目标是未知的星辰大海！ |
| 3 | 4 | 李朝万古一逆贼 | https://book.qidian.com/info/1015407245 | 秽多非人 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 4 | 5 | 废土修真的日常 | https://book.qidian.com/info/1016234812 | 枯玄 | 热血的少年，为打破次元壁一往无前！ |
| 5 | 6 | 重生写推理小说 | https://book.qidian.com/info/1016350338 | 别人家的小猫咪 | 重生过去、畅想未来、梦幻现实，再塑传奇人生！ |
| 6 | 7 | 日本战国走一遭 | https://book.qidian.com/info/1012757932 | 秽多非人 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
| 7 | 8 | 西游里会穿越的猴 | https://book.qidian.com/info/1018166616 | 妖怪的影子 | 修仙觅长生，热血任逍遥，踏莲曳波涤剑骨，凭虚御风塑圣魂！ |
| 8 | 9 | 我一不小心就僵了 | https://book.qidian.com/info/1018205919 | 巫九 | 考古探险、鉴宝收藏，侦探推理、诡秘分析，戏说传承古今中外的民间悬疑文化！ |
| 9 | 10 | 我真是大昏君 | https://book.qidian.com/info/1017587444 | 样样稀松 | 醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！ |
import os
os.getcwd()
'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之文件读写'
os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据')
df = pd.read_csv('baby_trade_history.csv')
try:
df.to_sql('testdf', con=conn, index=False, if_exists='replace')
except:
print('error')
作者：若尘
