一、orm框架简介
- 简单性:以最基本的形式建模数据。
- 传达性:数据库结构被任何人都能理解的语言文档化。
- 精确性:基于数据模型创建正确标准化了的结构。
面向对象是从软件工程基本原则(如耦合、聚合、封装)的基础上发展起来的,而关系数据库则是从数学理论发展而来的,两套理论存在显著的区别。为了解决这个不匹配的现象,对象关系映射技术应运而生。O/R中字母O起源于"对象"(Object),而R则来自于"关系"(Relational)。几乎所有的程序里面,都存在对象和关系数据库。在业务逻辑层和用户界面层中,我们是面向对象的。当对象信息发生变化的时候,我们需要把对象的信息保存在关系数据库中。
当开发一个应用程序的时候(不使用O/R Mapping),可能会写不少数据访问层的代码,用来从数据库保存,删除,读取对象信息,等等。在DAL中写了很多的方法来读取对象数据,改变状态对象等等任务。而这些代码写起来总是重复的。
如果打开你最近的程序,看看DAL代码,肯定会看到很多近似的通用的模式。我们以保存对象的方法为例,传入一个对象,为SqlCommand对象添加SqlParameter,把所有属性和对象对应,设置SqlCommand的CommandText属性为存储过程,然后运行SqlCommand。对于每个对象都要重复的写这些代码。除此之外,还有更好的办法吗?有,引入一个O/R Mapping。实质上,一个O/R Mapping会为你生成DAL。与其自己写DAL代码,不如用O/R Mapping。用O/R Mapping保存,删除,读取对象,O/R Mapping负责生成SQL,你只需要关心对象就好。对象关系映射成功运用在不同的面向对象持久层产品中。
- 一个对持久类对象进行CRUD操作的API;
- 一个语言或API用来规定与类和类属性相关的查询;
- 一个规定mapping metadata的工具;
- 一种技术可以让ORM的实现同事务对象一起进行dirty checking, lazy association fetching以及其他的优化操作;
3、ORM把关系数据库的表结构映射到对象上,我们先来看一个例子:
如果我们从数据库查出来几条数据,需要你在python中表示出来,如果你没有接触过ORM技术,你或许会使用下面的形式来存储这个数据:
[ (1, 'feng'), (2, 'shang'), (3, 'huo'), ]
如果你想知道表结构是什么样的,是不是就费劲了,如果你想快速的取出其中的元素,就需要听听ORM的思想了。
数据库中每次查出来的数据都用一个类表示,这个类的属性和数据库中表的字段一一对应。多条数据,就是一个list,每一行数据都是一个类来表示,如下所示:
class User(object): def __init__(self, id, name): self.id = id self.name = name [ User(1, "feng"), User(2, "shang"), User(3, "huo"), ]
当我们需要获得id,或者name的时候,只需要通过循环获取到对象,直接通过user1.id或者user1.name就可以获取到id和name的属性。并且使得数据的存取非常的规范,这样ORM架构应运而生。
二、SQLAlchemy介绍
Python中最有名的ORM架构就是SQLAlchemy,我们主要来学习SQLAlchemy的使用。
1、安装
pip install sqlalchemy
2、创建数据表
# ORM中的数据表是什么呢? # Object Relation Mapping # Object - Table 通过 Object 去操纵数据表 # 从而引出了我们的第一步创建数据表 - 创建Object # 1. 创建Object # class User(object): # pass # 2. 让Object与数据表产生某种关系 也就是让Object与数据表格式极度相似 # 导入官宣基础模型 from sqlalchemy.ext.declarative import declarative_base # 实例化官宣模型 - Base 就是 ORM 模型 Base = declarative_base() # 当前的这个Object继承了Base也就是代表了Object继承了ORM的模型 class User(Base): # 相当于 Django Models中的 Model # 为Table创建名称 __tablename__ = "user" # 创建ID数据字段 , 那么ID是不是一个数据列呢? 也就是说创建ID字段 == 创建ID数据列 from sqlalchemy import Column,Integer,String # id = Column(数据类型,索引,主键,外键,等等) # int == Integer id = Column(Integer,primary_key=True,autoincrement=True) # str == char(长度) == String(长度) name = Column(String(32),index=True) # 3.去数据库中创建数据表? or 先连接数据库? # 3.去连接数据库 创建数据引擎 from sqlalchemy import create_engine # 创建的数据库引擎 engine = create_engine("mysql+pymysql://root:[email protected]:3306/wll?charset=utf8") # mysql+pymysql:指定是哪种数据库连接 # root:用户名 # 123456:root用户对应的密码 # 127.0.0.1:3306:数据库的ip和端口号 # wll:连接的数据库的名字 # charset=utf8:数据库字符集 # Base 自动检索所有继承Base的ORM 对象 并且创建所有的数据表 Base.metadata.create_all(engine)
3、增删改查操作
3.1、添加数据
# insert 为数据表增加数据 # insert One 增加一行数据 # insert into user(name) values ("张三") # 在ORM中的操作: # 1.首先导入之间做好的ORM 对象 User from my_create_table import User # 2.使用Users ORM模型创建一条数据 user1 = User(name="张三") # 数据已经创建完了,但是需要写入到数据库中啊,怎么写入呢? # 3.写入数据库: # 首先打开数据库会话 , 说白了就是创建了一个操纵数据库的窗口 # 导入 sqlalchemy.orm 中的 sessionmaker from sqlalchemy.orm import sessionmaker # 导入之前创建好的 create_engine from my_create_table import engine # 创建 sessionmaker 会话对象,将数据库引擎 engine 交给 sessionmaker Session = sessionmaker(engine) # 打开会话对象 Session db_session = Session() # 在db_session会话中添加一条 UserORM模型创建的数据 db_session.add(user1) # 使用 db_session 会话提交 , 这里的提交是指将db_session中的所有指令一次性提交 db_session.commit() db_session.close() # 关闭会话 # 当然也你也可很任性的提交多条数据 # 方法一: user2 = User(name="李四") user3 = User(name="王五") db_session.add(user2) db_session.add(user3) db_session.commit() # 之前说过commit是将db_session中的所有指令一次性提交,现在的db_session中至少有两条指令user2和user3 db_session.close() # 如果说你觉得方法一很麻烦,那么方法二一定非常非常适合你 # 方法二: user_list = [ User(name="小明"), User(name="小红"), User(name="小兰") ] db_session.add_all(user_list) # add_all方法中传入可迭代对象,可一次性添加多条数据 db_session.commit() db_session.close()
3.2、查询数据
# ORM操作查询数据 # 有了刚才Insert增加数据的经验,那么查询之前的准备工作,就不用再重复了吧 # 回想一下刚才Insert时我们的操作 from my_create_table import User, engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() # 1. select * from user 查询user表中的所有数据 # 语法是这样的 使用 db_session 会话 执行User表 query(User) 取出全部数据 all() user_all_list = db_session.query(User).all() print(user_all_list) # [<my_create_table.User object at 0x0000016D7C4BCDD8>, ......] # 如何查看user_all_list其中的数据呢? 循环呗 for obj in user_all_list: print(obj.id, obj.name) # ORM对象 直接使用调用属性的方法 拿出对应字段的值 db_session.close() # 关闭会话 # 2. select * from user where id >= 5 # 语法是这样的 使用 db_session 会话 执行User表 query(User) 筛选内容User.id >=20 的数据全部取出 all() user_all_list = db_session.query(User).filter(User.id >= 5).all() print(user_all_list) for obj in user_all_list: print(obj.id, obj.name) db_session.close() # 关闭会话 # 3. 除了取出全部还可以只取出一条,不用循环,直接通过调用属性方法得到字段值 user = db_session.query(User).filter(User.id >= 5).first() print(user.id, user.name) db_session.close() # 关闭会话 # 4. 乌龙 之 忘了取出数据...... wulong1 = db_session.query(User).filter(User.id >= 5) print(wulong1) # SELECT user.id AS user_id, user.name AS user_name # FROM user # WHERE user.id >= %(id_1)s # 我忘了取出数据了!!!哎? wulong1给我显示了原生SQL语句,因祸得福了 wulong2 = db_session.query(User) print(wulong2) # SELECT user.id AS user_id, user.name AS user_name # FROM user # 我又忘了取出数据了!!! 哎? wulong2给我显示了原生SQL语句,因祸得福了 db_session.close() # 关闭会话
3.3、修改数据
# ORM更新数据 # 无论是更新还是删除,首先要做的事情,就应该是查询吧 # 根据之前原有的经验,接下来是不是要导入ORM对象了,是不是要创建db_session会话了 from my_create_table import User,engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() # UPDATE user SET name="NB李四" WHERE id=2 更新一条数据 # 语法是这样的 : # 使用 db_session 执行User表 query(User) 筛选 User.id = 2 的数据 filter(User.id == 2) # 将name字段的值改为"NB李四" update({"name":"NB李四"}) res = db_session.query(User).filter(User.id == 2).update({"name":"NB李四"}) print(res) # 1 res就是我们当前这句更新语句所更新的行数 # 注意注意注意 # 这里一定要将db_session中的执行语句进行提交,因为你这是要对数据中的数据进行操作 # 数据库中 增 改 删 都是操作,也就是说执行以上三种操作的时候一定要commit db_session.commit() db_session.close() # 更新多条 res = db_session.query(User).filter(User.id <= 3).update({"name":"NB李四"}) print(res) # 3 res就是我们当前这句更新语句所更新的行数 db_session.commit() db_session.close()
3.4、删除数据
# ORM 删除一条多条数据 # 老规矩 # 导入 ORM 创建会话 from my_create_table import User,engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() # DELETE FROM `user` WHERE id=2 res = db_session.query(User).filter(User.id==2).delete() print(res) # 1 res表示执行此语句更改的数据行数 db_session.commit() # 删除操作记得commit db_session.close() # 关闭会话
3.5、高级查询数据操作
# 高级版查询操作,厉害了哦 # 老规矩 from my_create_table import User, engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() # 查询数据表操作 # and or from sqlalchemy.sql import and_ , or_ ret = db_session.query(User).filter(and_(User.id > 3, User.name == '小红')).all() print(ret) # [<my_create_table.User object at 0x000001E2D67DCCF8>] ret = db_session.query(User).filter(or_(User.id < 2, User.name == '小红')).all() print(ret) # [<my_create_table.User object at 0x000001E2D67DCCF8>] # 查询数据 指定查询数据列 加入别名映射 name as username r2 = db_session.query(User.name.label('username'), User.id).first() print(r2.id, r2.username) # 这里要写别名"username"了 # 表达式筛选条件 r3 = db_session.query(User).filter(User.name == "小兰").all() print(r3) # [<my_create_table.User object at 0x0000024985DD0128>] # 原生SQL筛选条件 r4 = db_session.query(User).filter_by(name='王五').all() r5 = db_session.query(User).filter_by(name='王五').first() print(r4) # [<my_create_table.User object at 0x0000026545B9D3C8>] print(r5) # <my_create_table.User object at 0x0000026545B9D3C8> # 字符串匹配方式筛选条件 并使用 order_by进行排序 from sqlalchemy.sql import text r6 = db_session.query(User).filter(text("id<:value and name=:name")).params(value=10, name='小红').order_by(User.id).all() print(r6) # [<my_create_table.User object at 0x0000028C032ABDD8>] #原生SQL查询 r7 = db_session.query(User).from_statement(text("SELECT * FROM User where name=:name")).params(name='DragonFire').all() print(r7) # [<my_create_table.User object at 0x0000028C032ABDD8>] # 筛选查询列 # query的时候我们不再使用User ORM对象,而是使用User.name来对内容进行选取 user_list = db_session.query(User.name).all() print(user_list) # [('NB李四',), ('何炅',), ('孙红雷',), ('小兰',), ('小红',), ......] for row in user_list: print(row.name) # 排序 : user_list = db_session.query(User).order_by(User.id).all() # 默认升序 # 也可以使用 asc() 方法升序 user_list = db_session.query(User).order_by(User.id.desc()).all() # 根据id降序 for row in user_list: print(row.name,row.id) # 其他查询条件 """ ret = session.query(User).filter_by(name='DragonFire').all() ret = session.query(User).filter(User.id > 1, User.name == 'DragonFire').all() ret = session.query(User).filter(User.id.between(1, 3), User.name == 'DragonFire').all() # between 大于1小于3的 ret = session.query(User).filter(User.id.in_([1,3,4])).all() # in_([1,3,4]) 只查询id等于1,3,4的 ret = session.query(User).filter(~User.id.in_([1,3,4])).all() # ~xxxx.in_([1,3,4]) 查询不等于1,3,4的 ret = session.query(User).filter(User.id.in_(session.query(User.id).filter_by(name='DragonFire'))).all() 子查询 from sqlalchemy import and_, or_ ret = session.query(User).filter(and_(User.id > 3, User.name == 'DragonFire')).all() ret = session.query(User).filter(or_(User.id < 2, User.name == 'DragonFire')).all() ret = session.query(User).filter( or_( User.id < 2, and_(User.name == 'eric', User.id > 3), User.extra != "" )).all() # select * from User where id<2 or (name="eric" and id>3) or extra != "" # 通配符 ret = db_session.query(User).filter(User.name.like('e%')).all() ret = db_session.query(User).filter(~User.name.like('e%')).all() # 限制 ret = db_session.query(User)[1:2] # 排序 ret = db_session.query(User).order_by(User.name.desc()).all() ret = db_session.query(User).order_by(User.name.desc(), User.id.asc()).all() # 分组 from sqlalchemy.sql import func ret = db_session.query(User).group_by(User.extra).all() ret = db_session.query( func.max(User.id), func.sum(User.id), func.min(User.id)).group_by(User.name).all() ret = db_session.query( func.max(User.id), func.sum(User.id), func.min(User.id)).group_by(User.name).having(func.min(User.id) >2).all() """ db_session.close() # 关闭连接
3.6、高级修改数据操作
#高级版更新操作 from my_create_table import User,engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() #直接修改 db_session.query(User).filter(User.id > 0).update({"name" : "099"}) #在原有值基础上添加 - 1 db_session.query(User).filter(User.id > 0).update({User.name: User.name + "099"}, synchronize_session=False) #在原有值基础上添加 - 2 db_session.query(User).filter(User.id > 0).update({"age": User.age + 1}, synchronize_session="evaluate") db_session.commit()
4、一对多的操作:ForeignKey
4.1、创建数据表及关系relationship
from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() # 这次我们要多导入一个 ForeignKey 字段了,外键关联对了 from sqlalchemy import Column, Integer, String, ForeignKey # 还要从orm 中导入一个 relationship 关系映射 from sqlalchemy.orm import relationship class ClassTable(Base): __tablename__="classtable" id = Column(Integer, primary_key=True) name = Column(String(32), index=True) class Student(Base): __tablename__="student" id = Column(Integer, primary_key=True) name = Column(String(32), index=True) # 关联字段,让class_id 与 class 的 id 进行关联,主外键关系(这里的ForeignKey一定要是表名.id不是对象名) class_id = Column(Integer, ForeignKey("classtable.id")) # 将student 与 classtable 创建关系 这个不是字段,只是关系,backref是反向关联的关键字 stu2class = relationship("ClassTable", backref="class2stu") from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://root:[email protected]:3306/wll?charset=utf8") Base.metadata.create_all(engine)
4.2、基于relationship添加数据
from my_ForeignKey import Student, ClassTable, engine # 创建连接 from sqlalchemy.orm import sessionmaker # 创建数据表操作对象 sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 增加数据 # 1.简单增加数据 # 添加两个班级: db_session.add_all([ ClassTable(name="OldBoyS1"), ClassTable(name="OldBoyS2") ]) db_session.commit() # 添加一个学生 "孙红雷" 班级是 OldBoyS1 # 查询要添加到的班级 class_obj = db_session.query(ClassTable).filter(ClassTable.name == "OldBoyS1").first() # 创建学生 stu = Student(name="孙红雷",class_id = class_obj.id) db_session.add(stu) db_session.commit() # 2. relationship版 正向添加数据 # 通过关系列 stu2class 可以做到两件事 # 第一件事 在ClassTable表中添加一条数据 # 第二件事 在Student表中添加一条数据并将刚刚添加的ClassTable的数据id填写在Student的class_id中 stu_cla = Student(name="黄渤", stu2class=ClassTable(name="OldBoyS3")) db_session.add(stu_cla) db_session.commit() # 3.relationship版 反向添加数据 # 首先建立ClassTable数据 class_obj = ClassTable(name="OldBoyS4") # 通过class_obj中的反向关联字段backref - class2stu # 向 Student 数据表中添加 2条数据 并将 2条数据的class_id 写成 class_obj的id class_obj.class2stu = [Student(name="BMW"),Student(name="Audi")] db_session.add(class_obj) db_session.commit() db_session.close() # 关闭连接
4.3、基于relationship查询数据
from my_ForeignKey import Student, ClassTable, engine from sqlalchemy.orm import sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 1.查询所有数据,并显示班级名称,连表查询 student_list = db_session.query(Student).all() for stu in student_list: # stu.stu2class.name 通过Student对象中的关系字段relationship stu2class 获取关联 ClassTable中的name print(stu.name, stu.stu2class.name, stu.class_id) # 孙红雷 OldBoyS1 1 # 黄渤 OldBoyS3 3 # BMW OldBoyS4 4 # Audi OldBoyS4 4 # 2.反向查询 class_list = db_session.query(ClassTable).all() for cla in class_list: for stu in cla.class2stu: print(cla.name, stu.name) # cla.class2stu 通过 backref 中的 class2stu 反向关联到 Student 表中根据ID获取name # OldBoyS1 孙红雷 # OldBoyS3 黄渤 # OldBoyS4 BMW # OldBoyS4 Audi db_session.close()
4.4、更新数据
from my_ForeignKey import Student, ClassTable, engine from sqlalchemy.orm import sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 更新 class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first() db_session.query(Student).filter(Student.class_id == class_obj.id).update({"name":"孙雷雷"}) db_session.commit() db_session.close()
4.5、删除数据
from my_ForeignKey import Student, ClassTable,engine from sqlalchemy.orm import sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 删除 class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first() db_session.query(Student).filter(Student.class_id == class_obj.id).delete() db_session.commit() db_session.close()
5、多对多的操作:ManyToMany
5.1、创建表及关系
from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() from sqlalchemy import Column,Integer,String,ForeignKey from sqlalchemy.orm import relationship class Girl(Base): __tablename__="girl" id = Column(Integer, primary_key=True) name = Column(String(32), index=True) # 创建关系 girl2boy = relationship("Boy", secondary="hotel", backref="boy2girl") class Boy(Base): __tablename__="boy" id = Column(Integer, primary_key=True) name = Column(String(32), index=True) class Hotel(Base): __tablename__="hotel" id = Column(Integer, primary_key=True) girl_id = Column(Integer, ForeignKey("girl.id")) boy_id = Column(Integer, ForeignKey("boy.id")) from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://root:[email protected]:3306/wll?charset=utf8") Base.metadata.create_all(engine)
5.2、基于relationship添加数据
from my_M2M import Girl,Boy,Hotel,engine # 创建连接 from sqlalchemy.orm import sessionmaker # 创建数据表操作对象 sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 1.通过Boy添加Girl和Hotel数据 反向 boy_obj = Boy(name="DragonFire") boy_obj.boy2girl = [Girl(name="赵丽颖"),Girl(name="Angelababy")] db_session.add(boy_obj) db_session.commit() db_session.close() # 2.通过Girl添加Boy和Hotel数据 正向 girl_obj = Girl(name="珊珊", girl2boy=[Boy(name="钢蛋儿"), Boy(name="粪球儿")]) db_session.add(girl_obj) db_session.commit() db_session.close()
5.3、基于relationship查询数据
from my_M2M import Girl,Boy,Hotel,engine # 创建连接 from sqlalchemy.orm import sessionmaker # 创建数据表操作对象 sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 1.通过Boy查询约会过的所有Girl boys = db_session.query(Boy).all() for boy in boys: for girl in boy.boy2girl: print(boy.name, girl.name) # 2.通过Girl查询约会过的所有Boy girls = db_session.query(Girl).all() for girl in girls: for boy in girl.girl2boy: print(girl.name, boy.name)