随着信息化程度的不断提高,数据库已经成为了企业管理和应用系统重要的支撑平台。数据库设计是创建一个结构化数据的过程,其目的是为应用程序提供确定和有组织的数据访问协议。是指在进行数据库设计时必须考虑的一些基本原则和关键步骤。
哈密ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联建站的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:028-86922220(备注:SSL证书合作)期待与您的合作!
1. 数据库架构设计
数据库架构是数据库设计中最基础的一个概念,它是指数据库系统在逻辑上的整体结构和组成方式。在一个大型企业系统中,数据库可能会包含成百上千个表,因此必须按照逻辑层次结构将数据组织成多个子系统。这样设计可以降低数据之间的耦合度,因此是保证系统稳定性和可维护性的重要手段。
2. 数据模型设计
在数据库设计过程中,数据模型设计是更具有实际意义的一个环节。数据模型是指数据结构的图形或符号表示,它将数据和数据之间的关系以一种抽象化的方式表示出来。数据模型是数据库设计的基础,因为一个好的数据模型可以有效地表达数据之间的关系,从而使得数据库更加易于使用和管理。
3. 数据库范式设计
范式是数据库设计中非常重要的概念,它指的是一种规范化的数据结构。在数据库设计中,我们可以采用不同的范式来设计数据库,以达到更佳的数据库性能和有效性。
之一范式:不允许一个实体中出现重复的数据项。
第二范式:实体中所有属性都要依赖于主键。
第三范式:实体中所有非主键属性都要直接依赖于主键。
4. 数据库安全性设计
数据库安全性设计是一项不容忽视的工作,它是保证数据安全性的关键。在设计过程中,应该将安全性考虑到数据库的整体设计中。数据库的安全性设计包括以下几个方面:
数据加密:采用先进的加密算法来保障数据的安全性。
用户授权:建立严格的用户角色和权限机制,确保每个用户只能访问其所需的数据。
故障恢复:及时备份数据,以防止数据遭受失误或恶意删除等事件的影响。
5. 性能优化设计
性能方面是数据库设计过程中的另一个关键任务。在设计数据库时,应该考虑到数据库的性能问题,以确保正常运行。数据库性能优化的主要方法包括:
查询优化:合理利用索引和数据聚合技术来优化数据库查询性能。
磁盘 I/O 优化:根据数据读写比例调整磁盘存储的方式,以优化数据的访问和处理。
内存管理:尽可能的利用内存来提升查询和处理的速度。
综上所述,包括数据库架构设计、数据模型设计、数据库范式设计、数据库安全性设计以及性能优化设计等方面。只有在充分考虑这些要素,才能设计出与实际需求相符的数据库。
相关问题拓展阅读:
随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的
磁盘
、
IO
、
系统开销
,甚至
性能
上的瓶颈,而单台服务器的
资源终究是有限
的。
因此在面对业务扩张过程中,应用程序对数据库系统的
健壮性
,
安全性
,
扩展性
提出了更高的要求。
以下,我从数据库架构、选型与落地来让大家入门。
数据库会面临什么样的挑战呢?
业务刚开始我们只用单机数据库就够了,但随着业务增长,数据规模和用户规模上升,这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。
为了解决上述的各种问题,数据库衍生了出不同的架构来解决不同的场景需求。
将数据库的写操作和读操作分离,主库接收写请求,使用多个从库副本负责读请求,从库和主库同步更新数据保持数据一致性,从库可以水平扩展,用于面对读请求的增加。
这个模式也就是常说的读写分离,针对的是小规模数据,而且存在大量读操作的场景。
因为主从的数据是相同的,一旦主库宕机的时候,从库可以
切换为主库提供写入
,所以这个架构也可以提高数据库系统的
安全性
和
可用性
;
优点:
缺点:
在数据库遇到
IO瓶颈
过程中,如果IO集中在某一块的业务中,这个时候可以考虑的就是垂直分库,将热点业务拆分出去,避免由
热点业务
的
密集IO请求
影响了其他正常业务,所以垂直分库也叫
业务分库
。
优点:
缺点:
在数据库遇到存储瓶颈的时候,由于数据量过大造成索引性能下降。
这个时候可以考虑将数据做水平拆分,针对数据量巨大的单张表,按照某种规则,切分到多张表里面去。
但是这些表还是在同一个库中,所以库级别的数据库操作还是有IO瓶颈(单个服务器的IO有上限)。
所以水平分哗槐尺表主要还是针对
数据量较大
,整体业务
请求量较低
的场景。
优点:
缺点:
四、分库分表
在数据库遇到存储瓶颈和IO瓶颈的时候,数据量过大造成索引性能下降,加上同一时间需要处理大规模的业务请求,这个时候单库的IO上限会限制处理效率。
所以需要将单张表的数据切分到多个服务器上去,每个服务器具有相应的库与表,只是表中数据不同。
分库分表能够有效地缓解单机和单库的
性能瓶颈和压力
,突破IO、连接数、硬件资源等的瓶颈。
优点:
缺点:
注:分库还是分表核心关键是有没有IO瓶颈
。
分片方式都有什么呢?
RANGE(范围分片)
将业务表中的某个
关键字段排序
后,按照顺序从0到10000一个表,10001到20230一个表。最常见的就是
按照时间切分
(月表、年表)。
比如将6个月前,甚至一年前的数据切出去放到另外的一张表,因为随着时间流明睁逝,这些表的数据被查询的概率变小,银行的交易记录多数是采用这种方式。
优点:
缺点:
HASH(哈希分片)
将订单作为主表,然后将其相关的业务表作为附表,取用户id然后
hash取模
,分配到不同的数据表或者数据库上。
优点:
缺点:
讲到这里,我们已经知道数据库有哪些架构,解决的是哪些问题,因此,
我们在日常设计中需要根据数据的特点,数据的倾向性,数据的安全性等来选择不同的架构
。
那么,我们应该如何选择数据库架构呢?
虽然把上面的架构全部组合在一起可以形成一个强大的高可用,高负载的数据库系统,但是架构选择合适才是最重要的。
混合架构虽然能够解决所有的场景的问题,但是也会面临更多的挑战,你以为的完美架构,背后其实有着更多的坑。
1、对事务支持
分库分表后(无论是垂直还是水平拆分乱高),就成了分布式事务了,如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价(XA事务);如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担(TCC、SAGA)。
2、多库结果并
(group by,order by)
由于数据分布于不同的数据库中,无法直接对其做分页、分组、排序等操作,一般应对这种多库结果并的查询业务都需要采用数据清洗、同步等其他手段处理(TIDB、KUDU等)。
3、数据延迟
主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。
4、跨库join
分库分表后表之间的关联操作将受到限制,我们无法join位于不同分库的表(垂直),也无法join分表粒度不同的表(水平), 结果原本一次查询就能够完成的业务,可能需要多次查询才能完成。
5、分片扩容
水平分片之后,一旦需要做扩容时。需要将对应的数据做一次迁移,成本代价都极高的。
6、ID生成
分库分表后由于数据库独立,原有的基于数据库自增ID将无法再使用,这个时候需要采用其他外部的ID生成方案。
一、应用层依赖类(JDBC)
这类分库分表中间件的特点就是和应用强耦合,需要应用显示依赖相应的jar包(以Java为例),比如知名的TDDL、当当开源的
sharding-jdbc
、蘑菇街的TSharding等。
此类中间件的基本思路就是重新实现JDBC的API,通过重新实现
DataSource
、
PrepareStatement
等操作数据库的接口,让应用层在
基本
不改变业务代码的情况下透明地实现分库分表的能力。
中间件给上层应用提供熟悉的JDBC API,内部通过
sql解析
、
sql重写
、
sql路由
等一系列的准备工作获取真正可执行的sql,然后底层再按照传统的方法(比如数据库连接池)获取物理连接来执行sql,最后把数据
结果合并
处理成ResultSet返回给应用层。
优点
缺点
二、中间层代理类(Proxy)
这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个
代理层
,上层应用以
标准的MySQL协议
来连接代理层,然后代理层负责
转发请求
到底层的MySQL物理实例,这种方式对应用只有一个要求,就是只要用MySQL协议来通信即可。
所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库,自然也天然
支持所有的编程语言
。
在技术实现上除了和应用层依赖类中间件基本相似外,代理类的分库分表产品必须实现标准的MySQL协议,某种意义上讲数据库代理层转发的就是MySQL协议请求,就像Nginx转发的是Http协议请求。
比较有代表性的产品有开创性质的Amoeba、阿里开源的Cobar、社区发展比较好的
Mycat
(基于Cobar开发)等。
优点
缺点
JDBC方案
:无中心化架构,兼容市面上大多数关系型数据库,适用于开发高性能的轻量级 OLTP 应用(面向前台)。
Proxy方案
:提供静态入口以及异构语言的支持,适用于 OLAP 应用(面向后台)以及对分片数据库进行管理和运维的场景。
混合方案
:在大型复杂系统中存在面向C端用户的前台应用,也有面向企业分析的后台应用,这个时候就可以采用混合模式。
JDBC 采用无中心化架构,适用于 Java 开发的高性能的轻量级 OLTP 应用;Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由
Sharding-JDBC
、
Sharding-Proxy
和
Sharding-Sidecar
(计划中)这3款相互独立的产品组成,他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
ShardingSphere提供的核心功能:
Sharding-Proxy
定位为透明化的
数据库代理端
,提供封装了
数据库二进制协议的服务端版本
,用于完成对
异构语言的支持
。
目前已提供MySQL版本,它可以使用
任何兼容MySQL协议的访问客户端
(如:MySQL Command Client, MySQL Workbench, Navicat等)操作数据,对DBA更加友好。
向
应用程序完全透明
,可直接当做MySQL使用。
适用于任何兼容MySQL协议的客户端。
Sharding-JDBC
定位为
轻量级Java框架
,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为
增强版的JDBC驱动,完全兼容JDBC和各种ORM框架
。
以电商SaaS系统为例,前台应用采用Sharding-JDBC,根据业务场景的差异主要分为三种方案。
分库(用户)
问题解析:头部企业日活高并发高,单独分库避免干扰其他企业用户,用户数据的增长缓慢可以不分表。
拆分维度:企业ID分库
拆分策略:头部企业单独库、非头部企业一个库
分库分表(订单)
问题解析:订单数据增长速度较快,在分库之余需要分表。
拆分维度:企业ID分库、用户ID分表
拆分策略:头部企业单独库、非头部企业一个库,分库之后用户ID取模拆分表
单库分表(附件)
问题解析:附件数据特点是并发量不大,只需要解决数据增长问题,所以单库IO足以支撑的情况下分表即可。
拆分维度:用户ID分表
拆分策略:用户ID取模分表
问题一:分布式事务
分布式事务过于复杂也是分布式系统最难处理的问题,由于篇幅有限,后续会开篇专讲这一块内容。
问题二:分布式ID
问题三:跨片查询
举个例子,以用户id分片之后,需要根据企业id查询企业所有用户信息。
sharding针对跨片查询也是能够支持的,本质上sharding的跨片查询是采用同时查询多个分片的数据,然后聚合结果返回,这个方式对资源耗费比较大,特别是对数据库连接资源的消耗。
假设分4个数据库,8个表,则sharding会同时发出32个SQL去查询。一下子消耗掉了32个连接;
特别是针对单库分表的情况要注意,假设单库分64个表,则要消耗64个连接。如果我们部署了2个节点,这个时候两个节点同时查询的话,就会遇到数据库连接数上限问题(mysql默认100连接数)
问题四:分片扩容
随着数据增长,每个片区的数据也会达到瓶颈,这个时候需要将原有的分片数量进行增加。由于增加了片区,原先的hash规则也跟着变化,造成了需要将旧数据做迁移。
假设原先1个亿的数据,hash分64个表,现在增长到50亿的数据,需要扩容到128个表,一旦扩容就需要将这50亿的数据做一次迁移,迁移成本是无法想象的。
问题五:一致性哈希
首先,求出每个
服务器的hash值
,将其配置到一个
0~2^n 的圆环上
(n通常取32)
其次,用同样的方法求出待
存储对象的主键 hash值
,也将其配置到这个圆环上。
然后,从数据映射到的位置开始顺时针查找,将数据分布到找到的之一个服务器节点上。
一致性hash的优点在于加入和删除节点时只会影响到在哈希环中相邻的节点,而对其他节点没有影响。
所以使用一致性哈希在集群扩容过程中可以减少数据的迁移。
好了,这次分享到这里,我们日常的实践可能只会用到其中一种方案,但它不是数据库架构的全貌,打开技术视野,才能更好地把存储工具利用起来。
老规矩,一键三连,日入两千,点赞在看,年薪百万!
本文作者:Jensen
7年Java老兵,小米主题设计师,手机输入法设计师,ProcessOn特邀讲师。
曾涉猎航空、电信、IoT、垂直电商产品研发,现就职于某知名电商企业。
技术公众号
【架构师修行录】
号主,专注于分享日常架构、技术、职场干货,Java Goals:架构师。
交个朋友,一起成长!
数据库中的架构的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据库中的架构,数据库设计的重要架构,数据库架构选型与落地,看这篇就够了的信息别忘了在本站进行查找喔。
成都服务器租用选创新互联,先试用再开通。
创新互联(www.cdcxhl.com)提供简单好用,价格厚道的香港/美国云服务器和独立服务器。物理服务器托管租用:四川成都、绵阳、重庆、贵阳机房服务器托管租用。
文章标题:数据库设计的重要架构 (数据库中的架构)
本文地址:http://www.stwzsj.com/qtweb/news47/6297.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联