深入了解MongoDB 分布式集群_MongoDB

来源:脚本之家  责任编辑:小易  

mongodb的分片就是分布式。分片应该能提高一些性能。 最好还是根据你的查询条件做一些索引和联合索引,来提高查询效率www.zgxue.com防采集请勿采集本网。

在分布式应用系统中,mongodb 已经成为 NoSQL 经典数据库。要想很好的使用 mongodb,仅仅知道如何使用它是不够的。只有对其架构原理等有了充分认识,才能在实际运用中使其更好地服务于应用,遇到问题知道怎么处理,而不是抓瞎抹黑。这篇文章就带你进入 mongodb 集群的大门。

除了在实践中学习,课程也涵盖了开发者需要知道的各方面细节,全面深入。另外,还有对 Foursquare 和 Codecademy 的采访,讲他们的使用经验和演变过程。不方便的地方就是,视频放在youtube上,只有英文

集群概览

1.MongoDB比MySQL快在它有Memory-Mapping以及它不用处理事物2.MySQL适用于传统总之适当的任务用适当的工具5.MongoDB有比较好的扩展能力,可以很容易做成分布式架构6.对MongoDB来说,内存越多越好

mongodb 相关的进程分为三类: mongo 进程 – 该进程是 mongodb 提供的 shell 客户端进程,通过该客户端可以发送命令并操作集群; mongos 进程 – mongodb 的路由进程,负责与客户端连接,转发客户端请求到后端集群,对客户端屏蔽集群内部结构; mongod 进程 – 提供数据读写的 mongodb 实例进程。

MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的,是一个基于分布式文件存储的数据库。面向集合存储,易存储对象类型的数据。

要开始kickstart安装,必须从制作的引导介质或红帽企业Linux光盘引导系统,并输入在引导提示下输入特殊的引导命令.如果ks命令行参数被传递给内核,安装程序将寻找kickstart文件. 第一张光盘和软盘

类比银行服务,mongo 进程相当于客户,mongos 进程是柜台服务员,mongod 进程是银行后台实际处理业务的人员或者流程。客户只需要和柜台服务员沟通,告知办什么业务,柜台服务员将业务转往后台,后台实际处理。

我这里有一套22讲的相关教程,名为《深入浅出MongoDB应用实战开发(基储开发指南、系统管理、集群及系统架构),本课程侧重于讲解MongoDB的常用特性及高级特性,从实际开发的角度出发对MongoDB进行全方位

下图是 mongodb 集群的一般拓扑结构。

如图,mongodb 集群的节点分为三类: mongos 路由节点:处理客户端的连接,扮演存取路由器的角色,将请求分发到正确的数据节点上,对客户端屏蔽分布式的概念; config 配置节点:配置服务,保存数据结构的元数据,比如每个分片上的数据范围,数据块列表等。配置节点也是 mongod 进程,只是它存储的数据是集群相关的元数据; shard 分片节点:数据存储节点,分片节点由若干个副本集组成,每个副本集存储部分全体数据,所有副本集的数据组成全体数据,而副本集内部节点存放相同的数据,做数据备份与高可用。

要开始kickstart安装,必须从制作的引导介质或红帽企业Linux光盘引导系统,并输入在引导提示下输入特殊的引导命令.如果ks命令行参数被传递给内核,安装程序将寻找kickstart文件. 第一张光盘和软盘

还是拿银行业务类比,当客户办理保单保存业务时,

    柜台服务员接受客户的保单业务请求(mongos 路由节点接收客户端的操作请求); 柜台服务员查询文件目录系统查看该保单应该保存到哪个仓库(mongos 节点与 config 配置节点通信,查询相关操作数据在哪个分片节点); 知道哪个仓库后,柜台服务员将保单给仓库管理员,仓库管理员将保单放到指定仓库中(mongos 节点将请求发送给数据所在分片节点,分片节点进行读写处理)。

mongos 路由服务

mongos 服务类似网关,连接 mongodb 集群与应用程序,对外屏蔽 mongodb 内部结构,应用程序只需要将请求发送给 mongos,而无需关心集群内部副本分片等信息。

mongos 本身不保存数据与索引信息,它通过查询 config 配置服务来获取,所以可以考虑将 mongos 与应用程序部署在同一台服务器上,当服务器宕机时 mongos 也一起失效,防止出现 mongos 闲置。

mongos 节点也可以是单个节点,但为了高可用,一般部署多个节点。就像柜台服务员一样,可以有多个,相互之间没有主备关系,都可以独立处理业务。

需要注意的是,在开启分片的情况下,应用程序应该避免直接连接分片节点进行数据修改,因为这种情况下很可能造成数据不一致等严重后果,而是通过 mongos 节点来操作。

config 配置服务

config 配置节点本质也是一个副本集,副本集中存放集群的元数据,如各个分片上的数据块列表,数据范围,身份验证等信息。如下,可以看到数据库 config,数据库中集合保存了集群的重要元数据。

mongos> use config;switched to db configmongos> show collections;changelogchunkscollectionsdatabaseslockpingslocksmigrationsmongosshardstagstransactionsversion

一般情况下,用户不应该直接变更 config 的数据,否则很可能造成严重后果。

shard 分片服务

分布式存储要解决的是两个问题:

随着业务不断发展,数据量越来越大,单机存储受限于物理条件,必然要通过增加服务器来支持不断增大的数据。所以分布式下,不可能全部数据存储在一个节点上,必然是将数据划分,部分数据放到这个节点,另外部分数据放到另外的节点上。也就是数据的伸缩性。

考虑高可用。如果同一份数据只存在一个节点上,当这个节点发生异常时,数据不可用。这就要求分布式下同一份数据需要存储在多个节点上,以达高可用效果。

在 mongodb 集群中,数据的伸缩性通过分片集来实现,高可用通过副本集来实现。

如图,全部数据为1-6,将其划分为3部分,1-2为一个分片,3-4为一个分片,5-6为一个分片。每个分片存储在不同的节点上。而每个分片有3个副本,组成副本集,每个副本都是独立的 mongod 实例。

所以副本集是一个纵向概念,描述的是相同的数据存储在多个节点上;而分片是一个横向概念,描述的是全量数据被切成不同的片段,每个片段独立存储。这个片段就是分片,而分片通过副本集进行存储。

副本集

副本集包含三种角色: 主节点(Primary) 副节点(Secondary) 仲裁节点(Arbiter)

要开始kickstart安装,必须从制作的引导介质或红帽企业Linux光盘引导系统,并输入在引导提示下输入特殊的引导命令.如果ks命令行参数被传递给内核,安装程序将寻找kickstart文件. 第一张光盘和软盘

一个副本集由一个主节点,多个副节点,0或多个仲裁节点组成。

主节点与副节点是数据节点。主节点提供数据的写操作,数据写到主节点后,会通过同步机制同步到副节点上。默认读操作也由主节点提供,但是可以手动设置 read preference,优先从副节点读取。

仲裁节点不是数据节点,不存储数据,也不提供读写操作。仲裁节点是作为投票者存在,当主节点异常需要进行切换时,仲裁节点有投票权,但没有被投票权。仲裁节点可以在资源有限的情况下,依然支持故障恢复。比如只有2个节点的硬盘资源,在这种情况下可以增加一个不占存储的仲裁节点,组成“一主一副一仲裁”的副本集架构,当主节点宕掉时,副节点能够自动切换。

节点间通过“心跳”进行沟通,以此知道彼此的状态。当主节点异常不可用时,从其他有被投票权的节点中投票选出一个升级为主节点,继续保持服务高可用。这里投票采取“大多数”原则,即需要多于总节点数一半的节点同意,才能被选举成主节点。也因此不建议采用偶数个节点组成副本集,因为偶数情况下,如果发生半数节点网络隔离,隔离的半数节点达不到“大多数”的要求,无法选举产生新的主节点。

通过 rs.status() 可以查看副本集,参考《教你快速搭建 mongodb 集群》

分片集

分片就是将全部数据根据一定规则划分成没有交集的数据子集,每个子集就是一个分片,不同分片存放在不同节点上。这里有几个问题: 划分规则也就是分片策略是什么? 分片数据是如何存放的? 数据量越来越大,分片如何动态调整?

要开始kickstart安装,必须从制作的引导介质或红帽企业Linux光盘引导系统,并输入在引导提示下输入特殊的引导命令.如果ks命令行参数被传递给内核,安装程序将寻找kickstart文件. 第一张光盘和软盘

数据块 Chunk

chunk 由多个文档组成,一个分片中包含多个 chunk。chunk 是分片间数据迁移的最小单位。实际上,文档是通过分片策略计算出应该存储在哪个 chunk,而 chunk 存放在分片上。

如图,假设按照文档的 x 字段值来进行分片,根据不同取值范围存放在不同的数据块,如25-175在 chunk 3上。

把书比作 mongodb 中的文档,书柜比作数据块,房间比作分片。每本书根据一定规则放到某书柜上,房间中有很多书柜。当某个房间的书柜太多,就需要以书柜为单位,迁移到相对比较宽松的房间。

chunk 的大小默认为 64MB,也可以自定义。chunk 的存在有两个意义: 当某个 chunk 超过大小时,会触发 chunk 分裂。 当分片间的 chunk 数不均衡时,会触发 chunk 迁移。

chunk 迁移由 mongodb 的平衡器来操作,默认平衡器是开启的,是运行在后台的一个进程,也可以手动关闭。

可以通过下面命令来查看平衡器状态:

sh.getBalancerState()

chunk 的大小对集群的影响: 比较小时,chunk 数比较多,数据分布比较均匀,但会引起频繁的数据块分裂与迁移; 比较大时,chunk 数比较少,数据容易分散不均匀,迁移时网络传输量大。

所以要自定义数据块大小时,一定要考虑完备,否则将大大影响集群与应用程序的性能。

片键 Shard Key

mongodb 集群不会自动将数据进行分片,需要客户端告知 mongodb 哪些数据需要进行分片,分片的规则是什么。

某个数据库启用分片:

mongos> sh.enableSharding(<database>)

设置集合的分片规则:

mongos> sh.shardCollection(<database.collection>,<key>,<unique>,<options>)# unique 与 options 为可选参数

例如,将数据库 mustone 开启分片,并设置库中 myuser 集合的文档根据 _id 字段的散列值来进行划分分片。

sh.enableSharding("mustone")sh.shardCollection("mustone.myuser",{_id: "hashed"})

这里划分规则体现在 上, 定义了分片策略,分片策略由片键 Shard Key 与分片算法组成。片键就是文档的某一个字段,也可以是复合字段。分片算法分为两种: 基于范围。如 设置为 id:1 表示基于字段 id 的升序进行分片,id:-1 表示基于字段 id 的倒序进行分片,字段 id 就是 shard key(片键)。当集合中文档为空时,设置分片后,会初始化单个 chunk,chunk 的范围为(-∞,+∞)。当不断往其中插入数据到达 chunk 大小上限后,会进行 chunk 分裂与必要迁移。 基于hash。如上面的栗子, 设置为 _id:”hashed”,表示根据字段 _id 的哈希来分片,此时片键为 _id。初始化时会根据分片节点数初始化若干个 chunk,如3个分片节点会初始化6个 chunk,每个 shard 2个 chunk。

每个数据库会分配一个 primary shard,初始化的 chunk 或者没有开启分片的集合都默认放在这个 primary shard 上。

分片策略的选择至关重要,等数据量大了再更改分片策略将会很麻烦。分片策略的原则:

    均匀分布原则。分片的目标就是让数据在各个分片上均匀分布,数据的存取压力也分解到各个分片上。比如以自增长的 id 升序为片键,会导致新数据永远都写在最后的 chunk 上,且 chunk 分裂与迁移也会落在该 chunk 所在分片上,造成该分片压力过大。 大基数原则。集合的片键可能包含的不同值的个数,称为基数。基数越大,数据就能划分得更细。基数越小,chunk 的个数就有限。比如性别,只有男女,如果作为片键,最多两个 chunk,等数据越来越大后,便无法横向扩展。 就近原则。尽可能让一次查询的数据分布在同一个 chunk 上,这样提升磁盘读取性能。避免毫无意义的随机片键,虽然分布均匀了,但每次查询都要跨多个 chunk 才能完成,效率低下。

需要说明的是,mongodb 分片集群虽然比较完备,但是存在一些限制,如备份相对困难,分片集合无法做关联查询等。所以要根据实际业务来评估,如果副本集已经够用了,不一定要进行分片存取。

以上就是深入了解MongoDB 分布式集群的详细内容,更多关于MongoDB 分布式集群的资料请关注真格学网其它相关文章!

mongodb的分片就是分布式。分片应该能提高一些性能。最好还是根据你的查询条件做一些索引和联合索引,来提高查询效率内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • 详解如何使用mongodb+springboot实现分布式id的方法
  • 详解mongodb4.0构建分布式分片群集
  • python连接mongodb集群方法详解
  • 详解java 连接mongodb集群的几种方式
  • mongodb3.4集群搭建实战之高可用的分片+副本集
  • mongodb 集群重构和释放磁盘空间实例详解
  • mongodb的分片集群基本配置教程
  • mongodb使用小结:一些不常见的经验分享
  • mongodb数据库的备份与恢复操作实例
  • mongodb常用操作命令大全
  • mongodb 数据库操作详解--创建,切换,删除
  • mongodb的oplog详解
  • mongodb错误tcmalloc: large alloc out of memory, printing sta
  • 浅析mongodb性能优化的相关问题
  • mongodb快速翻页的方法
  • mongodb数据库插入、更新和删除操作详解
  • centos7.2 安装 mongodb 3.4的教程
  • mongodb 分布式 和分片是不是一个意思
  • mongodb采用了什么分布式方式
  • 分布式mongodb集群有什么好处
  • mongodb底层使用松散的什么作为数据存储格式
  • 怎样学 MongoDB?
  • mongodb和mysql的区别
  • mongodb和oracle的区别
  • 使用MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的
  • 哪里有深入云计算mongodb的电子书
  • 使用MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全mssqlmysqlmariadboracledb2mssql2008mssql2005sqlitepostgresqlmongodbredisaccess数据库文摘数据库其它首页详解如何使用mongodb+springboot实现分布式id的方法详解mongodb4.0构建分布式分片群集python连接mongodb集群方法详解详解java 连接mongodb集群的几种方式mongodb3.4集群搭建实战之高可用的分片+副本集mongodb 集群重构和释放磁盘空间实例详解mongodb的分片集群基本配置教程mongodb使用小结:一些不常见的经验分享mongodb数据库的备份与恢复操作实例mongodb常用操作命令大全mongodb 数据库操作详解--创建,切换,删除mongodb的oplog详解mongodb错误tcmalloc: large alloc out of memory, printing sta浅析mongodb性能优化的相关问题mongodb快速翻页的方法mongodb数据库插入、更新和删除操作详解centos7.2 安装 mongodb 3.4的教程mongodb常用操作命令大全mongodb各种查询操作详解mongodb数据库插入、更新和删除操mongodb 数据库操作--备份 还原 mongodb插入数据的3种方法mongodb中使用distinct去重的简单mongodb整库备份与还原以及单个cmongodb查询操作限制返回字段的方浅谈mysql和mariadb区别(mariadbmongodb 实现远程连接mongodb服务端javascript脚本使用方法mongodb查询字段没有创建索引导致的连接超mongodb的基本特性与内部构造的讲解mongodb操作的模块手动封装python实现爬虫数据存到 mongodbwindows系统下安装mongodb与robomongo环境mongodb单表数据的导出和恢复实例讲解mongodb如何开启用户访问控制详解mongodb的php驱动方法与技巧mongodb开启权限认证的方法步骤详解
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved