taoCMS是基于php+sqlite/mysql的国内最小(100Kb左右)的功能完善的CMS管理系统

MongoDB 复制集与sharding安装配置

2013-06-05

MongoDB的官方文档相当不错,而且还有中文手册,虽然有些还没有被翻译完整:)建议大家多阅读在线手册,省掉一些网上信息不准确产生的痛苦,呵呵

一,安装:

    在各种操作系统上的安装非常简单,从网上下载相应操作系统上的MongoDB的Binaries然后直接就可以运行,这里不会浪费笔墨,请参考官方中文安装文档http://cn.docs.mongodb.org/manual/tutorial/install-mongodb-on-linux/

   FQA:

    1.注意各操作系统的OS Architecture也就是是多少位的操作系统。要下载对应的MongoDB程序运行文件。Widows上可以用 wmic os get osarchitecture命令查看

二,复制集(Replica Sest):

    a.安装配置:

    创建测试环境下的三个MongoDB的存贮数据的目录:

    mkdir -p /var/database/mongodb/rs0-0 /var/database/mongodb/rs0-1 /var/database/mongodb/rs0-2

    起动三个数据库服务Instances(约定为一个复制集合)   

    mongod --port 27017 --dbpath /var/database/mongodb/rs0-0 --replSet rs0
    mongod --port 27018 --dbpath /var/databasemongodb/rs0-1 --replSet rs0 
    mongod --port 27019 --dbpath /var/database/mongodb/rs0-2 --replSet rs0

    用Mongodb的管理客户端,并联接到在27017端口的Mongodb服务,启动后进行复制集操作:

    mongo --port 27017  

    >rsconf = {
           _id: "rs0",
           members: [
                      { _id: 0,
                       host: "<hostname>:27017"
                      }
                    ]
         }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:27018")
    >rs.add("<hostname>:27019")

当然也可以直接用configuration方式创建:

   >config={_id: 'setA', members:[{_id: 0,host:'127.0.0.1:10000'},{_id:1,host:'127.0.0.1:10001'},{_id:2,host:'       127.0.0.1:10002'}]}

  >rs.initiate( rsconf )

    配置完成后,验证查看一下当前复制集的状态:

   >rs.status()

   如果你在代码中使用,在创建MongoDB的对象时,把这三个MongoDB全部做为实例化参数即可,MongoDB的driver会自动判断哪个为Primiary 节点,哪几个为Slave 节点,Driver缺省情况下,会让connection读写同一个节点(一般为Primary),同时也可以设置这个复制集的读写分离,或者设置复制集的读写严格一致性:)。这里提供Java的代码例子:

   MongoClient mongoClient = new MongoClient(Arrays.asList(
   new ServerAddress("localhost", 27017),
   new ServerAddress("localhost", 27018),
   new ServerAddress("localhost", 27019)));

  或者:

   Mongo mongo = new Mongo(Arrays.asList(
   new ServerAddress("localhost", 27017),
   new ServerAddress("localhost", 27018),
   new ServerAddress("localhost", 27019)));

 建议大家使用第一种MongoClient类,因为Mongo类将来会被MongoClient所替代。

    b.FAQ:

    复制集合中的节点选举策略

    复制集中的集点属性。

   对读写分离(Tag定向/非定向),写关注(Write concern)即读写一致性

     

    c.工作机制:

    MongoDB的客户端识别这个集群的主节点(Primary Node)然后进行读写到主节点上,如果想分离读写,可以进行设置,进行读写分离,但写一直是写到PrimaryNode上,在写到的主节点同时,其它Slave节点通过oplog复制主节点数据,当然,也可以设置Chained Replica 模式,一个slave从主节点复节数据,另一个slave节点从这个slave节点再复制数据,一般建议一个replica set上不少于3台节点,因为如果一台失败,另一台就要作为恢复的数据源,影响正常数据访问,所以至少有三台。

三,分片(Sharding)

   a.安装配置:

   1.首先创建复制集,但每一台数据库要以sharding srever 方式启动。如下:

    $mongod  --shardsvr --port 27017 --dbpath /srv/mongodb/rs0-0 --replSet rs0
    $mongod --shardsvr --port 27018 --dbpath /srv/mongodb/rs0-1 --replSet rs0 
    $mongod --shardsvr --port 27019 --dbpath /srv/mongodb/rs0-2 --replSet rs0

    $mongo --port 27017  

    >rsconf = {            _id: "rs0",            members: [ {_id: 0, host: "<hostname>:27017"                      }                     ]          }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:27018")     >rs.add("<hostname>:27019")

    2.再创建同个类似的复制集

     $mongod  --shardsvr --port 37017 --dbpath /srv/mongodb/rs1-0 --replSet rs1     $mongod --shardsvr --port 37018 --dbpath /srv/mongodb/rs1-1 --replSet rs1     $mongod --shardsvr --port   37019 --dbpath /srv/mongodb/rs1-2 --replSet rs1

    $mongo --port 27017 

    >rsconf = {            _id: "rs1",            members: [ {_id: 0, host: "<hostname>:37017"                       }                     ]          }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:37018")     >rs.add("<hostname>:37019")

   3.启动三个配置服务节点Configsvr

从命令行分别执行如下命令,配置三个Configsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40000 --shardsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40001 --shardsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40002 --shardsvr

 4.启动两个路由节点mongos

 mongos.exe --configdb 127.0.0.1:40000,127.0.0.1:40001,127.0.0.1:40002 --port 50000

mongos.exe --configdb  127.0.0.1:40000,127.0.0.1:40001,127.0.0.1:40002 --port 60000

5.配置分片

call mongo.exe 127.0.0.1:50000
MongoDB shell version: 1.8.0
connecting to: 127.0.0.1:50000

> use admin
switched to db admin
> db.runCommand({addshard:"rs0/127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019",name:"ShardSetA"})
{ "shardAdded" : "ShardSetA", "ok" : 1 }
> db.runCommand({addshard:"rs1/127.0.0.1:37017,127.0.0.1:37018,127.0.0.1:37019",name:"ShardSetB"})
{ "shardAdded" : "ShardSetB", "ok" : 1 }

集群到此已配置完成。

你可以通过客户端使用这个集群了这里只列出Java客户端代码:

 MongoClient mongoClient = new MongoClient(Arrays.asList(
   new ServerAddress("localhost", 50000),
   new ServerAddress("localhost", 60000)));

这里你会发现用的是两个mongos路由服务器的端口

在用这个集群之前,你要对你打算Sharding的数据库进行enable一下。

用客户端连接Mongos

Mongo --port 50000

>sh.enableSharding("database name")

或者

>db.runCommand( { enableSharding: <database> } )

这样即可。

如果你想对一个大的collection进行sharding可以执行如下命令

sh.shardCollection("people.addresses", { "state": 1, "_id": 1 } )

一切OK可以使用了,不过我拷贝的仓促,有的地方如果有漏copy的地方,大家不要骂我,可以在线问我,也可以加我QQ一齐探讨。

   b.FAQ:

   c.工作机制:

   工作机制,客户端代码,通过mongodb的driver连接mongos(一个connection(一般是源于driver提供的一个连接池)选一个mongos服务)mongos只是一个路由服务器,相当于访问代理

  当一个操作到达mongos时,mongos会根据config server上的信息,把操作转发给对应的mongod服务器,为了提高效率,mongos配置完成后,mongo configservers上的信息已缓存在mongs

 服务器上,所以你此时关掉mongo config server也暂时影响不大,除非集群进行了balance 操作,或者有新的trunck变化。

类别:技术文章 | 阅读:229882 | 评论:0 | 标签:mongodb replica set sharding

想收藏或者和大家分享这篇好文章→

“MongoDB 复制集与sharding安装配置”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

taoCMS发布taoCMS 3.0.2(最后更新21年03月15日),请大家速速升级,欢迎大家试用和提出您宝贵的意见建议。

捐助与联系

☟请使用新浪微博联系我☟

☟在github上follow我☟

标签云