加入收藏 | 设为首页 | 会员中心 | 我要投稿 | RSS
您当前的位置:首页 > 教程文章 > NOSQL数据库

MongoDB数据库总结

时间:2011-07-13 09:24:57  来源:  作者:

概念与说明

MongoDB介绍

MongoDB的名称取自“humongous”(巨大的) 的中间部分 。于2010年8月5日发布了最新的正式版本v1.6,这是其继1.0、1.2、1.4版本后的第四个主要稳定版本。由10gen公司为其提供商业支持。• 它是一个开源的、面向文档的数据库,属于nosql数据库中的一种。(nosql全称是”notonly sql”,是非关系型数据存储的广义定义)。

它可运行在Linux、Windows或OSX平台,支持32位和64位应用并且提供了Java,PHP,Ruby,C#,C++,JavaScript等多种语言的驱动程序。

MongoDB特性

MongoDB是一个可扩展、高性能的下一代数据库,由C++语言编写,旨在为web应用提供可扩展的高性能数据存储解决方案。它的特点是高性能、易部署、易使用,存储数据非常方便,主要特性有:

l 模式自由,支持动态查询、完全索引,可轻易查询文档中内嵌的对象及数组。

l 面向集合存储,易存储对象类型的数据, 包括文档内嵌对象及数组 。

l 高效的数据存储,支持二进制数据及大型对象(如照片和视频) 。

l 支持复制和故障恢复;提供了主-从、主-主模式的数据复制及服务器之间的数据复制。

l 自动分片以支持云级别的伸缩性,支持水平的数据库集群,可动态添加额外的服务器 。

 

MongoDB结构

传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB同样也是由数据库(database) 、集合(collection)、文档对象(document)三个层次组成。 MongoDB里的集合对应于关系型数据库里的表,但是集合中没有列、行和关系的概念,这体现了模式自由的特点。

MongoDB存储的数据格式是key-value对的集合,键是字符串,值可以是数据类型集合里的任意类型,包括数组和文档对象。这种数据格式称作 BSON,即 “Binary Serialized Document Notation”,是一种类似JSON的二进制序列化文档。

MongoDB使用了内存映射文件进行数据管理,把所有空闲内存当缓存使用,且不能指定内存大小。这既是优点也是缺点:优点–可以最大限度提升性能;缺点–容易受其它程序干扰。

数据空间采用预分配,目的是为了避免形成过多的硬盘碎片。它为每个数据库分配一系列文件,每个数据文件都会被预分配一个大小,第一个文件名字为“.0 ” ,大小为64MB,第二个文件“.1”为128MB ,依此类推,在32位模式运行时支持的最大文件为2GB。随着数据量的增加,可以在其数据目录里看到这些不断递增的文件。

MongoDB没有自动递增或序列特性,当BSON对象插入到数据库中时,如果没有提供“_id”字段 ,数据库会自动生成一个ObjectId对象作为“_id”的值插入到集合中作为该文档的主键

(这就避免了其它数据库意外地选择相同的惟一标识符的情况) ,“_id”的值由4字节的时间戳,3字节的机器号,2字节的进程id以及3字节的自增计数组成。当然字段“_id”的值可以手动生成(任意类型都可),只要能够保证惟一性。

每个插入的BSON对象大小不能超过4MB,如果超过4M时需使用 GridFS来储存数据。删除记录后不会释放已分配的空间,换句话说:原记录空间不删除。

MongoDB二进制文件功能

MongoDB的服务器端程序只有两个:

Mongod.exe: MongoDB的主要的数据存储服务程序和配置服务程序。

Mongos.exe:MongoDB的集群路由程序,负责自动分片,用于构建一个大规模的可扩展的数据库集群,这个集群可以并入动态增加的机器,可以将数据库分表存储在集群的各个节点上。

MongoDB的客户端工具有很多,最常用的就是Mongo.exe,它做为对MongoDB的管控程序,可以使用输入命令的方式修改、查询MongoDB的数据和配置。

MongoDB常用命令

l Help:查看mongodb支持的命令。

l db.help:查看当前数据库支持哪些方法当前数据库下的表。

l db.dbname.help():查看当前表collection支持哪些方法。

l show dbs:列出所有数据库。

l use test: 使用数据库test ,即使这个数据库不存在也可以执行,但该数据库不会立刻被新建,要等到执行了insert之类的操作时,才会建立这个数据库。

l show collections : 列出当前数据库的所有文档。

l db : 显示当前数据库。

l show users : 列出用户。

l db.printShardingStatus() :将当前MongoDB分片的状态打印出来。

l db.runCommand({ xxxx}) :在当前DB上执行一些命令。

l db.xxx.stats() :显示当前db的某个collection的状态。

l db.xxx.find():显示当前db的某个collection的所有内容。

 

详细的MongoDB的shell命令见:http://www.mongodb.org/display/DOCS/dbshell+Reference

 

GridFS

MongoDB自带的分布式文件系统GridFS ,可以支持海量的数据存储。

GridFS将文件分块存储,分别将文件的元信息和文件块存入不同的collection,mongoDB提供的GridFS类将文件默认分块大小设置为256K。如果不改变设置,GridFS在存入文件时,将文件块存入db.fs.chunks的collection中,将文件信息存入db.fs.files中。

文件必须的信息有以下字段:

 

{
“_id” : <unspecified>, // unique ID for this file
“length” : data_number, // size of the file in bytes
“chunkSize” : data_number, // size of each of the chunks. Default is 256k
“uploadDate” : data_date, // date when object first stored
“md5″ : data_string // result of running the “filemd5″ command on this file’s chunks
}

文件块的信息字段包括:

{
“filename” : data_string, // human name for the file
“contentType” : data_string, // valid mime type for the object
“aliases” : data_array of data_string, // optional array of alias strings
“metadata” : data_object, // anything the user wants to store }

“_id”的类型可以自选,但是默认类型是BSON对象的objectid。

块信息的“files_id”是外键与files集合中的“_id”相关联。

 

详情可参考:http://www.mongodb.org/display/DOCS/GridFS+Specification

 

Sharding

一个mongodb集群包括一些shards(每个shard包括一至多个mongod进程),mongos路由进程,一个或多个config服务器 。

名词:

Shards : 每一个shards包括一个或多个存储数据的mongod进程,典型的每个shards开启多个服务来提高服务的可用性。这些mongod进程在shards中组成一个复制集(replica pairs)。

Chunks: Chunks是一个集合中的一个数据范围,(collection,minKey,maxKey)描叙一个chunks,它介于minKey和maxKey范围之间。例如假设chunks 的maxsize大小是100M,如果一个文件达到或超过这个范围时,会被切分到2个新的chunks中。当一个shard的数据过量时,会将一整个chunks迁移到其他的shards上。同样,chunks也可以迁移到其他的shards上。

Config Servers : Config服务器存储着集群的metadata信息,包括每个服务器,每个shard的基本信息和chunk信息Config服务器主要存储的是chunk信息。每一个config服务器都复制了完整的chunk信息。

 

一个分布式集群至少需要三部分:

1、两个或更多的Shards。

2、最少一台Config Server。

3、一个mongos路由进程。

 

Sharding的介绍:http://www.mongodb.org/display/DOCS/Sharding+Introduction

Sharding配置说明:http://www.mongodb.org/display/DOCS/Configuring+Sharding

Sharding配置的官方示例:http://www.mongodb.org/display/DOCS/A+Sample+Configuration+Session

 

MongoDB编译和构建

1、 下载MongoDB源码并解压。

2、 下载boost并且解压到MongoDB所在盘根目录,目录名为boost,然后编译之。如果已经拥有了Boost可以使用mklink在根目录下面创建目录链接。

3、 下载SpiderMonkey做为js引擎库(http://github.com/dwight/vc2010_js/tree/master/src/),并解压到和mongodb文件夹同级的“js”文件夹内。

4、 打开db/db_10.sln,选择相应的平台并且编译,有可能要修改一些语法错误。

5、 安装python和SCons(一种构建工具)。http://www.python.org/download/releases/2.6.4/ http://sourceforge.net/projects/scons/files/scons/1.2.0/scons-1.2.0.win32.exe/download.

6、 在MongoDB文件夹中运行命令行,并且有可能需要运行VS2010设置环境变量的批处理文件vcvars*.bat。

To build:

scons // build mongod

scons mongoclient.lib // build C++ client driver library

scons all // build all end user components

scons . // build all including unit test

服务架设

在Mongod、Mongos等程序的同级目录下创建三个文件夹data_shard1、data_shard2 、data_config作为数据库目录。

1、shard1启动

start mongod –dbpath %cd%\data_shard1 –port 27020

2、shard2启动

start mongod –dbpath %cd%\data_shard2 –port 27021

3、配置服务器启动

start mongod –dbpath %cd%\data_config –port 27022 –configsvr

4、路由服务器启动(使用的默认的端口27017)

start mongos –configdb 127.0.0.1:27022

5、启动mongo,也使用默认端口,连接的是mongos.此时config服务器中有默认的admin数据库。

使用use admin切换成admin数据库

> config = connect(“127.0.0.1:27022″)

> config = config.getSisterDB(“config”)

使用db.runCommand({addshard: “127.0.0.1:27020″, allowLocal:1, maxSize:100}) 添加shard1

使用db.runCommand({addshard: “127.0.0.1:27021″, allowLocal:1, maxSize:100}) 添加shard2

6、创建一个可以被sharding的数据库test。

>test=db.getSisterDB(“test”)

>db.runCommand({enablesharding:”test”})

一旦设置了某数据库可以被sharding,那么此数据库中的不同数据集就会放在不同的分片上。

7、数据集分块:db.runCommand( { shardcollection : “test.fs.chunks”, key:{files_id:1}}) ,此数据集的主shards被设置为了shard1。

8、查看分块状态:db.printShardingStatus()

 

经过以上步骤,就架设成功了一个MongoDB集群,每个Shards的容量由“maxSize:100”限定为了100M大小,并且test.fs.chunks这个collection里的内容会被自动分片存放。

实例分析

在上面的程序架设好了之后,使用MongoDB工具集中的Mongofiles.exe程序连续地put一个20M的文件。

使用db.fs.chunks.stats()命令查看chunks的分块状态得知mongos优先将文件块放在了shard1上,当shard1的大小超过一定规模后(这个规模又不是maxSize设定的100M)才会将文件块迁移向Shard2。

当chunks这个collection在Shard2上面占用的空间大于100M之后(实际上是108906496字节),mongos不断提示“[Balancer] no availalable shards to take chunks”,然后我又新建了shard3同样设置为“maxsize:100”并且添加到集群中,这时mongos自动将一些块迁移到shard3中。等到停止迁移后我新增块,新增的块还是先写入shard1并且不断地有chunks迁移到shard3,但是最终shard1的数据大小远大于100M。

另外,db.fs.chunks在shard2的分布情况如下:

“shard0001″ : {

“ns” : “test.fs.chunks”,

“count” : 340,

“size” : 88506100,

“avgObjSize” : 260312.0588235294,

“storageSize” : 108906496,

“numExtents” : 11,

“nindexes” : 3,

“lastExtentSize” : 21645312,

“paddingFactor” : 1,

“flags” : 1,

“totalIndexSize” : 90112,

“indexSizes” : {

“_id_” : 32768,

“files_id_1″ : 24576,

“files_id_1_n_1″ : 32768

},

“ok” : 1

}

由状态信息可知,实际储存的文件大小是88.5M,但是占用的储存空间确是108.9M,可能chunks多余的未用部分用来做了对齐操作。

 

MongoDB的C++ API使用

想要自己编写MongoDB的客户端应用,可以先编译出MongDB的客户端静态库“mongoclient.lib”并且包含在自己的工程中。接着可以使用MongoDB源码中的一些头文件,“client/dbclient.h”,“client/gridfs.h”等。

对于文件分布式存储来说,使用gridfs.h中的GridFS、GridFile、GridFSChunk等类就可以完成简单的本地文件上传、文件下载、文件块读取、内存数据上传,想完成其它更为复杂的操作把文件块当做普通的BSON对象来操作,需要自己实现代码。

例:存储本地文件

DBClientConnection c;

c.connect(“localhost”);

GridFS fs (c, “test”);

BSONObj file = fs.storeFile(filename.c_str(), filename.length(), filename);

来顶一下
返回首页
返回首页
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
推荐资讯
在CentOS下搭建Android 开发环境
在CentOS下搭建Androi
轻松搭建属于自己的Ubuntu发行版
轻松搭建属于自己的Ub
利用SUSE Studio 打造自己的个性化Linux发行版
利用SUSE Studio 打造
那些采用PHP技术的IT大企业
那些采用PHP技术的IT大
相关文章
    无相关信息
栏目更新
栏目热门