博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Mongodb 笔记04 特殊索引和集合、聚合、应用程序设计
阅读量:4607 次
发布时间:2019-06-09

本文共 5070 字,大约阅读时间需要 16 分钟。

特殊索引和集合

1. 固定集合:固定集合需要事先创建好看,而且它的大小是固定的。当固定集合被占满时,如果再插入新文档,固定集合会自动将最老的文档从集合中删除。

2. 创建固定集合:db.createCollection("my_collection",{"capped":true,"size":10000})  创建一个大小为10000字节的固定集合

    除了大小,createCollection还能指定固定集合中文档的数量:db.createCollection("my_collection",{"capped":true,"size":10000,"max":10})  

    指定文档数量时,必须同时指定集合大小。固定集合的文档数量不能超过文档数量限制,固定集合的大小也不能超过大小限制。

3. 将某个常规集合转换为固定集合:db.runCommand({"convertToCapped":"test","size":10000})   无法将固定集合转换为非固定集合。

4. 自然排序:自然排序返回结果集中文档的顺序就是文档在磁盘上的顺序。只有固定集合中的自然排序才有意义,对其他集合来说文档位置经常变化,自然排序意义不大。

5. 循环游标:一种特殊的游标,当循环游标的结果集被取光后,游标不会被关闭。当有新文档插入到集合时,循环游标会继续取到结果。由于普通集合并不维护文档的插入顺序,循环游标只能用在固定集合上。

6. 调用createCollection创建集合时指定autoIndexId选项为false,创建集合时就不会自动在"_id"上创建索引。实践中不建议这么用,但对于只有插入操作的集合来说,这确实可以带来速度上的稍许提升。

7. TTL索引:如果需要更加灵活的老化移出系统,可以使用TTL索引,这种索引允许为每一个文档设置一个超时时间。一个文档到达预设置的老化程度之后就会被删除。这种类型的索引对于缓存问题很有用。

    db.foo.ensureIndex({"lastUPdated":1},{"expireAfterSecs":60*60*24})            // 过期时间24小时

    MongoDB每分钟对TTL索引进行一次清理,所以不应该依赖以秒为单位的时间保证索引的存活状态。可以使用collMod命令修改expireAfterSecs的值:

    db.runCommand({"collMod":"someapp.cache","expireAfterSecs":3600})           

    一个给定的集合上可以有多个TTL索引,但TTL不能是复合索引。

8. 全文本索引:暂不建议使用,性能影响太大。

9. 地理空间索引:最常用的是2dsphere索引(用于地球表面类型的地图)和2d索引(用于平面地图和时间连续的数据)

10. 使用GridFS存储文件:GridFS是MongoDB的一种存储机制,用来存储大型二进制文件。

      优点:

      a. 简化你的栈,可以使用GRIDFS来代替独立的文件存储工具。

      b. 对文件存储做故障转义或者横向扩展更容易

      c. 可以比较从容地解决其他一些文件系统可能遇到的问题。

      d. 文件存储的集中度会比较高

      缺点:

  a. 性能低:从MongoDB中访问文件,不如直接从文件系统中访问文件速度快。

      b. 如果要修改GridFS上的文档,只能先将已有的文档删除。

      通常来说,如果你有一些不常改变但是经常需要连续访问的大文件,那么使用GridFS再合适不过。(性能呢?因为缓存到内存了?)

11. GridFS背后的理念:可以将大文件分割为多个比较大的块,将每个快作为独立的文档进行存储。有一个文档用于将这些块组织在一起并存储该文档的元信息。

12. 可以使用任何自定义的字段来保存必须的文件元信息。可能你希望在文件元信息中保存文件的下载次数,MIME类型或者用户评分。

 

 

聚合

如果你有数据存储在MongoDB中,你想做的可能就不仅仅是将数据提取出来那么简单;你可能希望对数据进行分析加以利用。本章介绍MongoDB提供的聚合工具

1. 聚合框架:使用聚合框架可以对集合中的文档进行变化和组合。基本上,可以用多个构架创建一个管道,用于对一连串的文档进行处理。这些构件包括筛选、投射、分组、排序、限制和跳过。

2. 管道操作符:每个操作符都会接受一连串的文档,对这些文档做一些类型转换,最后将转换后的文档作为结果传递给下一个操作(对于最后一个管道操作符,是将结果返回给客户端)。不同的

                     管道操作符可以按任意顺序组合在一起使用,而且可以被重复任意多次。

                     1). $match : $match用于对文档集合进行筛选,之后就可以在筛选得到的文档子集上做聚合。在实际使用中应该尽可能将"$match"放在管道的前面位置,这样有两个好处:

                           a. 可以快速将不需要的文档过滤掉,以减少管道的工作量

                           b. 如果在投射和分组之前执行"$match",查询可以使用索引

                           用法:{$match:{"state":"OR"}}

                      2). $project : 可以从文档中提取字段,可以重命名字段,还可以进行一些其他操作。

                           用法:db.articles.aggregate({"$project":{"author":1,"_id":0}})   只返回author字段。

                           字段重命名:{"$project":{"userId":"$_id","_id":0}}     $fieldname语法是为了在聚合框架中引用fieldname字段的值。重命名后不能使用原字段上的索引。

                           数学表达式:

                           a. $add : [expr1[,expr2....exprN] 这个操作符是接收一个或多个表达式作为参数,将这些表达式相加

                           b. $subtract : [expr1,expr2]  接收两个表达式,用第一个表达式减去第二个表达式作为结果

                           c. $multiply : [expr1[,expr2.....exprN] : 将参数相乘

                           d. $divide : [expr1,expr2] 第一个表达式除以第二个表达式的商作为结果

                           e. $mod [expr1,expr2] 第一个表达式除以第二个表达式的余数作为结果

                           日期表达式

                           $year ,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second

                           字符串表达式:

                           a. $substr : [expr,startOffset,numToReturn] : 截取字符串,从startOffset字节开始的numToReturn字节。注意是字节不是字符。

                           b. $concat : [expr1,expr2,....exprN] : 将给定的表达式(或者字符串)连接在一起作为返回结果

                           c. $toLower : expr  返回小写形式

                           d. $toUpper: expr 返回大写形式

                           逻辑运算符:

                           $cmp:[expr1,expr2] : 比较expr1和expr2。如果expr1等于expr2,返回0,;如果expr1小于expr2;返回负数;如果大于,返回正数

                           $strcasecmp:[string1,string2] : 比较字符串大小

                           $eq/$ne/$gt/$gte/$lt/$lte:[expr1,expr2]

                            几个布尔表达式:

                            $and:[expr1,expr2...exprN] 如果所有表达式都为true,则返回true,否则返回false

                            $or : [expr1,expr2...exprN]  有一个为true,则返回true

                            $not : expr 对表达式取反

                            两个控制语句:

                            $cond :[booleanExpr,trueExpr,falseExpr] : 如果booleanExpr为true,返回trueExpr,否则返回falseExpr

                            $ifNull : [expr,replacementExpr] : 如果expr为null,返回replacementExpr,否则返回expr

                     3). $group : $group 操作可以将文档依据特定字段的不同值进行分组。

                     4). $unwind : 拆分(unwind) 可以将数组的每一个值拆分成单独的文档。

                     5). $sort : 可以根据任何字段进行排序,与在普通查询中的语法相同。如果要对大量的文档进行排序,建议在管道的第一阶段进行排序,这样可以使用索引。                     

                     6). $limit : 接收一个数字n,返回集合中的前n个字段

                     7). $skip : 接收一个数字n,丢弃结果集中的前n个文档。

3. 使用管道:应该尽量在管道的开始阶段就将尽可能多的文档和字段过滤掉。管道如果不是直接从原先的集合中使用数据,那就无法再筛选和排序中使用索引。如果可能,聚合管道会尝试对操作进行排序,

                  以便能够有效的使用索引。如果MongoDB发现某个聚合操作占用了20%以上的内存,这个操作就会直接输出错误。

                  如果能够通过$match操作迅速减小结果集的大小,就可以使用管道进行实时聚合。

4. MapReduce : 非常强大,非常灵活。但速度慢,不应该用在实时的数据分析中。

5. 聚合命令:

    1). count : db.foo.count()

    2). distinct : db.runCommand({"distinct":"people","key":"age"})

    3). group

 

应用程序设计

1. 范式化:将数据分散到多个不同的集合,不用集合之间可以相互引用数据。虽然很多文档可以引用某一块数据,但是这块数据只存储在一个集合。

    反范式化:将每个文档所需的数据都嵌入在文档内部。每个文档都拥有自己的数据副本,而不是所有文档共同引用同一个数据副本。

    范式化能够提高数据写入速度,反范式化能够提高数据读取速度。

2. 更适合内嵌:子文档较小,数据不会定期改变,最终数据一致性即可,文档数据小幅增加,数据通常需要执行二次查询才能获得,快速读取

    更适合引用:子文档较大,数据经常变化,中间阶段的数据必须一致,文档数据大幅增加,数据通常不包含在结果中,快速写入

3. 优化数据操作:如果要优化应用程序,首先必须知道对读写性能进行评估以便能找到性能瓶颈。对读取操作的优化通常包括正确使用索引,以及尽可能将所需信息放在单个文档中返回,

    对写入操作的优化通常包括减少索引数量以及尽可能提高更新效率。

4. 经常需要再写入效率更高的模式与读取效率更高的模式之间权衡,所以必须要知道哪种操作对你的应用程序更重要。这里的影响因素并不只是读取和写入的重要性,也包括读取和写入操作的频繁程度.

5. 数据优化方式:

    1). 优化文档增长:更新数据时,需要明确更新是否会导致文件体积增大,以及增长程度。如果增长程序是可预知的,可以为文档预留足够的增长空间,这样可以避免文档移动,提高写入速度。

         检测一下填充因子,如果它大约是1.2或者更大,可以考虑手动填充。如果要对文档手动填充,可以在填充文档时创建一个占用空间比较大的字段,文档创建成功之后删除这个字段。

         插入时添加或者在upsert时,使用$setOnInsert创建这个字段。更新文档时,使用$unset移除。如果这个字段不存在,$unset操作什么也不做。

         可以考虑将会增长的字段,放在最后面。

    2). 删除旧数据,主要有三种方式:使用固定集合,使用TTL集合,使用定期删除集合。

6. 一致性管理:

    服务器为每个数据库连接维护一个请求队列。客户端每次发来的新请求都会添加到队列末尾。入队之后,这个连接上的请求会一次得到处理。一个连接拥有一个一致的数据库视图,可以总是读取到这个

    连接最新写入的数据。注意,每个队列只对应一个连接:如果打开两个shell,连接到相同的数据库,这时就存在两个不同的连接。如果在齐中一个shell中执行插入操作,紧接着在另一个shell中执行

    查询操作,新插入的数据肯呢个不会出现在查询结果中。

7. 不适合使用MongoDB的场景:

    1). MongoDB不支持事务

    2). 无法在多个维度上对不同类型的数据库进行连接。

    3). 你使用的工具不支持MongoDB

          

转载于:https://www.cnblogs.com/Jtianlin/p/5118097.html

你可能感兴趣的文章
mysql数据备份与恢复
查看>>
Openstack API常用命令
查看>>
OpenSSL漏洞凶猛来袭 慧眼恶意代码监测应对有方
查看>>
C语言 喝汽水问题
查看>>
LINUX中搭建DNS服务器,实现正向、反向以及访问不同DNS解析
查看>>
SCCM2012 R2实战系列之十:解决WDS服务无法启动问题(错误1067:进程意外终止)...
查看>>
ubuntu 下安装 mysql
查看>>
关于k-means聚类算法的matlab实现
查看>>
Git分支2
查看>>
一键安装Gitlab后的备份、迁移与恢复
查看>>
因为本人工作繁忙,精力有限,本博客停止更新。有兴趣的博友可以关注我在CSDN上的主博客...
查看>>
SQL server查看触发器是否被禁用
查看>>
[C++基础]在构造函数内部调用构造函数
查看>>
跟随我在oracle学习php(8)
查看>>
Spring 3.1.0 Hibernate 3.0 Eclipse Spring WEB例子
查看>>
UVA-10212 The Last Non-zero Digit. 分解质因子+容斥定理
查看>>
求两个集合的交集,并集,差集
查看>>
Kotlin的语法糖(一)基础篇
查看>>
OkHttp源码分析
查看>>
让你的app体验更丝滑的11种方法!冲击手机应用榜单Top3指日可待
查看>>