mongoDB使用投影剔除‘额外’字段的操作过程_MongoDB

来源:脚本之家  责任编辑:小易  

简介

实际开发过程中,为便于开发人员定位问题,常存在多个额外的字段。例如:增加createdAt、updatedAt字段以查看数据的创建和更改时间。而对于客户端而言,无需知道其存在。针对以上情况,本文详细介绍了“额外”字段的用途以及处理过程。

技术栈

mongodb 4.0.20 mongoose 5.10.7

1  "额外"字段是什么

1.1 "额外"是指与业务无关

mongodb中,collection中存储的字段并不仅仅有业务字段。有些情况下,会存储多余的字段,以便于开发人员定位问题、扩展集合等。

额外的含义是指 和业务无关、和开发相关的字段。这些字段不需要被用户所了解,但是在开发过程中是至关重要的。

1.2 产生原因

产生额外字段的原因是多种多样的。

如使用mongoose插件向db中插入数据时,会默认的生成_id、__v字段 如软删除,则是通过控制is_deleted实现..

2 额外字段的分类

额外字段的产生原因有很多,可以以此进行分类。

2.1 _id、__v字段

产生原因:以mongoose为例,通过schema->model->entity向mongodb中插入数据时,该数据会默认的增加_id、__v字段。

_id字段是由mongodb默认生成的,用于文档的唯一索引。类型是ObjectID。mongoDB文档定义如下:


MongoDB creates a unique index on the _id field during the creation of a collection. The _id index prevents clients from inserting two documents with the same value for the _id field. You cannot drop this index on the _id field.<

__v字段是由mongoose首次创建时默认生成,表示该条doc的内部版本号。


The versionKey is a property set on each document when first created by Mongoose. This keys value contains the internal revision of the document. The versionKey option is a string that represents the path to use for versioning. The default is __v.

2.2 createdAt、updatedAt字段

createdAt、updatedAt字段是通过timestamp选项指定的,类型为Date。


The timestamps option tells mongoose to assign createdAt and updatedAt fields to your schema. The type assigned is Date.By default, the names of the fields are createdAt and updatedAt. Customize the field names by setting timestamps.createdAt and timestamps.updatedAt.

2.3 is_deleted字段

is_deleted字段是实现软删除一种常用的方式。在实际业务中,出于各种原因(如删除后用户要求再次恢复等),往往采用的软删除,而非物理删除。

因此,is_deleted字段保存当前doc的状态。is_deleted字段为true时,表示当前记录有效。is_deleted字段为false时,表示当前记录已被删除。

3 额外字段相关操作

3.1 额外字段生成

_id字段是必选项;__v、createdAt、updatedAt字段是可配置的;status字段直接加在s对应的chema中。相关的schema代码如下:

isdeleted: {
 type: String,
 default:true,
 enum: [true, false],
},
id: {
 type: String,
 index: true,
 unqiue: true,
 default:uuid.v4(),
}},
{timestamps:{createdAt:'docCreatedAt',updatedAt:"docUpdatedAt"},versionKey:false});

通过配置schema中的timestamps选项,可以将createdAt和updatedAt字段加入到doc中。在创建和更新doc时,这两个字段无需传入,就会自动变化。

3.2 额外字段清理

通过3.1可以明确的产生若干额外字段,但是客户端调用接口并返回时,这些字段是无需得知的。因此需对额外字段进行清理。清理方式分为投影和过滤。

以query、update接口为例。其中query接口用于:1、查询指定字段 2、查询全部字段 3、分页排序查询。update接口用于更新并返回更新后的数据。

根据是否需要指定字段、和collection中有无内嵌的情况划分,一共有4类。接着针对这4种情况进行分析。

1、有指定字段、无内嵌

2、无指定字段、无内嵌

3、有指定字段、有内嵌

4、无指定字段、有内嵌

3.2.1 投影

有指定字段是指在查询时指定查询字段,而无需全部返回。mongo中实现指定的方式是投影 (project) 。mongo官方文档中定义如下:


The $project takes a document that can specify the inclusion of fields, the suppression of the _id field, the addition of new fields, and the resetting of the values of existing fields. Alternatively, you may specify the exclusion of fields.

$project可以做3件事:

1.指定包含的字段、禁止_id字段、添加新字段

2.重置已存在字段的值

3.指定排除的字段

我们只需关注事情1、事情3。接着查看mongoose中对project的说明:


When using string syntax, prefixing a path with - will flag that path as excluded. When a path does not have the - prefix, it is included. Lastly, if a path is prefixed with +, it forces inclusion of the path, which is useful for paths excluded at the schema level.

A projection must be either inclusive or exclusive. In other words, you must either list the fields to include (which excludes all others), or list the fields to exclude (which implies all other fields are included). The _id field is the only exception because MongoDB includes it by default.

注意:此处指query "projection"

mongoose表明:投影要么是全包含,要么是全剔除。不允许包含和剔除同时存在。但由于

_id是MongoDB默认包含的,因此_id是个例外。

select project投影语句组装代码:

 /**
 * 添加通用筛选条件
 * @param {*} stat 已装配的筛选语句 
 * @param {*} collection collectionName
 * @return {*} 组装完成的语句
 */
 function addCommonSelectCond(stat,collection)
 {
 if(typeof(stat)!="object") return;

 stat["_id"] = 0;
 stat["__v"] = 0;
 stat["status"] = 0;
 stat["docCreatedAt"] = 0;
 stat["docUpdatedAt"] = 0;

 var embeddedRes = hasEmbedded(collection);
 if(embeddedRes["isEmbedded"])
 {
 for(var item of embeddedRes["embeddedSchema"])
 {
 stat[item+"._id"] = 0;
 stat[item+".__v"] = 0;
 stat[item+".status"] = 0;
 stat[item+".docCreatedAt"] = 0; 
 stat[item+".docUpdatedAt"] = 0; 
 }
 }
 return stat;
 }

3.2.2 过滤

通过findOneAndupdate、insert、query等返回的doc对象中(已经过lean或者toObject处理),是数据库中真实状态。因此需要对产生的doc进行过滤,包括doc过滤和内嵌文档过滤。

/**
 * 处理自身及内嵌的表
 * @param {*} collection 查询的表
 * @param {*} doc 已查询出的结果
 * @returns doc 清理后的结果
 */
static clearDoc(collection,doc){
 if(doc === undefined || doc === null || typeof doc != "object" ) return null;
 doc = this.clearExtraField(doc);

 var res = hasEmbedded(collection);
 if(res["isEmbedded"])
 {
 let arr = res["embeddedSchema"];
 for(var item of arr){
 if(doc[item])
 doc[item] = this.clearArray(doc[item]);
 }
 }
 return doc;
}

static clearExtraField(doc){
 if(doc === null || typeof doc != "object")
 return;
 
 var del = delete doc["docCreatedAt"]&&
 delete doc["docUpdatedAt"]&&
 delete doc["_id"]&&
 delete doc["__v"]&&
 delete doc["status"];
 if(!del) return new Error("删除额外字段出错");

 return doc;
}

static clearArray(arr)
{
 if(!Array.isArray(arr)) return;

 var clearRes = new Array();
 for(var item of arr){
 clearRes.push(this.clearExtraField(item));
 }
 return clearRes;
}

细心的读者已经发现了,投影和过滤的字段内容都是额外字段。那什么情况下使用投影,什么情况下使用过滤呢?

关于这个问题,笔者的建议是如果不能确保额外字段被剔除掉,那就采取双重认证:查询前使用投影,查询后使用过滤。

4 总结

本文介绍了实际业务中往往会产生额外字段。而在mongoDB中,"消除"额外字段的手段主要是投影、过滤。

以使用频率最高的查询接口为例,整理如下:

指定选项 内嵌选项 查询前投影 查询后过滤
有指定 无内嵌 ×
有指定 有内嵌 ×
无指定 无内嵌 ×
无指定 有内嵌 ×

因此,笔者建议无论schema中是否配置了options,在查询时组装投影语句,查询后进行结果过滤。这样保证万无一失,

额外字段才不会漏到客户端**。

到此这篇关于mongoDB使用投影剔除‘额外'字段的文章就介绍到这了,更多相关mongoDB用投影剔除额外字段内容请搜索真格学网以前的文章或继续浏览下面的相关文章希望大家以后多多支持真格学网!


  • 本文相关:
  • mongodb系列教程(一):nosql起源
  • mongodb入门教程之主从复制配置详解
  • mongodb aggregate 运用篇个人总结
  • mongodb索引的优化
  • mongodb的php驱动方法与技巧
  • mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍
  • mongodb日志文件过大的解决方法
  • mongodb各种查询操作详解
  • mongodb用mongoose得到的对象不能增加属性完美解决方法(两种)
  • mongodb导出查询结果到文件例子
  • mongodb 批量删除 怎么弄好
  • MongoDB中聚合的方法使用aggregate()返回的列表中...
  • mongodb在dao层怎么批量删除
  • mongoDB查询怎么忽略空值条件而查询其他条件
  • c#操作mongodb部分更新实体字段问题,求助高手
  • JavaAPI 操作 mongodb 如何删除字段值?
  • mongoTemplate怎么写多条件查询mongoDB中的数据
  • mongodb添加字段和批量插入数据
  • mongodb怎么删除多个字段
  • 怎么用mongoTemplate实现多条件查询mongodb中的数据
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全mssqlmysqlmariadboracledb2mssql2008mssql2005sqlitepostgresqlmongodbredisaccess数据库文摘数据库其它首页mongodb系列教程(一):nosql起源mongodb入门教程之主从复制配置详解mongodb aggregate 运用篇个人总结mongodb索引的优化mongodb的php驱动方法与技巧mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍mongodb日志文件过大的解决方法mongodb各种查询操作详解mongodb用mongoose得到的对象不能增加属性完美解决方法(两种)mongodb导出查询结果到文件例子mongodb常用操作命令大全mongodb各种查询操作详解mongodb数据库插入、更新和删除操mongodb 数据库操作--备份 还原 mongodb插入数据的3种方法mongodb中使用distinct去重的简单浅谈mysql和mariadb区别(mariadbmongodb整库备份与还原以及单个cmongodb查询操作限制返回字段的方mongodb 实现远程连接详解mongodb4.0构建分布式分片群集mongodb增加、移除shard server实例centos7安装和卸载mongodb数据库的方法详解mongodb搭建replica set的方法mongodb系列教程(六):java操作mongodbmongodb中的主从同步配置和mongod相关启动mongodb 3.4下远程连接认证失败的解决方法springboot+mongodb实现物流订单系统的代mongodb学习笔记—linux下搭建mongodb环境mongodb+php实现简单的增删改查
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved