MongoDB mapReduce

  • mapReduce

    根据MongoDB文档,Map-reduce是一种数据处理范例,用于将大量数据压缩为有用的聚合结果。MongoDB使用mapReduce命令进行map-reduce操作。MapReduce通常用于处理大型数据集。
  • MapReduce命令

    以下是基本mapReduce命令的语法-
    
    >db.collection.mapReduce(
       function() {emit(key,value);},  //map function
       function(key,values) {return reduceFunction}, {   //reduce function
          out: collection,
          query: document,
          sort: document,
          limit: number
       }
    )
    
    map-reduce函数首先查询集合,然后映射结果文档以发出键-值对,然后根据具有多个值的键对其进行缩减。在上面的语法中-
    • map是一个javascript函数,它使用键映射值并发出键值对,reduce是一个javascript函数,用于减少或分组所有具有相同密钥的文档
    • out指定map-reduce查询结果的位置
    • 查询指定用于选择文档的可选选择标准
    • sort指定可选的排序条件
    • limit指定要返回的可选最大文档数
  • 使用MapReduce

    考虑以下存储用户帖子的文档结构。该文档存储用户的user_name和发布状态。
    
    {
       "post_text": "jc2182 is an awesome website for tutorials",
       "user_name": "mark",
       "status":"active"
    }
    
    现在,我们将在我们的帖子集合上使用mapReduce函数来选择所有活动的帖子,根据user_name将它们分组,然后使用以下代码对每个用户的帖子数进行计数-
    
    >db.posts.mapReduce( 
       function() { emit(this.user_id,1); }, 
      
       function(key, values) {return Array.sum(values)}, {  
          query:{status:"active"},  
          out:"post_total" 
       }
    )
    
    上面的mapReduce查询输出以下结果-
    
    {
       "result" : "post_total",
       "timeMillis" : 9,
       "counts" : {
          "input" : 4,
          "emit" : 4,
          "reduce" : 2,
          "output" : 2
       },
       "ok" : 1,
    }
    
    结果显示,总共有4个文档与查询匹配(status:"active"),map函数发出了4个具有键值对的文档,最后reduce函数将具有相同键的映射文档分为2个。要查看此mapReduce查询的结果,请使用find运算符-
    
    >db.posts.mapReduce( 
       function() { emit(this.user_id,1); }, 
       function(key, values) {return Array.sum(values)}, {  
          query:{status:"active"},  
          out:"post_total" 
       }
      
    ).find()
    
    上面的查询给出以下结果,表明用户tom和mark都有两个处于活动状态的帖子-
    
    { "_id" : "tom", "value" : 2 }
    { "_id" : "mark", "value" : 2 }
    
    以类似的方式,MapReduce查询可用于构造大型复杂的聚合查询。自定义Javascript函数的使用利用了MapReduce,它非常灵活且功能强大。