MapReduce的工作方式
MapReduce的工作方式
（1）工作流
Map函数：将输入的信息（往往是一个文件）进行处理，得到一系列的 (K,V) pairs
Reduce函数：将上一个步骤得到的所有（K,V) pairs 按照Key进行组织，得到 K, list(V),然后对这个list(V)进行统一处理，得到最终的结果
MapReduce 的工作流：
将输入文件分成 M 个小文件（每个文件的大小大概 16M-64M），在集群中启动 MapReduce 实例，其中一个 Master 和多个 Worker；
由 Master 分配任务，将 Map 任务分配给可用的 Worker；
Map Worker 读取文件，执行用户自定义的 map 函数，输出 key/value 对，缓存在内存中；
内存中的 (key, value) 对通过 partitioning function() 例如 hash(key) mod R 分为 R 个 regions，然后写入磁盘。完成之后，把这些文件的地址回传给 Master，然后 Master 把这些位置传给 Reduce Worker；
Reduce Worker 收到数据存储位置信息后，使用 RPC 从 Map Worker 所在的磁盘读取这些数据，根据 key 进行排序，并将同一 key 的所有数据分组聚合在一起（由于许多不同的 key 值会映射到相同的 Reduce 任务上，因此必须进行排序。如果中间数据太大无法在内存中完成排序，那么就要在外部进行排序）；Reduce Worker 将分组后的值传给用户自定义的 reduce 函数，输出追加到所属分区的输出文件中；
当所有的 Map 任务和 Reduce 任务都完成后，Master 向用户程序返回结果；
如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！
- 最近热门资源
- 银河麒麟桌面操作系统备份用户数据 123
- 统信桌面专业版【全盘安装UOS系统】介绍 116
- 银河麒麟桌面操作系统安装佳能打印机驱动方法 108
- 银河麒麟桌面操作系统 V10-SP1用户密码修改 101
- 最近下载排行榜
- 银河麒麟桌面操作系统备份用户数据 0
- 统信桌面专业版【全盘安装UOS系统】介绍 0
- 银河麒麟桌面操作系统安装佳能打印机驱动方法 0
- 银河麒麟桌面操作系统 V10-SP1用户密码修改 0
prtyaa 收益393.62元
zlj141319 收益217.85元
1843880570 收益214.2元
IT-feng 收益208.98元
风晓 收益208.24元
777 收益172.71元
Fhawking 收益106.6元
信创来了 收益105.84元
克里斯蒂亚诺诺 收益91.08元
技术-小陈 收益79.5元
