数据分区（Partition）⭐️⭐️

分区是通过哈希函数或自定义分区器将具有相同键的键值对分配到同一个分区中，以实现数据的局部聚合和排序。每个reduce任务只处理属于自己分区的数据，减少了数据传输和网络开销，提高了作业的执行效率和性能。

举例子说明：

假设有一个MapReduce作业，其中有3个reduce任务，每个reduce任务对应一个分区。现在假设有以下输入数据：

• 键值对1: (hadoop, 1)
• 键值对2: (hive, 1)
• 键值对3: (hadoop, 1)
• 键值对4: (spark, 1)
• 键值对5: (hive, 1)

假设我们使用默认分区器（哈希函数）将输入数据分配到3个reduce任务的不同分区中。

Partition1：

• 键值对1: (hadoop, 1)
• 键值对3: (hadoop, 1)

Partition2：

• 键值对2: (hive, 1)
• 键值对5: (hive, 1)

Partition3：

• 键值对4: (spark, 1)

在这个例子中，我们使用哈希函数将具有相同键的键值对分配到同一个分区中。键值对1和键值对3具有相同的键"hadoop"，它们被哈希函数映射到了Partition1。键值对2和键值对5具有相同的键"hive"，它们被哈希函数映射到了Partition2。键值对4具有键"spark"，它被哈希函数映射到了Partition3。

这样每个reduce任务只处理属于自己分区的数据。在这个例子中，reduce任务1会处理属于Partition1的键值对，reduce任务2会处理属于Partition2的键值对，reduce任务3会处理属于Partition3的键值对。

通过分区的方式，可以将输入数据划分到不同的reduce任务上进行处理，实现数据的局部聚合和排序。每个reduce任务只处理自己分区的数据，减少了数据的传输和网络开销，提高了作业的执行效率和整体性能。