上一节:
下一节:

  Hadoop 流

  • 流

    Hadoop 流是Hadoop发行版随附的实用程序。使用此实用程序，您可以使用任何可执行文件或脚本作为映射器和/或化简器来创建和运行Map/Reduce作业。

  • 使用Python的示例

    对于Hadoop流，我们正在考虑字数问题。Hadoop中的任何作业都必须具有两个阶段：映射器和化简器。我们已经在python脚本中为mapper和reducer编写了代码，以在Hadoop下运行它。也可以在Perl和Ruby中编写相同的代码。
    Map 代码 
    
import sys

# Input takes from standard input for myline in sys.stdin: 
   # Remove whitespace either side 
   myline = myline.strip() 

   # Break the line into words 
   words = myline.split() 

   # Iterate the words list
   for myword in words:
      # Write the results to standard output 
      print '%s\t%s' % (myword, 1)
    确保此文件具有执行权限（chmod +x /home/expert/ hadoop-1.2.1/mapper.py）。
    Reducer代码 
    
from operator import itemgetter 
import sys 

current_word = ""
current_count = 0 
word = "" 

# Input takes from standard input for myline in sys.stdin: 
   # Remove whitespace either side 
   myline = myline.strip() 

   # Split the input we got from mapper.py word, 
   count = myline.split('\t', 1) 

   # Convert count variable to integer 
   try: 
      count = int(count) 

   except ValueError: 
      # Count was not a number, so silently ignore this line continue

   if current_word == word: 
   current_count += count 
   else: 
      if current_word: 
         # Write result to standard output print '%s\t%s' % (current_word, current_count) 
   
      current_count = count
      current_word = word

# Do not forget to output the last word if needed! 
if current_word == word: 
   print '%s\t%s' % (current_word, current_count)
    将mapper和reducer代码保存在Hadoop主目录中的mapper.py和reducer.py中。确保这些文件具有执行权限（chmod +x mapper.py和chmod +x reducer.py）。由于python对缩进敏感，因此可以从下面的链接下载相同的代码。

  • 执行WordCount程序

    
$ $HADOOP_HOME/bin/hadoop jar contrib/streaming/hadoop-streaming-1.
2.1.jar \
   -input input_dirs \ 
   -output output_dir \ 
   -mapper <path/mapper.py \ 
   -reducer <path/reducer.py
    其中“\”用于换行以保持清晰的可读性。
    例如， 
    
./bin/hadoop jar contrib/streaming/hadoop-streaming-1.2.1.jar -input myinput -output myoutput -mapper /home/expert/hadoop-1.2.1/mapper.py -reducer /home/expert/hadoop-1.2.1/reducer.py

  • 流如何工作

    在上面的示例中，映射器和化简器都是python脚本，它们从标准输入读取输入，并将输出发射到标准输出。该实用程序将创建一个Map/Reduce作业，将该作业提交到适当的群集，并监视该作业的进度，直到完成为止。为映射器（mapper）指定脚本后，初始化映射器时，每个映射器任务都会将脚本作为单独的进程启动。映射器任务运行时，它将其输入转换为行，并将行输入到流程的标准输入（STDIN）。同时，映射器从流程的标准输出（STDOUT）收集面向行的输出，并将每行转换为键值对，并作为映射器的输出进行收集。默认情况下，直到第一个制表符的行的前缀是键，其余的行（不包括制表符）将是值。如果该行中没有制表符，则将整行视为键，并且该值为null。但是，可以根据需要对此进行自定义。
    为减速器（reducer）指定脚本后，每个减速器任务都会将脚本作为单独的进程启动，然后初始化减速器。reducer任务运行时，它将其输入键值对转换为行，并将这些行馈送到流程的标准输入（STDIN）。同时，Reducer从流程的标准输出（STDOUT）收集面向行的输出，将每条线转换为键值对，然后将其作为reducer的输出进行收集。默认情况下，直到第一个制表符的行的前缀是键，其余的行（不包括制表符）是值。但是，可以根据特定要求进行自定义。

  • 重要命令

    参数 选项 描述
    -input directory/file-name 必需的 映射器的输入位置。
    -output directory-name 必需的 减速器的输出位置。
    -mapper executable or script or JavaClassName 必需的 映射器可执行文件。
    -reducer executable or script or JavaClassName 必需的 Reducer可执行文件。
    -file file-name 可选的 使映射程序，reducer或combiner可执行文件在计算节点上本地可用。
    -inputformat JavaClassName 可选的 您提供的类应返回Text类的键/值对。 如果未指定，则将TextInputFormat用作默认值。
    -outputformat JavaClassName 可选的 您提供的类应采用Text类的键/值对。 如果未指定，则将TextOutputformat用作默认值。
    -partitioner JavaClassName 可选的 确定将哪个还原密钥发送到的类。
    -combiner streamingCommand or JavaClassName 可选的 组合器可执行文件，用于地图输出。
    -cmdenv name=value 可选的 将环境变量传递给流命令。
    -inputreader 可选的 对于向后兼容：指定记录读取器类（而不是输入格式类）。
    -verbose 可选的 详细输出。
    -lazyOutput 可选的 延迟创建输出。 例如，如果输出格式基于FileOutputFormat，则仅在第一次调用output.collect（或Context.write）时创建输出文件。
    -numReduceTasks 可选的 指定减速器的数量。
    -mapdebug 可选的 地图任务失败时调用的脚本。
    -reducedebug 可选的 减少任务失败时调用的脚本。
上一节:
下一节: