Ejemplo de recuento de palabras de MapReduce – javatpoint

En el ejemplo de recuento de palabras de MapReduce, descubrimos la frecuencia de cada palabra. Aquí, el rol de Mapper es mapear las claves a los valores existentes y el rol de Reducer es agregar las claves de valores comunes. Entonces, todo está representado en forma de par clave-valor.

Requisito previo

• Instalación de Java – Compruebe si Java está instalado o no con el siguiente comando.
  java -version
• Instalación de Hadoop – Verifique si Hadoop está instalado o no usando el siguiente comando.
  versión hadoop

Si alguno de ellos no está instalado en su sistema, siga el enlace a continuación para instalarlo.

www.javatpoint.com/hadoop-installation

Pasos para ejecutar el ejemplo de recuento de palabras de MapReduce

• Cree un archivo de texto en su máquina local y escriba algo de texto en él.
  $ nano data.txt

• Verifique el texto escrito en el archivo data.txt.
  $ cat data.txt

En este ejemplo, descubrimos la frecuencia de cada palabra que existe en este archivo de texto.

• Cree un directorio en HDFS, donde guardar el archivo de texto.
  $ hdfs dfs -mkdir / prueba
• Cargue el archivo data.txt en HDFS en el directorio específico.
  $ hdfs dfs -put /home/codegyani/data.txt / test

• Escriba el programa MapReduce usando eclipse.

Archivo: WC_Mapper.java

paquete com.javatpoint; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reporter; WC_Mapper de clase pública extiende MapReduceBase implementa Mapper <longwritable text intwritable> {IntWritable final estático privado = nuevo IntWritable (1); palabra de texto privada = nuevo texto (); mapa vacío público (clave LongWritable, valor de texto, salida de OutputCollector <text intwritable>, reporter reporter) lanza IOException {String line = value.toString (); Tokenizer StringTokenizer = nuevo StringTokenizer (línea); while (tokenizer.hasMoreTokens ()) {word.set (tokenizer.nextToken ()); output.collect (palabra, uno); }}}<br> </text></longwritable>

Archivo: WC_Reducer.java

paquete com.javatpoint; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reducer; import org.apache.hadoop.mapred.Reporter; public class WC_Reducer extiende MapReduceBase implementa Reducer <text intwritable text> {public void reduce (Text key, Iterator <intwritable> valores, OutputCollector <text intwritable> salida, Reporter reporter) lanza IOException {int sum = 0; while (valores.hasNext ()) {suma + = valores.next (). get (); } output.collect (clave, nuevo IntWritable (suma)); }}<br> </text></intwritable></text>

Archivo: WC_Runner.java

paquete com.javatpoint; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapred.JobClient; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapred.TextInputFormat; import org.apache.hadoop.mapred.TextOutputFormat; public class WC_Runner {public static void main (String[] args) lanza IOException {JobConf conf = new JobConf (WC_Runner.class); conf.setJobName («WordCount»); conf.setOutputKeyClass (Text.class); conf.setOutputValueClass (IntWritable.class); conf.setMapperClass (WC_Mapper.class); conf.setCombinerClass (WC_Reducer.class); conf.setReducerClass (WC_Reducer.class); conf.setInputFormat (TextInputFormat.class); conf.setOutputFormat (TextOutputFormat.class); FileInputFormat.setInputPaths (conf, nueva ruta (args[0])); FileOutputFormat.setOutputPath (conf, nueva ruta (args[1])); JobClient.runJob (conf); }}<br>

Descarga el código fuente.

• Cree el archivo jar de este programa y asígnele el nombre countworddemo.jar.
• Ejecuta el archivo jar
  hadoop jar /home/codegyani/wordcountdemo.jar com.javatpoint.WC_Runner /test/data.txt / r_output
• La salida se almacena en / r_output / part-00000

• Ahora ejecute el comando para ver el resultado.
  hdfs dfs -cat / r_output / part-00000