Hadoop FileAlreadyExistsException: Output directory hdfs://<namenode public="" dns="">: 9000 / ввод уже существует</namenode>

У меня есть настройка Hadoop в полностью распределенном режиме с одним главным и 3 подчиненными устройствами. Я пытаюсь запустить файл jar с именем Tasks.jar который берет arg[0] как входной каталог и arg[1] как выходной каталог.

В моей среде hadoop у меня есть входные файлы в /input каталог и нет /output каталог в моей среде hadoop.

Я проверил это, используя hadoop fs -ls / команда

Теперь, когда я пытаюсь выполнить свой файл jar, используя следующую команду:

hadoop jar Tasks.jar ProgrammingAssigment/Tasks /input /output

Я получаю следующее исключение:

ubuntu@ip-172-31-5-213:~$ hadoop jar Tasks.jar ProgrammingAssignment/Tasks /input /output
16/10/14 02:26:23 INFO client.RMProxy: Connecting to ResourceManager at ec2-52-55-2-64.compute-1.amazonaws.com/172.31.5.213:8032
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ec2-52-55-2-64.compute-1.amazonaws.com:9000/input already exists
    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at ProgrammingAssignment.Tasks.main(Tasks.java:96)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Исходный код:

    public static void main(String []args)throws Exception{
    Configuration conf=new Configuration();
    Job wordCount=new Job(conf,"Word Count");
    wordCount.setJarByClass(Tasks.class); 
    FileInputFormat.addInputPath(wordCount, new Path(args[0]));//input1
    FileOutputFormat.setOutputPath(wordCount,new Path(args[1]));//output1 & input2
    //FileInputFormat.addInputPath(wordCount, new Path("/input"));
    //FileOutputFormat.setOutputPath(wordCount,new Path("/output"));
    wordCount.setMapperClass(totalOccurenceMapper.class);
    wordCount.setReducerClass(totalOccurenceReducer.class);
    wordCount.setMapOutputKeyClass(Text.class);
    wordCount.setMapOutputValueClass(Text.class);
    wordCount.setOutputKeyClass(Text.class);
    wordCount.setOutputValueClass(Text.class);
//  wordCount.waitForCompletion(true);
    System.exit(wordCount.waitForCompletion(true) ? 0 : 1);
    }

Если я жестко закодирую путь, который я прокомментировал в приведенном выше коде, я получу следующий результат:

ubuntu@ip-172-31-5-213:~$ hadoop jar Tasks.jar ProgrammingAssignment/Tasks 

16.10.14 15:51:19 INFO client.RMProxy: Подключение к ResourceManager по адресу ec2-52-55-2-64.compute-1.amazonaws.com/172.31.5.213:8032 14.10.14 15:51 : 20 INFO ipc.Client: Повторная попытка подключения к серверу: ec2-52-55-2-64.compute-1.amazonaws.com/172.31.5.213:8032. Уже пробовали 0 раз; Политика повторных попыток - RetryUpToMaximumCountWithFixedSleep (maxRetries = 10, sleepTime = 1000 МИЛЛИСЕКУНД) 16/10/14 15:51:21 ИНФОРМАЦИЯ ipc.Client: Повторная попытка подключения к серверу: ec2-52-55-2-64.compute-1.amazonaws. com / 172.31.5.213: 8032. Уже пробовал 1 раз; Политика повторных попыток - RetryUpToMaximumCountWithFixedSleep (maxRetries = 10, sleepTime = 1000 МИЛЛИСЕКУНД) 16/10/14 15:51:22 ИНФОРМАЦИЯ ipc.Client: Повторная попытка подключения к серверу: ec2-52-55-2-64.compute-1.amazonaws. com / 172.31.5.213: 8032. Уже пробовал 2 раза (а); Политика повторных попыток - RetryUpToMaximumCountWithFixedSleep (maxRetries = 10, sleepTime = 1000 МИЛЛИСЕКУНД) 16/10/14 15:51:23 ИНФОРМАЦИЯ ipc.Client: Повторная попытка подключения к серверу: ec2-52-55-2-64.compute-1.amazonaws. com / 172.31.5.213: 8032. Уже пробовал 3 раза (а); Политика повторных попыток - RetryUpToMaximumCountWithFixedSleep (maxRetries = 10, sleepTime = 1000 МИЛЛИСЕКУНД)