Из-за некоторой ошибки в одном компоненте файлы в HDFS накопились, и их число огромно, т.е. 2123516. Я хочу перечислить все файлы и скопировать их имя в один файл, но когда я запускаю следующую команду, появляется ошибка пространства кучи Java .
hdfs dfs -ls /tmp/content/
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3332)
at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:137)
at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:121)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:421)
at java.lang.StringBuffer.append(StringBuffer.java:272)
at java.net.URI.appendSchemeSpecificPart(URI.java:1911)
at java.net.URI.toString(URI.java:1941)
at java.net.URI.<init>(URI.java:742)
at org.apache.hadoop.fs.Path.initialize(Path.java:145)
at org.apache.hadoop.fs.Path.<init>(Path.java:126)
at org.apache.hadoop.fs.Path.<init>(Path.java:50)
at org.apache.hadoop.hdfs.protocol.HdfsFileStatus.getFullPath(HdfsFileStatus.java:215)
at org.apache.hadoop.hdfs.DistributedFileSystem.makeQualified(DistributedFileSystem.java:252)
at org.apache.hadoop.hdfs.DistributedFileSystem.listStatus(DistributedFileSystem.java:311)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:842)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:902)
at org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1032)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:987)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:965)
at org.apache.hadoop.fs.shell.Command.runAll(Command.java:62)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:1822)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:1895)
Есть ли другой способ перечислить файлы и сколько места в куче требуется для перечисления 2400000 файлов?
Вы можете попробовать увеличить размер кучи CLI, установив HADOOP_HEAPSIZE окр. переменная, например:
$ HADOOP_HEAPSIZE=1000 hdfs dfs -ls /tmp/content
Число в МБ, так что будьте осторожны :)
Более важный вопрос: что вы собираетесь делать с более чем 2M файлами на консоли? Вы не планируете куда-то перенаправлять вывод?