Hadoop环境配置及WordCount示例

Eclipse配置

在Eclipse中进行Hadoop插件配置，首先将hadoop-common-project的winutils.exe复制到本地Hadoop的$HADOOP_HOME/bin目录，hadoop.dll则复制到%windir%\System32目录。启动Eclipse后，通过菜单选择“Window > Show View > Other > Map/Reduce Tools > Map/Reduce Locations”进行配置，完成后即可连接到远程DFS。

Windows环境配置

在Windows系统上设置Hadoop环境变量，通常不需要手动配置本地Hadoop即可使用。将winutils.exe和hadoop.dll分别放置在对应的路径下，确保环境变量HADOOP_HOME正确指向Hadoop安装目录。

WordCount示例运行

创建一个Maven项目，引入相关的Hadoop依赖。将core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件复制到项目的src/main/resources目录。将WordCount源码导入项目，编译并将JAR打包为testWordCount.jar。

在运行配置中，修改主类的代码，添加输入输出路径。例如，输入文件路径设置为hdfs://192.168.5.174:9000/user/hadoop/testdata/test.log，输出目录设为hdfs://192.168.5.174:9000/user/hadoop/testdata/output2。运行后，可在输出目录查看结果文件。

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.IOException;public class WordCountMain {    public static void main(String[] args) throws IOException {        String inputPath = "hdfs://192.168.5.174:9000/user/hadoop/testdata/test.log";        String outputPath = "hdfs://192.168.5.174:9000/user/hadoop/testdata/output2";                Configuration conf = new Configuration();        FileSystem fs = FileSystem.get(URI.create(inputPath), conf);                Path outputPath = new Path(outputPath);        if (!outputPath.exists(fs, new ProgressableIOException())) {            fs.mkdirs(fs, new Path(outputPath), fs.getPermission(), true);        }                // 类似于上述代码，添加其他操作逻辑    }}

转载地址：http://kawo.baihongyu.com/

你可能感兴趣的文章

NotImplementedError: Cannot copy out of meta tensor； no data! Please use torch.nn.Module.to_empty()