您的位置:首页 > 数据 >
【并行开发】mpjdaemon批处理命令中的问题分析 世界热文
来源:CSDN 2023-01-12 08:17:38

在前面的两个PART中,我们分别搭建了并行开发环境,并小试牛刀实践了简单的并行开发。


(资料图片)

当然在这个过程中,出现这样或那样的问题是在所难免的,这一部分我们就来讨论一下其中可能会遇到的问题。

问题1:当我们搭建好开发环境后,我们需要试用一下mpjdaemon批处理命令,此时可能遇到的一个问题是: Port is not available,如下图所示。

问题在于端口不可用。我们根据提示找到配置文件mpjexpress.conf所在的文件夹,然后用记事本把它打开,如下所示。可见,默认情况下port.1=10000,port.2=10001。

此时,我们只需对端口进行调整,例如修改为下面这种结果(当然,应该保证8888和8889并没有被占用)

修改完成后保存文件,问题即得到解决。

问题2:注意到我们把解压后的MPJ Express文件存于路径“D:\mpj-v0_43”下,并相应的将环境变量MPJ_HOME赋值为D:\mpj-v0_43。如果我们将文件存于路径“D:\Program Files\mpj-v0_43”下,并相应的修改环境变量赋值,将会有什么变化?

这似乎是一个看起来完全不是问题的问题,但是一旦我们这样做了,当再使用mpjdaemon批处理命令时,就会遇到下面这种情况。

结果显示报错了!

Error: Unable to access jarfile D:\Program

系统没有办法访问相应的jar文件。但是为什么?这是因为Program Files这个文件夹的名字不合法。这种文件夹的名字在Windows中当然没有任何问题,对于我们日常的大多数应用开发而言这也不会成为一个问题。但是在MPJ Express中,文件夹的名字中间是不能包含有“空格”的。我们都知道,在控制台中输入一条指令时,空格通常是用来间隔操作符与操作数的,或者可以认为空格也是有意义的,因此MPJ Express中的批处理命令在解析一个带有空格的路径名的时候就会产生混乱。这就是问题所在。所以只要我们把MPJ Express文件的存放路径稍作调整即可消除此类问题。

此外,在命令行中查看当前环境变量设置情况的一个简单方法是使用echo指令,例如

问题3:上一个问题除了会发生在控制台操作界面上以外,在Eclipse中也会出现。回想在PART2中,我们设置VM arguments参数时是这样写的

-jar D:/mpj-v0_43/lib/starter.jar

-np 4

可见我们使用了一个绝对路径!而更多的时候我们都习惯于写相对路径,此时用户需要在菜单栏中选择"Window",然后在下拉菜单中选择"Preferences",如下所示。

然后在从左侧的列表中选择“String Substitution”,并新建一个“变量替换”,如下所示。

完成上述步骤后,我们就可以使用形如下面这种情况的相对路径了。

-jar ${MPJ_HOME}/lib/starter.jar

这里我们需要注意,MPJ_HOME的值仍然不能等于一个有空格的路径,否则就会出现下面这个错误,原理与问题2相同,这里不再赘述。

问题4:最后我们讨论一下在命令下编译运行并行程序的方法。

首先编辑下列代码并将其存入一个名为HelloWorld.java的文件中。

import mpi.*;

public class HelloWorld{

public static void main(String[] args)  throws Exception

{

MPI.Init(args);

int me = MPI.COMM_WORLD.Rank();

int size = MPI.COMM_WORLD.Size();

System.out.println            ("Hi from " + me + " of " + size + "\n");

MPI.Finalize();

}

}

编译指令示例: javac -cp .;%MPJ_HOME%/lib/mpj.jar HelloWorld.java

执行指令示例: mpjrun.bat -np 4 HelloWorld  a //其中a是一个任意指定的参数

执行结果,如下所示。

上面这种情况是执行并行计算的第一种场景,即在多核配置下执行MPJ Express 程序。

我们通过mpjrun.bat -np 后面的数字来指定核的数量。

另外一种场景是在集群(Cluster)配置下执行MPJ Express 程序。

集群配置: 如果开发人员期望在分布式内存平台(包括集群和计算机网络)上执行并行JAVA程序,那么他们就会采样这种配置场景。

对于这种集群配置,一共有四种选项,如下:

1) niodev - 使用 Java NIO Sockets

2) mxdev - 使用 Myrinet eXpress (MX) library for Myrinet networks

3) hybdev - 针对多核处理的集群

4) native - 使用一个 native MPI library (curretly only tested under MS-MPI for Windows)

具体使用时写一个名为"machines"的文件,并在其中指定用于并发执行的所有主机名或IP地址。

执行方法

对于 niodev, hybdev and mxdev

1) 开启守护: mpjdaemon.bat -boot

- 你将需要在每一个开启守护的机器上手动地执行该命令。

2) 执行指令示例: mpjrun.bat -np 4 -dev niodev HelloWorld

-- 其中 -dev 里面的 device可以是 niodev, hybdev 或 mxdev

3) 终止守护指令: mpjdaemon.bat -halt

对于 native

1) 编译 JNI wrapper library(具体编译方法请参见MPJ Express的相关帮助文档)

2) 执行指令示例: mpjrun.bat -np 4 -dev native HelloWorld

全文完。

关键词:
相关文章
环球观速讯丨解读 | 《矿山救护队标准化定级管理办法》

环球观速讯丨解读 | 《矿山救护队标准化定级管

  近日,应急管理部印发了《矿山救护队标准化定级管理办法》(以下简称《定级办法》)。为落实好《定级办法》,现解读如下:  一、制定背更多

2023-01-11 10:07:48
暖冬天气抑制需求 美国煤炭价格上周暴跌45%|最新资讯

暖冬天气抑制需求 美国煤炭价格上周暴跌45%|最新

  美国煤炭价格从历史高点大幅下跌,原因是暖冬天气缓解了对化石燃料需求。数据显示,截至1月6日当周,北部阿巴拉契亚地区的煤炭价格跌至每更多

2023-01-11 10:08:57
环球快报:2023年能源经济走势向好

环球快报:2023年能源经济走势向好

  1月8日,2023年能源经济预测与展望研究系列报告发布。报告显示,2022年中国能源经济稳步回升,2023年能源经济走势向好。  最新发布的《更多

2023-01-11 09:57:50
煤矿智能化进入快速发展阶段_百事通

煤矿智能化进入快速发展阶段_百事通

  日前召开的全国矿山智能化建设和安全发展推进视频会透露,2020年八部委联合印发《关于加快煤矿智能化发展的指导意见》和全国煤矿智能化建更多

2023-01-11 10:12:06
山东能源集团党委书记、董事长李伟当选“2022中国经济年度人物

山东能源集团党委书记、董事长李伟当选“2022中国

  1月6日,2022中国十大经济年度人物颁奖盛典在北京举行。中国梦杯•中国经济新闻人物——2022十大经济年度人物评选是由中国经济传媒协会主更多

2023-01-10 11:15:29
2022年黄骅港完成煤炭运量20515.8万吨 世界热点

2022年黄骅港完成煤炭运量20515.8万吨 世界热点

1月8日,船舶在黄骅港码头装运煤炭。黄骅港煤炭堆场转运设备在作业(1月8日摄,无人机照片)。  位于河北沧州的黄骅港是西煤东运、北煤南运更多

2023-01-10 10:12:46
世界热议:2022年煤矿智能化重大进展发布会在京召开

世界热议:2022年煤矿智能化重大进展发布会在京召开

  1月7日,2022年煤矿智能化重大进展发布会在京召开。本次发布会旨在展示交流2022年煤矿智能化科技创新和建设成果,总结推广经验,发挥先进更多

2023-01-10 10:16:42
环球热头条丨2023年内蒙古煤炭目标产量将达到12.5亿吨

环球热头条丨2023年内蒙古煤炭目标产量将达到12.5

  记者从1月5日召开的2023年全区能源工作会议上获悉,2023年,我区将继续肩负起保障国家能源安全的重大政治责任,全力以赴保障能源安全稳定更多

2023-01-10 10:00:38
2022年我国原煤产量过亿吨企业增至7家

2022年我国原煤产量过亿吨企业增至7家

  据中国煤炭工业协会统计与信息部初步统计,2022年,全国原煤产量超5000万吨企业15家,与去年持平。产量合计约为259亿吨,较去年增加约13亿更多

2023-01-10 09:55:09
每日热闻!CCTD重磅分析:2023年煤炭市场展望

每日热闻!CCTD重磅分析:2023年煤炭市场展望

  2022年,虽然受到国际能源市场持续紧张、高温干旱暴雨极端天气、疫情扰动以及输入性通胀等因素影响,但是在政策调控和市场机制的配合下,更多

2023-01-10 10:15:31