• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:distributed-computing

akka

分布式自然任务和Akka

分布式自然任务和Akka
这是我的问题的简化版本: 在服务器上,我们有n*m-类型为int[][]的矩阵,我们将此矩阵拆分为n行向量的集合,并将其放入队列中。当队列准备就绪(充满了向量)后,我们循环遍历并将每个向量发送到网络上某个地方的k客户端中,当且仅当客户端可以自由使用该矢量时(某些客户端状态检查消息传递的形式很方便)。所有客户端使用给定的向量执行相同的操作-它们计算向量的范数(……继续阅读 »

distributed-computing

Hadoop作业挂起等待被杀死

Hadoop作业挂起等待被杀死
我有多个Hadoop作业正在执行不同的处理。当其中某些异常(自定义业务异常)发生时,异常会传播到map()方法,作业立即被杀死。 但是,某些作业会在mapper类的setup()方法中引发异常。发生这种情况时,作业将挂起40分钟(必须将我的Hadoop计时器设置为此),并且使用任务重新运行策略,我必须等待4 * 40 = 160分钟。在此特定情况下,业务类之……继续阅读 »

corba

tnameserv:OSX的端口问题

tnameserv:OSX的端口问题
如何在OSX上使用tnameserv?每次启动服务器时,都会出现以下错误 (COMM_FAILURE) Unable to create listener thread on the specified port: 900 我知道1020以下的端口在Mac上是为root保留的,但是我是计算机上的root用户。我可以使用-ORBInitialPort 1050……继续阅读 »

distributed-computing

读取HDFS文件分割

读取HDFS文件分割
借助HDFS的Java API,可以轻松地读取文件,从而一次读取每个块。这是simple example。 我希望能够使用HDFS的FileSplits这样的文件一次读取一个文件。最终目标是与多台机器并行读取文件,每台机器读取一个区域块。给定HDFS路径,如何获得FileSplits或块? 不涉及Map-Reduce和其他处理器。严格来说,这是文件系统级别的……继续阅读 »

distributed-computing

如何保持对象实例同步

如何保持对象实例同步
我正在使用在我的应用程序中充当数据库的对象。但是,我需要具有该数据库的冗余副本。因此,在初始化时,我创建了同一对象的多个实例(例如5个)副本。 (我正在为此使用JAVA,因此任何预先存在的库提示也可能会有所帮助。) 该对象是一个服务器,它在端口上侦听其所保存信息的请求。其他实体可以随时通过相同或不同的端口来更新此信息。 我的问题如下: 会锁定策略吗在这种情况……继续阅读 »

distributed-computing

MPI应用程序使用大量库冻结了群集配置

MPI应用程序使用大量库冻结了群集配置
我已经使用Java和MPJ Express开发了MPI应用程序。它在多核配置中完美运行。 最近,它被授予我对分布式内存环境的访问权限以测试我的应用程序。首先,我使用MPJ HelloWorld应用程序来检查集群配置是否运行良好。之后,我继续运行我的应用程序,但显示以下内容后冻结: 在群集配置中启动了MPJ Express(0.38) 更糟的是,我使用Ctrl……继续阅读 »

architecture

“Adopting MapReduce model” =可扩展性的通用答案吗?

“Adopting MapReduce model” =可扩展性的通用答案吗?
我一直在尝试了解MapReduce的概念,并将其应用于当前情况。我现在是什么情况好吧,这里有一个ETL工具,其中数据转换发生在源和目标数据源(数据库)之外。因此,源数据源仅用于提取,而目标则用于加载。 因此,今天的这种转变举动要花费大约X个小时才能获得一百万条记录。我想解决这样一个场景:我有十亿条记录,但是我希望工作在相同的X个小时内完成。因此,这是我的产品……继续阅读 »