• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:distributed

distributed

Java分布式应用程序-消息传递

Java分布式应用程序-消息传递
我目前正在从事一个大学项目,其中我们正在为万维网构建内容提取器。为此,到目前为止,我们有2个模块:一个Web搜寻器和一个Indexer,它们将在2台单独的计算机上运行。我们计划随着工作的进行添加更多的模块,但是现在,我们需要在2之间进行某种形式的消息传递,以进行通信。 我们不确定的是: (i)我们认为我们的应用程序不需要同步消息传递。基本上,搜寻器模块搜寻网……继续阅读 »

cascading

级联groupby示例

级联groupby示例
我最近不得不做级联工作。我以前从未有过使用分布式系统的经验,因此在理解如何进行这项工作时遇到了一些麻烦。 我有一个配置文件,其中有很多存储桶: Bucket{ bucket_name: "X" input_path: "s3://..." key_column: 1 value_column: 2 multivalue: false ……继续阅读 »

c/c++

Java和C++对象的低延迟分布式缓存

Java和C++对象的低延迟分布式缓存
[背景] 我正在研究用于信号分析/图像处理的Java服务器端进程。主服务器进程将接受用户的请求/输入参数(XML /图像)。然后它将分配请求/输入到多个处理引擎。处理引擎是用Java编写的。他们将执行JNI调用以进行图像/信号处理。它们将通过RMI进行通信。 相同的请求将使用不同的输入参数再次处理,并且输入参数非常大(图像大小:1-2MB)。我们不想每次……继续阅读 »

apache-zookeeper

使用Apache ZooKeeper实现死锁检测

使用Apache ZooKeeper实现死锁检测
我在一家小型软件公司工作,负责研究分布式锁管理器供我们使用。它必须同时与Java和C++交互。 我已经与ZooKeeper一起工作了几周,现在需要实现死锁检测have implemented shared locks (read and write locks) according to the documentation.。如果每个客户端都可以维护一个锁图……继续阅读 »

c/c++

Java和C++对象的低延迟分布式缓存

Java和C++对象的低延迟分布式缓存
[背景] 我正在研究用于信号分析/图像处理的Java服务器端进程。主服务器进程将接受用户的请求/输入参数(XML /图像)。然后它将分配请求/输入到多个处理引擎。处理引擎是用Java编写的。他们将执行JNI调用以进行图像/信号处理。它们将通过RMI进行通信。 相同的请求将使用不同的输入参数再次处理,并且输入参数非常大(图像大小:1-2MB)。我们不想每次……继续阅读 »

distributed

P2P应用程序的容错的Java实现

P2P应用程序的容错的Java实现
我有一个由LiteSoft.org编码的P2P应用程序。我正在寻求在此应用程序中实现领导者选举系统。在开始之前,我必须具有一个容错系统,该系统将由向对等方(在这种情况下为协调器)发送请求以检查他是否仍在响应组成。如何实现计时器系统来发送请求? 解决方案如下: 如果我正确地理解了您的问题,您是否想一遍又一遍地重复执行相同的操作?查看执行器服务。我想这就……继续阅读 »

distributed

Hadoop最后一个 map 作业卡住-需要帮助

Hadoop最后一个 map 作业卡住-需要帮助
我正在使用hadoop map-reduce作业进行一些文本处理。我的工作完成了99.2%,并停留在上一个 map 工作上。 map 输出的最后几行如下所示。上次,当出现此问题时,我尝试打印出map发出的键值,并注意到其中一个键具有与之关联的大量值,并且我认为它在对这些值进行排序时似乎卡住了。然后,我停止从 map 作业中使用该键,并且该键工作正常。 我认……继续阅读 »

distributed

创建大量的多个输出

创建大量的多个输出
我正在创建大量的输出文件,例如500。我正在被创建异常,如下所示。输出文件数少时,程序将自行恢复。对于前。如果有50个文件(尽管发生此异常),则在多次打印此异常后,程序将开始成功运行。 但是,对于许多文件,最终会失败,并显示IOException。 我粘贴了错误,然后粘贴了以下代码: 12/10/29 15:47:27 INFO mapred.JobCli……继续阅读 »