- 如果您觉得本站非常有看点，那么赶紧使用Ctrl+D 收藏吧
在pyspark中调用scala代码
情境说明
问题
我们这边是要使用Spark去并行一个自然语言处理的算法，其中使用到了LDA主题模型。由于使用的是天河二号，Spark版本是1.5.1，pyspark同样，所以获取主题时还不能使用describeTopics(在spark1.6中才开放对python的接口)，只能使用topicsMatrix的方法。
本来凑……继续阅读 »
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要结合实际业务情况，在使用Spark作为底层引擎时，通……继续阅读 »
原创文章，转载请务必将下面这段话置于文章开头处。
本文转发自
技术世界，
原文链接
http://www.jasongj.com/spark/committer/
本文所述内容均基于 2018年9月17日 Spark 最新 Release 2.3.1 版本，以及 hadoop-2.6.0-cdh-5.4.4
概述
Spark 输出数据到 ……继续阅读 »
背景
随着互联网架构的流行，越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力，开发者可以完整地了解一次请求的执行过程和详细信息。但要真正分析出系统的性能瓶颈往往还需要链路拓扑、应用依赖分析等工具的支持。这些工具使用起来虽然简单，但其背后的原理是什么？本文将带……继续阅读 »
题图为美国尼米兹核动力航空母舰
介绍
大数据时代，我们常常面对海量数据而头疼。作为学统计出身的人，我们想折腾大数据但又不想学习Hadoop或者Java，我们更倾向于把精力放在建模和算法设计上，SparkR和Docker的完美结合，让R的计算直接从一架战斗机的当兵作战华丽转变为一个航空母舰战斗群！不仅仅简化了分布式计算的操作，还简化了安装部署的环节，我们……继续阅读 »
synchronized作为内置锁，使用简单，不易出错，然鹅确有相当的局限性，例如，无法从等待获取锁的阻塞中中断，无法设置获取锁的超时。所以JUC提供了另一种更灵活的加锁方式，即Lock。
Lock
Lock接口定义如下
public interface Lock {
void lock();
void lockInterrupti……继续阅读 »
Standalone集群模式
实验环境
·操作机：Windows 7
·目标机：3个节点，配置如下：
实验工具
·Web浏览器：常用的有谷歌浏览器，火狐浏览器等
·Xshell6：是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。
·Xftp6：是一个功能强大的SFTP、FTP 文……继续阅读 »
简介： 大数据时代，以Oracle为代表的数据库中间件已经逐渐无法适应企业数字化转型的需求，Spark将会是比较好的大数据批处理引擎。而随着Kubernetes越来越火，很多数字化企业已经把在线业务搬到了Kubernetes之上，并希望在此之上建设一套统一的、完整的大数据基础架构。那么Spark on Kubernetes面临哪些挑战？又该如何解决？
云原……继续阅读 »
maven
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.re……继续阅读 »
spark的工作流程?
回答思路
所有spark程序都离不开程序初始化和执行任务这两部分，所以该问题可以从这两部分开始回答。
一、程序初始化的流程
用户通过sparksubmit提交程序以后，driver程序开始运行(driver程序就是运行起来的提交的程序,可以理解为spark的main程序)。
driver程序运行起来会首先初始化sparkContex……继续阅读 »
![[原]海纳百川 有容乃大：SparkR与Docker的机器学习实战](http://www.fixbbs.com/wp-content/themes/Git-alpha/timthumb.php?src=/wp-content/uploads/2020/10/YRb6Zn.jpeg&h=160&w=260&q=90&zc=1&ct=1)
