Databricks的Reynold Xin在Quora上对How does Apache Spark work?的回答。觉得比较精辟,所以这里将其翻译了一下。
LeetCode解题报告--Single Number
刷LeetCode被很多人誉为秒杀求职编程考核的最为快捷和高效的方式,管他有用没用,刷刷更健康。
vim安装YouCompleteMe
代码补全对vim党来讲是最重要的,可惜vim自带的代码补全实在很不堪。目前而言,YouCompleteMe插件是最为牛X的。由于要在服务器上写C和Python等,自动补全不能没有。这个插件在Ubuntu下安装十分简单,但是在CentOS下,就有那么一点点麻烦了,这里记录一下。
配置运行Spark Performance测试
因为学习需要测试Spark Streaming的性能,在真实的生产环境中Spark Streaming会结合Kafka、Flume来部署使用。由于条件限制,无法获取类似生产环境中的数据流,因此只能采用程序自己产生数据的方式来模拟数据流。Spark开源至今,已经有了一些benchmark可以用来测试性能,但对Streaming目前还没有一些成熟的benchmark出现。偶然看到DataBricks在GitHub上开源了一个Spark Performance测试程序,便拿来一试。这里记录一下整个配置过程,作为笔记。
vim配置支持Scala语法高亮
在老大的感染下,我成了一个vim党员,其实有很多技巧还不是很熟。因为在看Spark相关的一些东西有时候需要在服务器上看Scala代码,vim默认不支持Scala高亮,这里给出配置方法,作为笔记吧。
修改Xen虚拟机镜像文件
上篇讲到Xen半虚拟化镜像的制作过程,本篇要介绍一下两个小技巧。有时候我们需要在没有开启虚拟机的情况下,对镜像里的文件进行修改。或者由于有新的需要,需要对镜像进行扩容。
Xen半虚拟化镜像制作
本文主要介绍Xen下半虚拟化Guest OS镜像的制作过程。
Linux内核-进程
前面《Linux内核学习笔记(一)》中简要介绍了一下内核的分类和Linux内核的特点。本文开始介绍内核的一些基础知识,从进程开始谈起。