Spark应用的执行效率是所有程序员需要关心的问题,单纯从代码层面去了解和优化明显是不够的,本文介绍Spark的底层执行模式,并给出了一些经验性的调优建议。本文是对Cloudera一篇博文的译文。
Docker修改hosts
Docker修改hosts?这还不简单,打开vim直接敲就完事儿了!然而事与愿违,事情没有我们想的那么简单。在很多场景中,比如我们需要搭建一个集群,这时候容器要识别集群内的节点,就需要添加相应的host解析。这时就需要修改容器的hosts文件,下面我们将会看到在Docker中自动化实现修改hosts不是那么简单的事。
Docker跨主机网络互联---pipework
Docker最新版1.10中已经可以实现自主跨主机网络互联了,但服务器上是CentOS6下安装的,版本最高是1.7.1,之前用weave实现了网络互联,但需要开启两个容器,这里记录pipework来实现跨主机联网。
Docker跨主机网络互联---weave
Docker脱胎于LXC项目,充分利用Linux内核中的Cgroups机制,并进行一系列的封装,在保证性能的基础上极大增强了其易用性和便捷性,因此迅速风靡业界。但Docker也存在一些短板,比如跨物理机之间的网络互联,因为Docker默认是采用NAT方式访问外部网络,这样便造成了难以直接和别的物理机上的容器互联。跨主机互联的解决办法有多种,这里记录使用weave来解决这一问题的过程。
CentOS 6安装运行Docker
最近需要用到Docker,奈何服务器上全是安装的CentOS6系统,Docker官方推荐的CentOS版本是7,但是很多旧机器依旧是5或者6系列,本文介绍如何在不进行系统升级的情况下在CentOS6中安装并运行Docker
CoreOS Quick Start
Docker作为最火的容器解决方案自2013年发布以来取得了极大的关注度,不管是工业界还是学术界对其热情高涨。其轻量、快速等特点让其一跃成为取代传统虚拟机的更为便捷的应用部署方式。CoreOS是一种专门为Docker量身打造的Linux系统,自带Docker运行环境,可以极大地方便Docker环境搭建,此文为尝鲜版。
反向隧道访问局域网
出于学习目的,在两台服务器上搭建了一个虚拟集群,奈何公网IP没那么多,只能将虚拟集群全部放在局域网中,两个物理机也配置额外的局域网IP。这样一来通过WebUI监控集群就需要通过物理机操作,VNC是一种可行的解决方案,但总觉得不甚方便,本文记录如何通过反向隧道在外网机器(不在该局域网中)访问局域网集群。
Xen-4.5.1安装
Xen-4.5.0之后加入了一些实时调度器,RT-Xen被合并入Xen,此外还有比如在NUMA架构下的一些性能优化。为了实验,近期折腾,将Xen-4.2.X系列全部换成Xen-4.5.1,安装过程很简单,这里简要介绍一下,关键在于之后虚拟机网络配置问题,纠结许久,最后终于发现额问题所在,这里详细记录一下问题和解决过程。