FlyingMcdull


  • 首页

  • 分类

  • 归档

  • 标签

  • 关于
FlyingMcdull

Xen的Credit调度算法

发表于 2015-03-31 | 分类于 Xen

我的工作中要涉及到Xen虚拟化技术,尤为关注虚拟CPU(以下简称VCPU)的调度算法,Xen的原理就不做介绍了。这篇主要关注一下VCPU的调度算法

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(六)---Job的生成

发表于 2015-03-31 | 分类于 Spark Streaming

前面讲过Job的提交过程,但没有涉及到Job的生成和更多的调度细节,接着上源码。

阅读全文 »
FlyingMcdull

第一个Spark应用--WordCount

发表于 2015-03-30 | 分类于 Spark

Spark作为新兴的大数据处理技术受到业界和学术界的高度关注,出于兴趣和自己的学习需要,最近开始接触Spark编程,和Hadoop一样,Spark的”Hello,world”就是一个简单的WordCount,这里记录一下完整的实现过程。

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(五)---Job的提交

发表于 2015-03-30 | 分类于 Spark Streaming

接着前面的讲,这篇介绍一下Spark Streaming的调度细节,首先来看看Job的提交。

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(四)---流数据的接收和存储

发表于 2015-03-26 | 分类于 Spark Streaming

上文讲到了wordCount示例程序运行时的启动流程,依旧停留在框架理解上。下面开始详细介绍一下Spark Streaming中是如何接收和存储流数据。实际应用中Streaming的输入源有多种,这里仍旧以wordCount为例,对socketStream进行介绍。

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(三)---应用启动方法调用

发表于 2015-03-25 | 分类于 Spark Streaming

接着上一篇来分析一个典型streaming应用背后的启动过程。

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(二)---应用启动过程

发表于 2015-03-25 | 分类于 Spark Streaming

之前只对一个简单wordCount示例进行了简单的结构梳理,并没有涉及背后的执行原理,今天进一步了解一下背后的各种调用。

阅读全文 »
FlyingMcdull

Spark Streaming学习笔记(一)---Hello World!

发表于 2015-03-23 | 分类于 Spark Streaming

Spark Streaming是构建在Spark核心引擎上的实时流处理框架,吞吐率远超已有的实时流处理框架。由于项目中要涉及到Streaming的相关知识,我会陆续将一些Spark Streaming的学习笔记整理出来放到博客中以做留存。

阅读全文 »
1…456
Mcdull

Mcdull

42 日志
9 分类
19 标签
GitHub Weibo Facebook
友情链接
  • Liupeng's Blog
  • Seafooler's Blog
  • Charles's Blog
© 2014 - 2019 Mcdull
由 Hexo 强力驱动
主题 - NexT.Mist