COURSE_大数据管理与分析

Mesos+Zeppelin+Spark 构建可视化 spark SQL 查询平台

Mesos

1. Mesos是Apache下的开源分布式资源管理框架，它被称为分布式系统的内核。
2. Mesos管理着Twitter超过300000台服务器上的应用部署。
3. 失败之鲸——fail whale。Twitter宕机时的标志画面。

   Zeppelin

4. Zepplin是一个让交互式数据分析变得可行的基于网页的笔记本。Zeppelin提供了数据可视化的框架。方便你做出可数据驱动的、可交互可协作的精美文档，并且支持多种语言。

   Spark

5. Apache专门为大柜么数据处理而设计的快速通用的计算引擎。
6. 并行框架。
7. 不同于Hadoop的是job中间输出结果可以保存在内存中，从而不需要读写HDFS。
8. 更适合于数据挖掘和机器学习等需要迭代的MapReduce的算法。

---

经验

1. 第一如果需要权限的话需要使用sudo，如果一下方法不好使的话，需要加上sudo。