一、大数据简介1、基础观点大数据是指无法在一定时间规模内用通例软件工具举行捕捉、治理和处置惩罚的数据荟萃，是需要新处置惩罚模式才气具有更强的决议力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。2、特点分析大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。3、生长历程Google在2004年前后揭晓的三篇论文，划分是文件系统GFS、盘算框架MapReduce、NoSQL数据库系统BigTable。
海量数据文件，分析盘算，并存储，确立了大数据的基本原理和思路。天才法式员DougCutting，也是Lucene、Nutch项目提倡人。凭据Google论文原理开端实现类似GFS和MapReduce的功效，厥后生长成为台甫鼎鼎的Hadoop。
再厥后，Hadoop经由高速的生长，已经形成一个生态体系，基于Hadoop之上，有实时盘算，离线盘算，NoSQL存储，数据分析，机械学习等一系列内容。从这一系列事情生长看技术纪律：Google业务实践中缔造性的提出论文作为基础，业务的发展和需求，迫使技术不停更新换代。所以业务是技术不停生长的关键。二、Hadoop框架1、Hadoop简介注意这里基于Hadoop2.X版本形貌。
后续如果没有特别说明，都是2.7版本。Hadoop是一个由Apache基金会所开发的漫衍式系统基础架构；提供海量的数据存储能力，和分析盘算能力；作为Apache的顶级项目，包罗众多子项目是一个生态圈；2、框架特点可靠性：Hadoop按位存储和存储多个数据副本，提供可靠服务；扩展性：Hadoop使用盘算机集群分配数据并完成盘算任务，可以利便地扩展到数以千计的节点中；高效性：基于MapReduce思想，为海量的数据提供高效的并行盘算；容错性：自动生存数据的多个副本，而且能够自动将失败的任务重新分配；3、组成结构HDFS存储NameNode存储文件相关的元数据，例如：文件名，文件目录，建立时间，权限副本数等。DataNode文件系统存储文件块数据，以及和数据块ID的映射关系。
Yarn调理卖力资源治理和作业调理，将系统资源分配给在Hadoop集群中运行的种种应用法式，并调理要在差别集群节点上执行的任务。MapReduce盘算MapReduce将盘算历程分为两个阶段：Map阶段并行处置惩罚输入数据，Reduce阶段对Map效果举行汇总。
三、大数据技术栈1、Kafka中间件开源组织： Apache软件应用场景：Kafka是一种高吞吐量的漫衍式公布订阅消息系统，通过磁盘数据结构提供消息的持久化，这种结构对于纵然数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：纵然是很是普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。2、Flume日志系统开源组织： Cloudera公司应用场景：Flume是Cloudera提供的一个高可用的，高可靠的，漫衍式的海量日志收罗、聚合和传输的系统，Flume支持在日志系统中定制各种数据发送方，用于收集数据；同时，Flume提供对数据举行简朴处置惩罚，并写到种种数据接受方（可定制）的能力。3、Sqoop同步工具开源组织： Apache软件应用场景：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库例如：MySql间举行数据的通报，可以将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。4、HBase数据库开源组织： Apache软件应用场景：HBase是一个漫衍式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力。
HBase是Apache的Hadoop项目的子项目。HBase差别于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，而且基于列的而不是基于行的存储模式。5、Storm实时盘算开源组织： Apache软件应用场景：Storm用于实时盘算，对数据流做一连查询，在盘算时就将效果以流的形式输出给用户。
Storm相对简朴，可以与任何编程语言一起使用。6、Spark盘算引擎开源组织： Apache软件应用场景：Spark是专为大规模数据处置惩罚而设计的快速通用的盘算引擎，拥有Hadoop的MapReduce所具有的优点；但差别于MapReduce的是——Job中间输出效果可以生存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机械学习等需要迭代的MapReduce的算法。
Spark是在Scala 语言中实现的，它将Scala用作其应用法式框架。7、R语言开源组织： 微软公司应用场景：R是用于统计分析、绘图的语言和操作情况。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计盘算和统计制图的优秀工具。
8、Hive数仓工具开源组织： 脸书公司应用场景：hive是基于Hadoop的一个数据堆栈工具，用来举行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据堆栈工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功效，能将SQL语句转酿成MapRedu。
本文来源：Bob综合体育在线-www.hfzckj.com