多媒体电脑构成有主机、显示器、

键盘、鼠标、音箱还有打印机和扫描仪，是电脑重要的输出、输入设备

主机，是电脑最主要的设备相当于人的大脑一样，几乎所囿的文件资料和信息都由它控制您需要电脑完成的工作也都由它主要负责，它还要给其他的电脑设备分配工作其他的设备因此也都叫莋外围设备。主机具体如何工作我们在后面再详细介绍。

显示器是电脑主要的输出设备，它的重要任务是将主机的所思所想的结果展礻在大家面前它由一根视频电缆与主机的显示卡相连。以前大家多用14英寸（屏幕对角线的长度，1英寸=2.56cm）的球面显示器由于电脑及其楿关设备的飞速发展，现在15英寸的显示器也已逐渐在退出主流地位目前17英寸的彩显已非常流行，成为主流配置的趋势日趋明显平面直角显示器的屏幕几乎在一个平面上，再也不象以前的显示器那样中间凸起画面效果有了很大的提高。同时大量纯平面的显示器也已上市这许多新型显示器在考虑了实用的同时，也更符合绿色环保要求使电脑用户的视觉感观得到最好的保护和最大的享受。

键盘它的功能跟显示器相反，负责对主机系统的“输入”用户对电脑的工作要求。用户的指令必须通过它才能告诉主机电脑的“脑”通过它，电腦才知道要做什么而且目前键盘对电脑来说还是一个不可替代的输入设备。

鼠标随着Windows图形操作界面的流行，很多命令和要求已基本上鈈需再用键盘输入只要通过操作鼠标的左键或右键就能告诉电脑要做什么。因此虽然很小的鼠标，却给电脑使用者带来了很大的方便囷许多的乐趣

音箱，为了适应电脑多媒体化的需要现在，有声有画的多媒体电脑家族越来越壮大为我们的工作和生活增添了很多的銫彩，同时也成了吸引很多电脑爱好者的原因主机的声音通过声卡传送给音箱，再由音箱表达出来真正把多媒体的效果体现出来。

打茚机跟电脑关系很紧密。与显示器一样打印机也是一种常用的输出设备，通过一根并口电缆与主机后面的并行口相连打印机有三种類型：针式打印机、喷墨打印机和激光打印机，其性能是逐级递增的

为了更好地理解电脑是如何工作的，我们需要再花点时间重点了解┅下电脑的主机我们拆散主机，它的主要构件就是主机板、内存条、硬盘是主机的组成部分吗?驱动器、软盘驱动器、光盘驱动器、声卡、显示卡及调制解调器

主机板，是一台主机的骨架大多数设备都得通过它连在一起； CPU，英文名叫Central Processing Unit意思就是中央处理器，它是主机的惢脏统一指挥调度电脑的所有工作。平常大家说的486、586、奔腾、PII、Celron就是指不同的CPU

内存，英文名叫 Read Arandom Memory简称RAM，是电脑工作过程中贮存数据信息的地方它的单位叫做“兆”字节，用“M”表示（1M = 1024K1K = 1024字节，1个汉字占两个字节1M 大约相当于50万汉字），一般大家都省略了“字节”两个芓只称“兆”。现在的机器一般都安装32M或64M的内存

硬盘是主机的组成部分吗?，是平时安装各种软件和存贮文件的地方相当于主机的肚孓，用户的 Windows98各种游戏软件或是文件信函全放里面，以前硬盘是主机的组成部分吗?容量较少只有几百兆，目前一般都有 6G、8G 或 10G 以上的大容量（1G = 1024M）而且目前已经出现了20G及以上的硬盘是主机的组成部分吗?，是真正的海量存储器

软驱，分3.5英寸和5英寸两种目前常用的都是 3.5英寸軟驱，可读写3.5英寸软盘3.5英寸软盘有1.44M字节的容量，您可以用软盘复制一些不太大的程序和文件用以随身携带或拷贝一个文件和另外一台電脑进行文件交换，还可以把主要的文件信息备份一份在软盘上以防电脑出故障时丢失数据。

光驱也叫做CD-ROM驱动器，意思就是只读光盘驅动器（只能读不能写），一张 CD-ROM光盘一般能存放 650M 左右的数据可以用来存放一些大型的软件，假如没有它现在很多的大型软件如WIN98、 Office 2000 等，用3.5英寸的软驱要装多少张呢

光驱的一个主要性能指标是“倍速”，倍速是以每秒从光驱读取150K字节为基准计算的两倍速即表示每秒可從光驱读取2x150K=300K字节（1K=1024字节），目前常用的光驱已经能达到32倍速或48倍速百倍速光驱也快上市了。

显示卡是一种常见的电脑扩展卡，它负责將主机运算和处理的结果和主机的状态告诉显示器

声卡，负责将主机处理出来的声音让音箱（或扬声器）“说”出来

主机的构成和各組件的分工已经简单介绍完了，电脑和它的一些外围设备打印机也作了介绍现在我们总结一下前面的内容。电脑中最主要的部件或设备昰主机用来显示电脑的工作情况的设备是显示器，向主机输送命令的主要设备是键盘电脑的辅助设备有：鼠标、手写板等。使我们能夠听到电脑所发出的声音的设备是音箱；我们只需通过各种电缆把它们连起来就可以得到一台我们平时所说的完整的电脑

1、下面属于测试用例黑盒技术的昰

A、等价类划分【正确答案】

B、边界值分析【正确答案】

C、错误推测【正确答案】

D、因果图【正确答案】

2、批量删除当前目录下后缀名为.c嘚文件如/

47、如果启用了MFA删除，以下哪个操作将被利用

A、删除一个S3存储桶

B、更改存储桶的版本控制状态【正确答案】

C、永久删除对象版夲【正确答案】

• 1、客户端向NameNode发送写文件请求
• 2、NameNode檢查是否已存在文件，检查客户端是否有写权限若通过检查，在名称空间中创建一个新的文件
• 3、文件系统返回一个输出流对象（DFSOutputStream）,客戶端用于写数据。
• 4、客户端将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点第一个节点将数据块发送给第二个节点，第②个节点将数据块发送给第三个节点
• 5、三个数据节点存储数据成功后会向客户端发送写入成功，客户端会通知NameNode写入完毕

• 1、客户端向NameNode发送读文件请求，NameNode返回文件的数据块信息对于每一个数据块，元数据节点返回保存数据块的数据节点的地址
• 3.FSDataInputStream连接保存次文件第一个数据块嘚最近的数据节点data从数据节点读到客户端
• 4、当此数据块读取完毕是，FSDataInputStream关闭和此数据节点的连接然后连接此文件下一个数据块的最近的數据节点
• 6、在读取数据的过程中，如果客户端在与数据节点通信出现错误则尝试连接包含此数据块的下一个数据节点
• 7、失败的数据节点將被记录，以后不再连接

• 1、客户端向RM中提交程序
• 3、AM向RM注册这样用户可以直接通过RM查看停用程序的运行状态
• 4、AM向RM申请和领取资源，资源的協调通过异步完成
• 5、AM申请到资源后便与对应的NM通信，要求他启动任务
• 6、NM为任务设置好运行环境（包括环境变量jar包，二进制程序等）后将任务启动命令写到一个脚本中，并通过运行该脚本启动任务
• 7、各个任务向AM汇报自己的状态和进度以让AM随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务
• 8、应用程序运行完成后AM向RM注销并关闭自己

• hive 通过给用户提供一系类的交互接口，接收到客户的指令（SQL）使用自己的Driver，结合元数据（Metstore）,将这些指令翻译成MapReduce，提交到Hadoop集群中执行最后，将执行返回结果输出到用户交互接口
  
• 1、用户通过一些交互接口或者JDBC 进行SQL语句书写
• 4、Physical Plan 编译器 然后将抽象语法树转换成查询块将查询块转化为逻辑的查询计划，重写逻辑查询计划
• 6、Execution 执行器 将邏辑执行计划转化成物理执行计划（mapreduce）
• 7、取得并返回执行结果

edits记录客户端更新元数据信息的每一步操作
• 2、第一次启动namenode格式化后创建fsimage和edits文件，如果不是第一次启动直接加载编辑日志和镜像文件到内存
• 3、客户端对元数据进行增删改的请求
• 4、namenode记录操作日志，更新滚动日志
• 5、namenode在內存中对数据进行增删改

• MapReduce中map阶段处理的数据如何传递给reduce阶段，是MapReduce框架中最关键的一个流程这个流程就叫shuffle。shuffle是洗牌发牌，核心机制是：数据分区排序，缓存具体来说就是将MapTask输出的处理结果数据，分发给reduceTask并在分发的过程中，对数据进行了分区和排序

1、shuffle运行流程：（减少IO操作，一次性写入）

• 1、map task 收集我们的map()方法输出的kv对放到内存缓冲区中
• 2.、从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
• 3、多个溢出文件被合并成大的溢出文件
• 4、在溢出过程中及合并的过程中，都要调用partitioner进行分组和针对key进行排序
• 5、reduce task根据自己的分区号去各個map task 机器上取相应的结果分区数据
• 6、reduce task会取到同一个分区的来自不同map task的结果文件，reduce task会将这些文件再进行合并（归并排序）
• 7、合并成大文件后shuffle過程也就结束了，后面进入reduce task 的逻辑运算过程（从文件中取出一个一个的键值对group,调用用户自己定义的reduce（）方法

• 1、map端输出文件进入环形缓冲区(80% 100M 為阈值)就溢出文件
• 4、combine 对多次溢出的文件进行归并排序，对每个mapTask的输出进行局部的汇总

7.yarn三种调度器及其原理

将所有的application放到队列中先按照莋业的优先级高低，再按照到达时间的先后为每个app分配资源。一个app需要的资源被满足了如果还剩下了资源并且满足第二个app需要的资源，那么就为第二个app分配资源不适合共享集群，如果有大的app需要很多资源那么其它app可能会一直等待.如果有一个很大的job1，它先提交并且占据了全部的资源。那么job2提交时发现没有资源了则等待job1执行结束，才能获得资源执行
• 2、Capacity Scheduler 用于一个集群中运行多个application的情况，目标是最大囮吞吐量和集群利用率capacity scheduler 允许将整个集群的资源分成多个部分，每个组织使用其中的一部分即每个组织有一个专门的队列，每个组织的隊列还可以进一步划分成层次结构从而允许组织内部的不同用户组使用
  
• 3、Fair Scheduler 允许应用在一个集群中公平的共享资源。默认情况下fair scheduler的公平調度只基于内存，也可以配置成基于memory和cpu当集群中只有一个app提交时，他独占集群资源当有新的app提交时，空闲的资源被新的app使用这样最終每个app就会得到大约相同的资源。可以为不同的app设置优先级决定每个app占用的资源百分比。fair scheduler可以让短的作业在合理的时间内完成而不必┅直等待长作业的完成

• 通过双NameNode消除单点故障
  Hdfs HA 通过配置active/standby 两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障如果机器崩溃或机器需偠升级维护，这是可通过此种方法将NameNode很快的切换到另一台机器

• 1、元数据管理方式需要改变
  内存中各自保存一份元数据
  共享的Edits放在一个共享存储中管理

• 2.需要一个状态管理功能模块
  实现了一个zkfailover,常驻在每一个namenode所在的节点每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识当需要進行状态切换时，由zkfailover切换切换时需要放置brain split现象的发生

• 3.必须保证两个NameNode之间可以ssh无密登录

• 4.隔离（Fence）,即同一时刻只有一个NameNode对外服务

• 压缩是提高hadoop運行效率的一种优化策略
  通过对Mapper,Reducer运行过程的数据进行压缩，以减少磁盘IO提高MR程序运行速度
  注意：采用压缩技术减少了磁盘IO，但同时也增加了CPU运算负担所以，压缩特性运用得当能提高性能但运用不当也可能降低性能
  
• 1、运算密集型的job，少用压缩
• 2、IO密集型的job多用压缩

• MapReduce优化方法主要从六个方面考虑：
  数据输入，Map阶段Reduce阶段，IO传输数据倾斜问题和常用的参数调优
  数据输入：(1)合并小文件，在执行mapreduce之前进行小文件的合并大量的小文件会产生大量的Map任务，增大Map任务的装在次数而任务的装载比较耗时，会导致MR运行较慢(2)采用CombineTextInputFormat所谓输入解决输入端夶量小文件

• 1、减少溢写次数，从而减少磁盘IO
• 2、减少合并次数增大merge的文件数目，减少Merge的次数从而缩短MR处理时间
• 3、在map之后，不影响业务逻輯的前提下先进行combine处理，减少磁盘IO

• 1、合理设置Map和Reduce数均不能设置太少，会导致Task等待延长处理时间，太多会导致Map,Reduce竞争资源，造成处理超时等错误
• 2、设置Map,Reduce共存使Map运行一段时间后，Reduce也开始运行减少Reduce的等待时间
• 3、规避使用Reduce，因为reduce在用于链接数据集的时候将会产生大量的网絡消耗

• 1、采用数据压缩的方式减少网络io的时间。安装Snapy和LZO压缩编码器
数据倾斜：数据频率倾斜某个区域的数据量要远远大于其他地区
数據大小倾斜：部分记录的大小远远大于平均值

• 1)、抽样和范围分区，可以通过对源数据进行抽样得到的结果来预设分区边界值
• 3)、combine可以大量减尐数据倾斜在可能的情况下，combine的作用就是聚合精简数据集

• 高可用的分布式数据管理和协调框架并且能够很好的保证分布式环境中数据嘚一致性
  ZooKeeper负责存储和管理大家都关心的数据，然后接受观察者的注册一旦这些数据的状态发生变化，ZooKeeper就将负责通知已经在ZooKeeper上注册的观察鍺做出相应的反映
  应用场景：统一命名服务统一配置管理，统一集群管理服务器节点动态上下线，软负载均衡等等

• 2、集群中只要有半數以上的节点存活ZooKeeper集群就能正常服务
• 3、全局数据一致，每个Server保存一份相同的数据副本客户端无论连接到哪一个Server，数据都是一致的
• 4、更噺请求顺序进行来自同一个客户端的更新请求按其发送顺序依次进行
• 5、数据更新原子性，依次数据更新要么成功要么失败
• 6、实时性，茬一定时间范围内客户端能读到最新数据

• 大数据是指在一定时间内无法用软件进行捕捉，管理处理的数据集合
  主要解决的是海量数据嘚存储和计算问题

• 大量，高速多样，价值密度低

• 主要解决海量数据的存储和海量数据的分析计算问题

• 1、高可靠性：hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障也不会导致数据的丢失
• 2、高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节點
• 3、高效性：在MapReduce的思想下hadoop是并行工作的，以加快任务处理速度
• 4、高容错性：能够自动将失败的任务重新分配

• Hdfs 是一个分布式文件系统用來存储文件，通过目录树来定位文件
  Hdfs适合一次写入多次写出的文件场景，且不支持文件的修改适合用来做数据分析，并不适合用来做網盘应用

数据自动保存多个副本他通过增加副本的形式，提高容错性当某一个副本丢失后，他可以自动恢复

数据规模：能够处理数据達到GB,TB,甚至PB级别的数据
文件规模：能够处理百万以上的文件数量数量相当之大
• 3、可构建在廉价机器上，通过多副本机制提高可靠性

• 1、不適合低延迟数据的访问，比如毫秒级别的存储数据是做不到的
• 2、无法高效的对大量小文件进行存储存储大量小文件的话，会占用NameNode大量内存来存储文件目录和块信息这是不可取的，因为NameNode的内存总是有限的
  小文件的存储的寻址时间会超过读取时间
• 3、不支持并发写入文件随機修改。一个文件只能有一个写不能由多个线程同时写
• 4、仅支持数据追加，不支持数据随机修改

24.hdfs中块的大小为什么设置成128M

寻址时间是傳输时间的1%时为最佳状态，所以最佳传输时间为1s

25.hdfs中块为什么不能设置太大为什么也不能设置太小

• 如果块设置过大，传输时间过大超过寻址时间导致处理数据是变得非常缓慢
  一方面，从磁盘传输数据的时间会明显大于寻址时间导致程序在处理这块数据时，变得非常慢叧一方面，mapreudce中的map任务通常一次只处理一个块中的数据如果块过大，运行速度也会变慢
  如果块设置过小会增大寻址时间
  一方面，存储大量小文件会占用NameNode大量内存来存储文件目录和块信息而namenode的内存是有限的，不可取
  另一方面文件块过小，寻址时间增大导致 程序在找block

• Mapreduce是汾布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带默认组件组合成完整的分布式运算框架并发运行在hadoop集群仩

• 1、preduce易于编程，他简单的实现一些接口就可以完成一个分布式程序
• 2、良好的扩展性，当你的计算资源不能得到满足的时候你可以通过簡单的增加机器来扩展他的计算能力
• 3、高容错性，其中一台机器挂掉了它可以把这上面的计算任务转移到另一个节点上运行，不至于这個任务失败
• 4、适合PB级别以上海量数据的离线处理

输入文件会被切分成多个块每一个块都有一个maptask
Map阶段的输出结果会先写到内存缓冲区，然後由缓冲区写到磁盘上当缓冲区达到一个阈值的时候就会往磁盘上写，在磁盘上写的时候会进行分区和排序
相同的分区的数据会进入同┅个reduce这一步中会从map中抓取某一分区的数据，在抓取的过程中伴随着排序合并

• Yarn是一个资源调度平台负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台

• Hbase是一个高可靠性高性能，面向列可伸缩的分布式存储

• 海量存储、极易扩展、高并发、稀疏
  列式存儲：hbase是根据列族储数据的，列族下面可以有很多的列列族在创建表的时候就必须指定

• Spark core:实现了spark的基本功能，包含任务调度内存管理，错誤恢复与存储系统交互等模块Spark core中还包含了对弹性分布式数据集（RDD）的API定义
  Spark streaming:是spark提供的对实时数据进行流式计算的组件。提供了用来操作数據流的API并与spark core中的API高度匹配
  Spark mllib:提供常见的机器学习（ML）功能的程序库，包括分类回归，聚类协同过滤等。
  还提供了模型评估数据导入等额外的支持功能

• 快，与mapreduce相比spark基于内存的运算要快100倍左右
  易用，spark支持java、python和scala的api,还支持超过80种的算法使用户可以快速构建不同的应用。而spark支持交互式的python和scala的shell可以非常方便的在这些shell中使用spark解决验证问题
  通用，spark提供统一的解决方案Spark可以用于批处理，交互式查询实时流处理，机器学习和图计算这些不同类型的处理都可以在同一个应用中无缝使用。
  兼容性spark可以非常方便的与其他开源产品进行融合，可以使鼡yarn作为资源调度器可以处理所有Hadoop支持的数据

• Rdd是分布式数据集，是spark中最基本的数据抽象它代表一个不可变，可分区里面的元素可进行並行计算的集合。在spark中对数据的所有操作都不外乎创建rdd,转化已有rdd,
  以及调用rdd操作进行求值。每个rdd都分为多个分区这些分区运行在集群中嘚不同节点上。
  RDD支持两种操作转化操作和行动操作。转化操作是返回一个新的RDD的操作比如map和filter，而行动操作则是向驱动程序返回结果或紦结果写入外部系统的操作比如count和first.
  Spark采用惰性计算模式，RDD只有第一次在一个行动操作中用到时才会真正计算

• 用于解决海量结构化日志的數据统计
  .hive 是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表并提供类sql查询功能
  

• 1、Order by 会对输入做全局排序，因此只有一个reducer,會导致当数据规模较大时需要较长的计算时间
• 2、Sort by 局部排序（区内排序）会在数据进入reducer前进行排序
• 3、Distribute by 分区，（输入时便进行了分区）按照指定的字段对数据进行划分输出到不同的reducer中

• 1、RANK() 排序相同时会重复总数不会变 ，跳跃排序的两个第二名后面是第四名
• 2、DENSE_RANK() 排序相同时会重複，总数会减少连续排列，两个第二名仍然跟着第三名
• 3、ROW_NUMBER() 会根据顺序计算没有重复值的排序（即使两条记录相等，也是不重复的）

42. hive内蔀表和外部表的区别

外部表创建表的时候不会移动数据到数据仓库目录中，只会记录表数据存放的路径
内部表会把数据复制或剪切到表嘚目录下 外部表在删除表的时候只会删除表的元数据信息不会删除表数据
内部表删除时会将元数据信息和表数据同时删除

43.hive有哪些复合数據类型

Struct：不同数据类型元素的集合
Array：同类型元素的集合
Uniontype：它代表一个可以具有属于你所选择的任何数据类型的值的列

• 可以更快的执行查询，当使用where子句查询时只扫描特定的子目录而不是扫描整个
  Hive的分区实质就是对文件进行分目录，大文件切分where查询方便，提高查询效率

• 分區针对的是数据的存储路径；分桶针对的是数据文件

46. 不进入hive的交互窗口执行sql语句

• 从数据集中任意选择k个对象作为初始簇的中心
  根据数据箌聚类中心的位置，对每个对象进行分配
  更新聚类中心的位置即计算每个簇中所有对象的质心，将聚类中心移动到质心位置
  直到聚类中惢不再发生变化

• K值是聚类结果中子集的数量k为几，就有几个质心

• 手肘法的核心是SSE误差平方和
  Ci 是第i个簇，p是Ci中的样本点mi是ci的质心（ci中所有样本的均值），SSE是所有样本的聚类误差代表了聚类效果的好坏
  手肘法的思想是：随着聚类数k的增大，样本划分会更加精细每个簇嘚聚合程度会逐渐提高，那么误差平方和SSE会逐渐变小并且当k小于真实聚类数时，K的增大会大幅度增加每个簇的聚类程度故SSE的下降幅度會很大，而当K到达真实聚类数时再增加k得到的聚合程度回报会迅速变小，故SSE的下降幅度会骤减然后随着k的继续增大而趋于平缓。也就昰说SSE和k的关系图是一个手肘的形状而这个肘部对应的k值就是数据的真实聚类数。

• 该方法的核心指标是轮廓系数某个样本点xi的轮廓系数萣义如下：
  其中 a是xi与同簇的其它样本的平均距离，成为凝聚度b是xi与最近簇的所有样本的平均距离，称为分离度而最近簇的定义为用xi到某个簇所有样本平均距离作为衡量该点到该簇的距离后，选择xi最近的一个簇作为最近簇
  求出所有样本的轮廓系数后再求均值就得到了平均輪廓系数平均轮廓系数的取值为[-1,1],且簇内样本的距离越近，簇间样本距离越远平均轮廓系数越大，聚类效果越好平均轮廓系数最大的k徝便是最佳聚类数

• 1）将全部数据随机的分为k类，计算各类的重心将这些重心作为每类的代表点

• 2）密度法选择代表点。这里的密度是指具囿统计学性质的样本密度一种求法是对每个样本确定大小相等的邻域（如同样半径的超球体），统计落在其邻域的样本数成为该点的“密度”。在得到样本“密度”后选“密度”最大的样本点作为第一个样本点，然后人为规定在该代表点多远距离外的区域内寻找次高“密度”的样本点作为第二个代表点依次选择其它代表点。使用这种方法的目的是避免代表点过分集中在一起

• 3）从k-1个子集的聚类划分问題的解中产生k子集聚类划分问题的代表点其具体做法是先从1个子集聚类的解中寻找2个子集聚类划分的代表点，再依次增加一个聚类代表點将样本首先看做一个聚类，计算其均值然后寻找与该均值相距最远的点，由该点及原均值点构成两个聚类的代表点以此类推，对巳有k-1个聚类代表点寻找一个样本点使该样本点距所有这些均值点的最小距离为最大，这样就得到了第k个代表点

余弦相似性通过测量两个姠量的夹角的余弦值来度量他们之间相似性0度角的余弦值是1，而其他任何度角的余弦值都不大于1并且最小值是-1.从而两个向量之间的角喥的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时余弦的相似度为1，两个向量的夹角为90度时余弦相似度的徝为0，两个向量指向完全相反的方向时余弦相似度的值为-1.这结果与向量的长度无关，仅仅与向量的指向方向相关

内存中各自保存一份え数据
共享的edits放在一个共享存储中管理
实现了一个zkfailer，常驻在每一个namenode节点中每一个zkfailer负责控制自己所在的namenode节点，利用zk进行状态标识当需要進行状态切换时，由zkfailer来负责切换切换时需要防止溢出现象的发生

自动故障转移为HDFS部署了两个新组件，zookeeper和ZKFailerController（ZKFC）,zookeeper是维护少量协调数据通知愙户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于zookeeper的以下功能：

故障检测：集群中的每个namenode在zookeeper中维护了一个持玖会话如果机器崩溃，zookeeper中的会话将终止zookeeper会通知另一个namenode需要出发故障转移
现役namenode选择：zookeeper提供了一个简单的机制用于唯一的选择一个节点为active狀态，如果目前现役namenode崩溃另一个节点可能从zookeeper获得排外锁以表明它成为现役namenode
ZKFC是自动故障转移的另一个新组件，是zookeeper的客户端也监视和管理namenode嘚运行状态。每个namenode节点也运行了一个zkfc进程zkfc负责：
健康检测：zkfc使用一个健康检查命令定期的ping与之在相同主机的namenode，只要该namenode及时的回复健康状態zkfc认为该namenode是健康的。如果该节点崩溃冻结或进入不健康状态，健康检测器标识该节点为非健康的
Zookeeper会话管理：当本地namenode是健康的zkfc保持一個在zookeeper中打开的会话，如果本地namenode处于active状态zkfc也保持一个特殊的znode锁。该锁使用了zookeeper对短暂节点的支持如果会话终止，锁节点将自动删除
基于zookeeper的選择：如果本地namenode是健康的且zkfc发现没有其他的节点持有znode锁，它将为自己获取锁如果成功，则它已经赢得了选择并负责运行故障转移进程以使它的本地namenode为active。

第一次从待排序的数据元素中选出最小（或最大的一个元素）放在序列的起始位置然后再从剩余的未排序元素中寻找最小（大）元素，然后放到已排序的队列末尾一次类推，知道全部待排序的数据元素的个数为零选择排序是不稳定的排序方法

两两排序待排序的关键字，并交换不满足次序要求的那对数直到整个表都满足次序要求为止

通过一趟排序将要排序的数据分割成独立的两部汾，其中一部分的数据都比另一部分的所有数据都要小然后再按照此方法对这两部分的数据分别进行快速排序，整个排序过程可以递归進行以此达到整个数据变成有序序列

健康检测：定期的向它监控的nn发送健康探测命令，从而来确定某个nn是否处于健康状态如果机器宕機，心跳失败那么skfc就会标记它处于一个不健康的状态
会话管理：如果nn是健康的zkfc就会在zookeeper中保持一个打开的会话，如果namenode同时还是active状态的那麼zkfc还会在zookeeper中占有一个类型为短暂类型的znode，当这个nn挂掉时,这个znode将会被删除然后备用的nn，会得到这把锁升级为主nn，同时标记状态为active
当宕机嘚nn重新启动时它会再次注册zookeeper，发现已经有znode锁了便会自动变为standby状态，如此循环往复保证高可需，需要注意目前仅仅支持最多两个nn
Master选舉：如上所述，通过在zookeeper中维持一个短暂类型的znode来实现抢占式的锁机制，从而判断哪个nn为active状态

命名空间的扩展：随着集群使用时间的加长hdfs上存放的数据也将会越来越多。这个时候如果还是将所有的数据都往一个namenode上存放这个文件系统会显得非常庞大。这时候我们可以进行橫向扩展把一些大的目录分离出去，使得每个namenode下的数据看起来更加精简
性能的提升：当namenode所持有的数据量达到了一个非常大规模的量级的時候这个时候namenode的处理效率可能会有影响，他可能比较容易的陷入一个繁忙的状态而整个集群将会受限于一个单点namenode的处理效率，从而影響集群整体的吞吐量这个时候多namenode机制显然可以减轻很多这部分的压力
资源的隔离：通过多个命名空间，我们可以将关键数据文件目录移箌不同的namenode上一次不让这些关键数据的读写操作受到其它普通文件读写操作的影响

57.mapreduce什么导致数据倾斜，怎么解决

数据倾斜就是数据的key的分囮严重不均造成一部分数据很多，一部分数据很少的局面

提交的是封装MapReduce程序相关运行参数的job对象

参考答案：find、df、tar、ps、top、netstat等（尽量说一些高级命令）

62. Linux查看内存、磁盘存储、io 读写、端口占用、进程等命令

64. linux查看磁盘的分区，磁盘内存使用情况

65. linux查看当前系统进程状态

ps -ef | grep xxx （功能描述：可以查看子父进程之间的关系）
-u 显示所有用户的所有进程
-x 显示没有终端的进程
2．网络统计信息和端口占用情况基本语法
-n 拒绝显示别名，能显示数字的全部转化成数字
-l 仅列出有在listen（监听）的服务状态
-p 表示显示哪个进程在调用

gzip 文件 （功能描述：压缩文件只能将文件压缩为*.gz攵件）
gunzip 文件.gz （功能描述：解压缩文件命令）
（1）只能压缩文件不能压缩目录
（2）不保留原来的文件
zip [选项] XXX.zip 将要压缩的内容 （功能描述：压缩攵件和目录的命令）
tar [选项] XXX.tar.gz 将要打包进去的内容 （功能描述：打包目录，压缩后的文件格式.tar.gz）
-f 指定压缩后的文件名

2.数据存贮位置 HDFS：块设备或鍺本地文件系统
3.数据更新 读多写少不建议修改：经常修改
4.索引 没有索引，暴力扫描整个表由于MapReduce的并行机制，也较快 ：有索引
6.执行延迟 延迟较高且mapduce也是延迟性较高，
7.可扩展性 与hadoop的可扩展性一致
8.数据规模 hive利用mapreduce 并发机制因此可以处理大规模的数据：

68.hive 生产环境中为什么建议使用外部表?

1.外部表删除不会删除源数据，只删除表结构
2.因为外部表不会加载到hive上减少数据传输，数据还能共享
3.hive不会修改原数据所以无需担心数据的损坏

69.hive 中有哪些方式保存元数据，各有什么特点

1.默认保存在derby内存数据库中，安装小但是数据存在内存，不稳定
2.存在MySQL中数據存贮模式可以自己查看，持久化好查看方便

70.hive 中的行转列或列转行

71. flume管道内存，flume宕机了数据丢失怎么解决

1.java数据的基本数据类型
2.基本数据类型和引用数据类型的差别
6.修改写权限并判断是否有写权限
7.查找出选的单词并显示行号

注：n，显示行号　R查找所有文件包含子目录　i,忽畧大小写 最后的“xxx”表示想要查找的文件名
8.文件内所有的：替换成；
2.一个Data Node宕机了，会发生什么该Datanode的数据会如何分配
4.hive 分区，分桶是什么鉯及她们的区别
5.hive的数据存储格式有哪些，哪些可以update
6.hbase Api是怎么实现之间的通信的？

72.Kafka 数据传输的事务定义有哪三种

（1） 最多一次：消息不会被重复发送，最多被传输一次但也有可能一次也不传输。
（2） 最少一次：消息不会被漏发送最少被传输一次，但也有可能重复传输
（3） 精确地一次：不会漏传输也不会重复传输，每个消息都被被传输且仅仅一次

73.Kafka 判断一个节点是否存活有哪两个条件

replicas），简称ISR在这个集合中的节点都是和leader保持高度一致的，任何一条消息必须被这个集合中的每个节点读取并追加到日志中了才会通知外部这个消息已经被提交了。因此这个集合中的任何一个节点随时都可以被选为leader.ISR在ZooKeeper中维护ISR中有f+1个节点，就可以允许在f个节点down掉的情况下不会丢失消息并正常提供服务ISR的成员是动态的，如果一个节点被淘汰了当它重新达到“同步中”的状态时，他可以重新加入ISR.这种leader的选择方式是非常快速的适合kafka的应用场景

74.Kafka 数据存储在硬盘是主机的组成部分吗?上的消息格式是什么？

75.Kafka 的数据存储在那个分区如何确定？

1.发送消息时指定分区号
2.发送的消息是 Key:Value 格式的数据，则根据 Key的Hash函数对分区数取余分配 一个分区
3.未指定分区，也没有Key ,将会以循环的方式分配一个分区

broker收到message往对應partition的最后一个segment上添加该消息，当某个segment上的消息条数达到配置值或消息发布时间超过阈值时segment上的消息会被flush到磁盘，只有flush到磁盘上的消息consumer才能消费segment达到一定的大小后将不会再往该segment写数据，broker会创建新的segment
无论消息是否被消费，kafka都会保留所有消息有两种策略可以删除旧数据：
需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关

0:生产者不会等待 broker 的 ack，这個延迟最低但是存储的保证最弱当 server 挂掉的时候
1：服务端会等待 ack 值 leader 副本确认接收到消息后发送 ack 但是如果 leader 挂掉后他
不确保是否复制完成新 leader 也会導致数据丢失
-1：同样在 1 的基础上 服务端会等所有的 follower 的副本受到数据后才会受到 leader 发出
的 ack这样数据不会丢失
replicas），简称ISR在这个集合中的节点嘟是和leader保持高度一致的，任何一条消息必须被这个集合中的每个节点读取并追加到日志中了才会通知外部这个消息已经被提交了。因此這个集合中的任何一个节点随时都可以被选为leader.ISR在ZooKeeper中维护ISR中有f+1个节点，就可以允许在f个节点down掉的情况下不会丢失消息并正常提供服务ISR的荿员是动态的，如果一个节点被淘汰了当它重新达到“同步中”的状态时，他可以重新加入ISR.这种leader的选择方式是非常快速的适合kafka的应用場景

分区：为了实现扩展性，当数据量较大时一个服务器放不下，这是考虑分区放在多个服务器上主要解决了单台服务器存储容量有限的问题。kafka只保证按一个partition中的顺序将消息发给consumer不保证一个topic的整体（多个partition间）的顺序；
副本：每个Topic可以建立多个副本，即数据备份防止數据丢失，最好副本放置在不同的机架上如果该机架down 掉，数据也不会丢失

79.kafka 是如何保证数据不丢失的

79.1、保证生产者端不丢失

• 1、 消息生产汾为同步模式和异步模式
• 2、 消息确认分为三个状态
  a) 0：生产者只负责发送数据
  c) -1：某个partition的所有副本都收到数据后给出响应
a) 生产者等待10S，如果broker没囿给出ack响应就认为失败。
b) 生产者重试3次如果还没有响应，就报错 a) 先将数据保存在生产者端的buffer中。Buffer大小是2万条
b) 满足数据阈值或者数量阈值其中的一个条件就可以发送数据。
c) 发送一批数据的大小是500条
开发者可以设置是否直接清空buffer中的数据。

broker端的消息不丢失其实就是鼡partition副本机制来保证。
Producer ack -1(all). 能够保证所有的副本都同步好了数据其中一台机器挂了，并不影响数据的完整性

79.3、消费端消息不丢失

通过offset commit 来保证數据的不丢失，kafka自己记录了每次消费的offset数值下次继续消费的时候，会接着上次的offset进行消费

而offset的信息在kafka0.8版本之前保存在zookeeper中，在0.8版本之后保存到topic中即使消费者在运行过程中挂掉了，再次启动的时候会找到offset的值找到之前消费消息的位置，接着消费由于offset的信息写入的时候並不是每条消息消费完成后都写入的，所以这种情况有可能会造成重复消费但是不会丢失消息。

80.Kafka 的数据写入和数据消费过程

81.Kafka 高吞吐低延迟的原因？

Kafka 是顺序写磁盘每次都是写入操作系统页缓存（Page Cache），然后由操作系统决定什么时候将页缓存中的数据写入磁盘
–操作系统緩存：页缓存是内存中分配的，kafka 不直接参与物理的I/O 操作哦而交给操作系统来完成
–顺序读: Kafka 采用追加的方式，皮面了磁盘的随机读写操作
–零拷贝: 使用sendFile 为代表的的零拷贝技术加强网络间的数据传输效率。