`

hive本地模式

    博客分类:
  • hive
 
阅读更多

 

 

看hive资料会看到hive本地模式这个介绍, 下面是查询网上资料后的一些整理:

 

大多数的Hadoop job是需要hadoop集群来处理大数据的,

不过,有时hive的输入数据量是非常小的。在这种情况下,为查询执行任务的时间消耗可能会比实际job的执行时间要多的多,因此hive0.7版本后Hive开始支持任务执行选择本地模式(local mode),即任务提交到本地机器处理,数据不从集群中获取。

 

 

使用本地模式需要满足的条件:

 

配置如下参数,可以开启Hive的本地模式:
hive> set hive.exec.mode.local.auto=true;(默认为false)


当一个job满足如下条件才能真正使用本地模式:
1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

3.job的reduce数必须为0或者1

 

 

参考链接:

http://blog.csdn.net/wisgood/article/details/17383247

 

分享到:
评论

相关推荐

    Hive优化(提高hive运行速度)

    文章目录一、Hive使用本地模式执行操作(Hive使用资源大于20M的时候还是会采用集群yarn的方式运行)具体设置方法1、设置临时的2、修改hive配置文件(hive-site.xml),永久有效二、 一、Hive使用本地模式执行操作...

    hive实验报告.docx

    完成Hive工具的安装和配置 Hive工具能够正常启动运行 Hive控制台命令能够正常使用 够正常操作数据库,表,数据

    Hive用户指南(Hive_user_guide)_中文版.pdf

    在启动 Client 模式的时候, 需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server 。 WUI 是通过浏览器访问 Hive 。 2、 Hive 将元数据存储在数据库中,如 mysql 、 derby 。 Hive 中的元数据包括表的...

    大数据Hive数仓开发精讲到企业级实战应用

    │ │ 20--Apache Hive--安装部署--本地模式--Hive安装配置.avi │ │ 21--Apache Hive--安装部署--远程模式安装与metastore服务启动.avi │ │ 25--Apache Hive--初体验1--Hive使用起来和MySQL差不多吗?.avi...

    大数据 虚拟机 Linux VM复习题库:题库包括了60题选择题、10题填空题、10题判断题、2题简答题,助你度过期末复习

    (2)、本地模式:通过网络连接到一个数据库中,是最经常使用到的模式。假设使用本机 mysql 服务器存储元数据。这种存储方式需要在本地运行一个 mysql 服务器。(1 分) (3)、远程模式:在服务器端启动一个 MetaStore...

    mongo-hive:将您的 MongoDB 集合加载到 Hive 中。 支持复杂的JSON结构

    该代码通过对每个 MongoDB 记录进行深入检查并导出每个字段的数据类型来自动创建 Hive 模式。 支持基本数据类型、嵌套对象、原始数据类型数组和对象数组。 嵌套字段被展平成列。 数组通常被拆分为不同的(子)...

    hive-engine-dex:Hive Engine DEX界面

    Tribaldex Tribaldex的代码库。 安装/设置 要在本地运行,您将需要安装Node.js。 安装Node.js的最简单的方法是通过官方网站节点上下载安装。 这是唯一的先决条件(除了... 要以开发模式在本地运行应用程序,只需打

    azkaban玩转热门大数据调度系统视频教程

    3.solo本地模式 4.Two-Server单节点模式 5.Multiple-Executor分布式模式 第四章:Azkaban开发实战 1.Azkaban工作流开发规则 2.Azkaban调度Shell脚本实战 3.Azkaban调度HDFS实战 4.Azkaban调度MapReduce...

    解决Could not locate executable null\bin\winutils.exe

    在windows环境下的eclipse或者idea中编写spark应用时,有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常: java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop...

    Hadoop权威指南 第二版(中文版)

     1.4.1 读时模式(Schema on Read)vs.写时模式(Schema onWrite)  1.4.2 更新、事务和索引  1.5 HiveQL  1.5.1 数据类型  1.5.2 操作和函数  1.6 表  1.6.1 托管表(Managed Tables)和外部表(External Tables) ...

    iot-masterclass

    通过按顺序进行操作,您将构建一个应用程序,该应用程序在本地模式下执行以下操作: 部分 目标 工具 设置开发人员。 环境,在本地模式下启动Zookeeper和Kafka。 使用Akka模拟事件生成,推送给Kafka生产者。 ...

    BigDataProject:这是我的大数据类项目

    Hive HA模式搭建(未测试) MongoDB与Pig MongoDB的本地安装 + PyMongo的基本操作 MongoDB的全分布式安装 Pig的全分布式安装 数据集介绍 公开数据集 这一部分数据集能够在公开渠道下载。 kaggle - Amazon sales rank...

    Hadoop权威指南(中文版)2015上传.rar

    1.4.1 读时模式(Schema on Read)vs.写时模式(Schema on Write) 1.4.2 更新、事务和索引 1.5 HiveQL 1.5.1 数据类型 1.5.2 操作和函数 1.6 表 1.6.1 托管表(Managed Tables)和外部表(External Tables) 1.6.2 ...

    Hadoop实战(陆嘉恒)译

    编程实践6.1 开发MapReduce 程序6.1.1 本地模式6.1.2 伪分布模式6.2 生产集群上的监视和调试6.2.1 计数器6.2.2 跳过坏记录6.2.3 用IsolationRunner重新运行出错的任务6.3 性能调优6.3.1 通过combiner来减少网络流量...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    05-mr程序的本地运行模式.avi 06-job提交的逻辑及YARN框架的技术机制.avi 07-MR程序的几种提交运行模式.avi 08-YARN的通用性意义.avi 09-yarn的job提交流程.avi 第四天 常见mr算法实现和shuffle的机制 01-...

    Hadoop实战中文版

    5.5 小结 5.6 更多资源 第6章 编程实践 6.1 开发MapReduce 程序 6.1.1 本地模式 6.1.2 伪分布模式 6.2 生产集群上的监视和调试 6.2.1 计数器 6.2.2 跳过坏记录 6.2.3 用IsolationRunner重新运行出错的任务...

    EasyBDI

    使用类似向导的界面配置本地模式视图,全局模式和星型模式。 支持几个已经测试过的数据源,例如MySQL,PostgreSQL,Hive,Cassandra,MongoDB和原始文件(csv,tsv,txt)。 使用拖放界面创建分析查询。 查询可以...

    Hadoop实战

    1105.5 小结 1115.6 更多资源 112第6章 编程实践 1136.1 开发MapReduce程序 1136.1.1 本地模式 1146.1.2 伪分布模式 1186.2 生产集群上的监视和调试 1236.2.1 计数器 1236.2.2 跳过坏记录 1256.2.3 用...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    2.3.1 将数据导入本地文件系统 技术点8 自动复制HDFS 中的文件 2.3.2 数据库 技术点9 使用Sqoop 将数据导入MySQL 2.3.3 Hbase 技术点10 将数据从HDFS 导入HBase 技术点11 使用HBase 作为MapReduce 的...

    Hadoop实战中文版.PDF

    1025.3.2 实现一个Bloom filter 1045.3.3 Hadoop 0.20以上版本的Bloom filter 1105.4 温故知新 1105.5 小结 1115.6 更多资源 112第6章 编程实践 1136.1 开发MapReduce程序 1136.1.1 本地模式 1146.1...

Global site tag (gtag.js) - Google Analytics