Hive严格模式

时间:2024-01-10 00:59:46 标签:  hadoop知识点  hive  hadoop  大数据  

1. 什么是Hive的严格模式
hive中的一种模式,在该模式下禁止一些不好SQL的执行。
2. Hive的严格模式不允许哪些SQL执行
2.1 禁止分区表全表扫描
分区表往往数据量大,如果不加分区查询会带来巨大的资源消耗 。例如以下分区表
SELECT DISTINCT(planner_id) FROM fracture_ins WHERE planner_id=5;


报错如下:
FAILED: Error in semantic analysis: No Partition Predicate Found for Alias “fracture_ins” Table "fracture_ins

    Hive提供了一个严格模式,可以防止用户执行那些可能意向不到的不好的影响的查询。         通过设置属性hive.mapred.mode值为默认是非严格模式 nonstrict 。开启严格模式需要修改hive.mapred.mode值为 strict , 开启严格模式可以禁止3种类型的查询。
<property>
     <name>hive.mapred.mode</name>
     <value>strict</value>
     <description>
     The mode in which the Hive operations are being performed. 
     In strict mode, some risky queries are not allowed to run. They include:
         Cartesian Product.
         No partition being picked up for a query.
         Comparing bigints and strings.
         Comparing bigints and doubles.
         Orderby without limit.
     </description>
 </property>
1)对于分区表, 除非where语句中含有分区字段过滤条件来限制范围,否则不允许执行。 换句话说,就是用户不允许扫描所有分 区。进行这个限制的原因是,通常分区表都拥有非常大的数据集,而且数据增加迅速。没有进行分区限制的查询可能会消耗令人 不可接受的巨大资源来处理这个表。 2)对于 使用了order by语句的查询,要求必须使用limit语句。 因为order by为了执行排序过程会将所有的结果数据分发到同一个 Reducer中进行处理,强制要求用户增加这个LIMIT语句可以防止Reducer额外执行很长一段时间。 3) 限制笛卡尔积的查询。 对关系型数据库非常了解的用户可能期望在执行JOIN查询的时候不使用ON语句而是使用where语句, 这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是,Hive并不会执行这种优化,因此,如 果表足够大,那么这个查询就会出现不可控的情况。 来源:https://blоg.сsdn.nеt/Clittlе225/аrtiсlе/dеtаils/130421243

智能推荐

1. 什么是Hive的严格

标签:hadoop知识点  hive  hadoop  大数据  

目录综述1.严格模式1.1 参数设置1.2 查看参数1.3 严格模式限制内容及对应参数设置2.实际操作2.1 分区表查询时必须指定分区2.2 order by必须指定limit2.3 限制笛卡尔积3.搭配使用3.1 参数3.2 搭配使用案例综述在同样的集群运行环境中,hive调优有两种方式,即参数调优和sql调优。本

标签:模式  系列之  HiveSQL  hive  

JavaScript的严格模式(Strict Mode)是一种在代码中启用的特殊模式,用于提供更严格的语法和错误检查,以改善代码质量和增强安全性。使用严格模式可以帮助大家避免一些常见的错误,并禁用一些不推荐使用的特性。要启用严格模式,可以在代码的顶部或函数体的开头添加以下语句:use strict;&nbsp;&nbsp;&nbsp;&nbsp;启用严格模

标签:模式  JS  

规格模式规格模式 使用了策略模式,组合模式. 只不过将模式具体化了规格模式将 与或非 操作进行了封装, 实现了类似 SQL查询语句的操作.类图如下:其中的角色如下:ISpecification 抽象规格书: 对规格书的抽象定义CompositeSpecification 组合规格书: 抽象类, 对规格书进行 与或非 操作, 实现 and,o

标签:模式  规格  

可以采用模板输出变量使用函数{$create_time|date=y-m-d,###}$create_time 为时间戳&nbsp;

标签:模板  格式  时间  

hive 存储格式有很多,但常用的一般是 TextFile、ORC、Parquet 格式,在我们单位最多的也是这三种hive 默认的文件存储格式是 TextFile。除 TextFile 外的其他格式的表不能直接从本地文件导入数据,要先导入到 TextFile 格式的表中,再从表中用 insert 导入到其他格式的表中。一、TextFileTextFile 是行式存储。建表时无需指定,一般默认这种格式,以这种格式存储的文件,可以直接在 HDFS 上 cat 查看数据。可以用任意分隔符对列分割,建表时需要指定分隔符。不会对文件进行压缩,因此加载

标签:入门  常用  格式  文件  hive  

unix_timestamp()是hive系统时间&#xff0c;格式是timestamp&#xff

标签:# 大数据数据库  hive  

目的构建一个清晰的业务规则规范,其中每条规则都能被针对性地检查。每个规范类中都有一个称为isSatisfiedBy的方法,方法判断给定的规则是否满足规范从而返回 true 或 false。RulerZUML图★官方PHP高级学习交流社群「点击」管理整理了一些资料,BAT等一线大厂进阶知识体系备好(相关学习资料以及笔面试题)以及不限于:

标签:模式  实例  规格  代码  大全  

一、维度模型分类:星型模型,雪花模型,星

标签:数仓  hive  数据库  hadoop  

我在整理Hive的存储格式和压缩格式,本来打算一篇发出来,结果其中一小节就有很多内容,于是打算写成Hive存储格式和压缩格式系列。本节主要讲一下Hive存储格式最早的典型的列式存储格式RCFile。综述RCFile(Record Columnar File)文件格式是FaceBook开源的一种Hive的文件存储格式,遵循“首先水平分区,然后垂直分区”的设计理念。首先将数据水平分为几个行组,这样每一行数据就可以保证存储在同一个集群节点,然后对每个行组内数据进行垂直划分,按列存储。下面通过文件存储结构来引入RCFile的详细介绍。文件存储结构主要有行存储结构,列存储结构和混

标签:详解  未来  格式  hive  RCFile  

python的代码书写规范为什么要单独放在一个章节来写呢&#xff1f;先说说鄙人的一个因为书写代码

标签:python基础教程  python  nginx  gateway  

  大家好,我是痞子衡,是正经搞技术的痞子。今天痞子衡给大家介绍的是Octal或Hyper Flash上DQS信号与Dummy Cycle联系。  关于在 i.MXRT 上启动 NOR Flash 时如何设置正确的 Dummy Cycle 值,痞子衡一共写过四篇文章:《IS25WP系列Dummy Cycle设置》、《IS25LP系列Dummy Cycle设置》、《Dummy Cycle设置为0的误区》、《DTR模式下Dummy Cycle设置》, 这四篇文章都是针对普通 QuadSPI 型 Flash 而言的(一般没有 DQS 信号)。而如果在 i.MXRT 上启动的是包含 DQS 信号的 Octal Flash 或者 Hyp

标签:可不  为例  痞子  嵌入式  DQS  

猜你喜欢

1&#xff0c;pytest-html     安装pytest-html插件&#

标签:pytest  python  开发语言  

本文为学习清风数学建模排版的word部分的笔记配套资料可以在微信公众号《数学建模学习交流》后台发送“论文排版”免费获取。Word基础开启两个功能显示/隐藏编辑标记 &nbsp;&nbsp;&nbsp;打印预览功能

标签:建模  数学  格式  论文  

PKCS7的数字信封格式分为两种&#xff1a;带签名的数字信封和不带签名的数字信封。由于这个数字信

标签:https  ssl  安全  

【原作者:神武竹 • 未经允许,禁止转载】

标签:音视频  视频编解码  开源  实时音视频  开源软件  

引言.obj格式是保存3D模型的一种常见格式。网上介绍较多的是包含如下数据的obj格式:v顶点vt纹理坐标vn顶点法向量f 面

标签:格式  obj  Colors  Vertex  

1、Lazada平台99大促报名门槛通知 临近99大促&#xff0c;Laz

标签:产品运营  新媒体运营  用户运营  大数据  内容运营  

导读: 众所周知,信息时代下的数据就是能源,就是生产力。但是面对海量、纷繁的数据,特别是在金融领域,如何充分地利用数据是核心问题。本次分享主要想和大家一起探讨下,在金融风控场景下,如何通过数据对齐模型和业务目标,哪些数据、方法可以应用于风控模型,通过哪些指标可以正确地评估模型效果,以及最终如何用数据科学解释模型结果。今天的介绍会围绕下面四点展开:科学

标签:小满  模型  科学  金融  数据  

java中要实现excel新老格式的转换比较麻烦,开源库也没几个好用的。用ChatGpt查询也是推荐直接用POI,下面是借助ChatGPT写出来的代码,经过小小修改,格式转换良好,基本能用,就是效率比较低下。将就着用吧,哎!package com.yc.cloud.excel.util;import lombok.exter

标签:格式  转换成  poi  XLS  xlsx  

这是我的第一篇博客&#xff0c;本来打算先写YOLOV5的txt格式转V4

标签:数据集转格式  python  目标检测  

 ## 计算当前毫秒数&#xff1a;

标签:前端  linux  javascript  

正则是一个特殊的字符串,可以对其他字符串进行验证操作

标签:正则表达式  

相关问题

相关文章

热门文章

推荐文章

相关标签