木盒主机hive的元数据存储在derby和mysql_桌面云必须部署的组件包括
1发布于 2023-09-11
???博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家? ?擅长领域：Java、大数据、运维、电子 ??如果本文章各位小伙伴们有帮助的话，?关注+??点赞+?评论+?收藏，相应的有空了我也会回访，互助！！！ ?另本人水平有限，旨在创作简单易...
阅读(2699)赞 (0)
Hive
Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
2发布于 2023-04-17
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun 前言 上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi...
阅读(3026)赞 (0)
【踩坑实录】-hive参数产生2个文件问题
发布于 2023-04-11
背景： 执行任务完成后，经常会发现hdfs生成了多个文件 设置以下参数防止hive生成2个文件： set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging; 处理方法：在hive-site.xml中添加以下参数。 <p...
阅读(341)赞 (0)
踩坑实录Hive中select * 没有数据，而select count(*)有数据
发布于 2023-04-11
目录 背景 问题定位 原因1.压缩导致 解决方案 原因2.分区文件location不一致导致 解决方案 原因3.元数据未更新 解决方案 背景 hdfs文件有数据，Hive中select * 没有数据，而select count(*)有数据 问题定位 原因1.压缩导致 表结构未压缩...
阅读(1631)赞 (0)
hive索引
1发布于 2023-04-11
目录 一、什么是索引 二、原理 三、详细内容 四、完整流程示例 1.创建索引语法 2.生成索引 3.查看索引 4.更新索引属性 5.删除索引 二、原理 Hive可以在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径...
阅读(861)赞 (0)
【踩坑实录】-bucketId out of range: -1 (state=,code=0)
发布于 2023-04-11
目录 目录 一、背景 二、代码 1.hive 建表语句 2.datax自定义json 3.查询语句 三、定位问题 四、解决方案 1.load data 2.设置参数 3.文件格式 一、背景 datax同步postgre库表数据到hive表，同步完成后select报错 java.i...
阅读(1316)赞 (0)
hive sql语句和mysql用法区别存档
5发布于 2023-04-04
大家好，又见面了，我是你们的朋友全栈君。 写在前面 mysql和hive版本： mysql版本：5.6.17 hive版本：2.1.1 一、GROUP_CONCAT功能 本功能测试基于以下数据表test_group: 1、简单功能实现对比 需求如下： 写出一个sql语句，按照ca...
阅读(1928)赞 (0)
impala简介
发布于 2023-04-04
apache impala 什么是Impala？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。 换句话说，Impala...
阅读(613)赞 (0)
数据仓库分三层_数据库分层
1发布于 2023-03-17
大家好，又见面了，我是你们的朋友全栈君。 参考： https://www.cnblogs.com/itboys/p/10592871.html 数据仓库–通用的数据仓库分层方法 数据仓库各层说明： 一、数据加载层：ETL（Extract-Transform-Load） 二、数据运...
阅读(2611)赞 (0)
漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
1发布于 2022-11-10
0x00 前言 本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。 最新文章已经迁入公众：木东居士 全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切...
阅读(736)赞 (0)
Hive学习3：Hive三种建表语句详解
17发布于 2022-11-02
大家好，又见面了，我是你们的朋友全栈君。 注：hive其他语法在hive官网有说明，建议初学者，去官网学习一手的资料， 官网：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation ...
阅读(1817)赞 (0)
大数据Presto（一）：Presto介绍
2发布于 2022-11-01
Presto介绍 一、Presto出现背景 Presto是Facebook在2012年开发的，是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析，Hive底层依赖MapReduce，随着数据量越来越大，使用Hive进行数据分析，时间可能需要分钟...
阅读(1363)赞 (0)
如何在小程序中实现音频播放
1发布于 2022-10-31
如何在小程序中实现音频播放 在如何使用小程序媒体组件这篇文章中，我们介绍了小程序媒体组件的使用，但是对音频组件部分讲的不够详细，本文将对音频部分做些补充。 在教程开始之前，需要搭建搭建好小程序的基础开发环境，关于如何配置，大家可以参考如何入门小程序开发这篇文章的入门教程。 音频组...
阅读(2635)赞 (0)