spark

发布于 2023-04-20

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun 前言 记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。 关于...

阅读(2090)赞 (0)标签：Flink / JAR / spark / SQL / 数据库

发布于 2023-04-17

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun 前言 上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi...

阅读(3026)赞 (0)标签：Flink / Hive / spark / SQL / 大数据

发布于 2023-04-11

目录 一、数据导入 名词解释 基本原理  导入方式 1.Broker Load 2.Spark Load 3.Stream Load 4.Routine Load 5.Insert Into 同步和异步 同步导入 异步导入 通用系统配置 FE 配置 BE 配置 注意事项 二、数据...

阅读(3085)赞 (0)标签：spark / SQL / 大数据 / 数据库 / 编程算法

发布于 2023-04-04

RDD简介 RDD，全称为Resilient Distributed Datasets（弹性分布式数据集），是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。在这些操作中，诸如map、fl...

阅读(1186)赞 (0)标签：MapReduce / Processing / spark / 数据处理

发布于 2023-04-04

本文章简要概述了spark sql 的执行流程以及基本原理。 spark sql 本质是将sql 语句解析为对应的RDD模型来进行执行spark 相关的计算操作。 在spark 中，RDD中的窄依赖是类似于pipeline 来进行执行操作的，宽依赖是需要在不同的节点进行shuff...

阅读(2963)赞 (0)标签：API / spark / SQL / 数据处理 / 数据库

发布于 2022-11-28

大家好，我是鱼皮。因为种种原因，最近我接手了组内部分大数据开发工作，对我来说是一个几乎完全陌生的领域；大学虽然也自学过，但也都是浅尝辄止，面对企业项目还是有点虚的，所以最近抽了很多时间在自学大数据，很少写文章了。 现在算下来做大数据工作也一个多月了，今天给大家分享一下我从后台开发...

阅读(2610)赞 (0)标签：spark / SQL / 大数据 / 网站 / 腾讯云测试服务

发布于 2022-11-15

相关版本 hadoop 3.2.0 spark 3.3.0 hudi 0.12.0 问题分析 用beeline连接spark thriftserver或者kyuubi（spark 3.3.0）查询hudi mor表，发现对于同一个spark SQL在同一个beeline sess...

阅读(2083)赞 (0)标签：spark / SQL

发布于 2022-11-10

大家好，又见面了，我是你们的朋友全栈君。 一 Spark概述 1 11 什么是Spark 2 Spark特点 3 Spark的用户和用途 二 Spark集群安装 1 集群角色 2 机器准备 3 下载Spark安装包 4 配置SparkStandalone 5 配置Job Hist...

阅读(931)赞 (0)标签：Bash / Bash 指令 / Shell / spark / 大数据