Hadoop

云计算

跨内外网远程操作Spark

发布于 2023-04-17

问题 我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机,但是我们在真正使用的时候可能不仅仅需要远程登陆,可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内网机器里的分布式系统进行工作,这就至少需要调用内网机器的7...

阅读(1079)赞 (0)

云计算

impala简介

发布于 2023-04-04

apache impala 什么是Impala? Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟。 换句话说,Impala...

阅读(624)赞 (0)

云计算

HDFS操作_config命令汇总

发布于 2022-12-01

大家好,又见面了,我是你们的朋友全栈君。 文章目录 01 引言 02 HDFS安装 03 HDFS命令汇总 3.1 新增操作 3.1.1 创建文件夹(mkdir命令) 3.1.2 文件上传(put命令) 3.1.3 文件复制(cp命令) 3.1.4 移动文件(mv命令) 3.1....

阅读(2091)赞 (0)

云计算

hadoop hdfs命令_hadooplinux命令

发布于 2022-12-01

大家好,又见面了,我是你们的朋友全栈君。 概述 所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述。 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND...

阅读(2966)赞 (0)

云计算

kafka的优点包括_如何利用优势

发布于 2022-11-22

Kafka的优势有哪些?经常应用在哪些场景? Kafka的优势比较多如多生产者无缝地支持多个生产者、多消费者、基于磁盘的数据存储、具有伸缩性、高性能轻松处理巨大的消息流。多用于开发消息系统,网站活动追踪、日志聚合、流处理等方面。今天我们一起来学习Kafka的相关知识吧! 一、Ka...

阅读(2846)赞 (0)

云计算

hadoop 面试题_小学教师面试考试题库

11

发布于 2022-11-18

上一篇文章为大家总结了一些关于Hive的热门考点,得到了一些朋友的肯定与转发,菌菌就觉得花时间去做这些知识整合是非常有价值,有意义的一件事。本篇文章,让我们有幸一起来阅读一下,该怎么准备Hadoop的内容,才有机会在面试过程占据上风。 二、能跟我介绍下Hadoop和Spark的差...

阅读(851)赞 (0)

云计算

Hadoop体系_集团架构

7

发布于 2022-11-17

目录 2.1 Hadoop简介 2.1.1 Hadoop由来 2.1.2 Hadoop发展历程 2.1.3 Hadoop生态系统 2.2 Hadoop的体系架构 2.2.1 分布式文件系统HDFS 2.2.2 分布式计算框架MapReduce 2.2.3 分布式资源调度系统YAR...

阅读(739)赞 (0)