Hadoop

发布于 2023-04-17

问题 我们知道通过反向ssh可以借助有固定IP的外网服务器登陆没有外网IP的内网主机，但是我们在真正使用的时候可能不仅仅需要远程登陆，可能还会需要内网机器中其他端口提供的服务。比如现在我需要在远处利用Spark程序去操作内网机器里的分布式系统进行工作，这就至少需要调用内网机器的7...

阅读(1066)赞 (0)标签：Hadoop / spark / ssh / TCP/IP / 大数据

发布于 2023-04-04

apache impala 什么是Impala？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。 换句话说，Impala...

阅读(613)赞 (0)标签：Hadoop / HBase / Hive / TDSQL MySQL 版 / 数据处理

发布于 2022-12-01

大家好，又见面了，我是你们的朋友全栈君。 文章目录 01 引言 02 HDFS安装 03 HDFS命令汇总 3.1 新增操作 3.1.1 创建文件夹（mkdir命令） 3.1.2 文件上传（put命令） 3.1.3 文件复制（cp命令） 3.1.4 移动文件（mv命令） 3.1....

阅读(2083)赞 (0)标签：Hadoop / 大数据 / 编程算法

发布于 2022-12-01

大家好，又见面了，我是你们的朋友全栈君。 概述 所有的HDFS命令都调用bin/hdfs脚本文件，如果运行hdfs脚本没有带任何参数的话，则打印所有命令的描述。 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND...

阅读(2958)赞 (0)标签：Hadoop / 大数据

发布于 2022-11-22

今天也要努力学习 flume与kafka是同级的一个消息传输通道：但是有各自的定位 1：kafka定位消息队列，它可以有许多的生产者和消费者，并可以共享一个主题topic队列。而flume是定位数据传输，相比下，flume是一个专用工具被设计为旨在往HDFS，HBASE发送数据。...

阅读(2867)赞 (0)标签：Hadoop / https / Kafka / 大数据 / 网络安全

发布于 2022-11-22

Kafka的优势有哪些？经常应用在哪些场景？ Kafka的优势比较多如多生产者无缝地支持多个生产者、多消费者、基于磁盘的数据存储、具有伸缩性、高性能轻松处理巨大的消息流。多用于开发消息系统，网站活动追踪、日志聚合、流处理等方面。今天我们一起来学习Kafka的相关知识吧！ 一、Ka...

阅读(2840)赞 (0)标签：Hadoop / Python / 数据处理 / 编程算法

发布于 2022-11-03

hadoop+spark分布式集群部署 1.环境准备 环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善，需要可以邮箱或者博客留言。 os\ip hostname block centos7.9 192....

阅读(1632)赞 (0)标签：CentOS / Hadoop / spark / TCP/IP / 分布式