【踩坑实录】-bucketId out of range: -1 (state=,code=0)
发布于 2023-04-11
目录 目录 一、背景 二、代码 1.hive 建表语句 2.datax自定义json 3.查询语句 三、定位问题 四、解决方案 1.load data 2.设置参数 3.文件格式 一、背景 datax同步postgre库表数据到hive表,同步完成后select报错 java.i...
阅读(1317)赞 (0)
发布于 2023-04-11
目录 目录 一、背景 二、代码 1.hive 建表语句 2.datax自定义json 3.查询语句 三、定位问题 四、解决方案 1.load data 2.设置参数 3.文件格式 一、背景 datax同步postgre库表数据到hive表,同步完成后select报错 java.i...
阅读(1317)赞 (0)
发布于 2023-04-10
大家好,又见面了,我是你们的朋友全栈君。 数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分,第一部分是确定都有哪些表,第二部分是确定数据装载的方式。 我们在进行ODS层搭建时,需要明确以下几点: 1)ODS层的表结构设计依托于从业务系统同步过来的数据结构。 ...
阅读(2701)赞 (0)
发布于 2023-04-07
大家好,又见面了,我是你们的朋友全栈君。 电商网站商品价格获取 本文以苏宁易购,京东,两个电商网站,模仿说明电商网站商品价格的两种获取方法。 json形式存放,京东商品的价格以json形式存放,以以下页面为例 https://item.jd.com/100000287133.ht...
阅读(1334)赞 (0)
发布于 2023-04-06
大家好,我是才哥。 今天分享一个用Python爬取板块资金流数据的案例 爬取网址为http://data.eastmoney.com/bkzj/hy.html,显示界面如图1所示。下面进行爬取板块资金流数据的操作。 图1 板块资金流网址界面 1,查找JS 直接按F12键,打开开发...
阅读(2693)赞 (0)
发布于 2023-04-04
本文示例源于fabric-samples中的fabcarhttps://github.com/hyperledger/fabric-samples 在这个例子中,我们通过一个简单的示例程序来了解Fabric应用是如何运行的。在这个例子中使用的应用程序和智能合约(链码)统称为Fab...
阅读(2960)赞 (0)
发布于 2022-11-25
MongoDB介绍 官网地址:https://www.mongodb.com/ MongoDB 是一个基于【分布式文件存储】的数据库,它属于NoSQL数据库。由 C++ 语言编写。旨在为 WEB 应用提供【可扩展】的【高性能】数据存储解决方案。 MongoDB是一个介于非系数据库...
阅读(1089)赞 (0)
发布于 2022-11-24
计算属性 计算属性:是Vue实例的一个选项 computed:{} 作用:在计算属性中去处理data里的数据 使用场景:任何复杂逻辑,都应当使用计算属性 本质: 计算属性的其实就是一个属性,用法和data中的属性一样,但计算属性的值是一个带有返回值的方法 <code sty...
阅读(2782)赞 (0)
发布于 2022-11-23
大家好,又见面了,我是你们的朋友全栈君。 Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺 标签: erp软件 亚马逊 跨境电商ERP 跨境电商ERP,跨境电商erp系统:亚马逊erp,对接亚马逊、wish、ebay、速卖通、shopify、shopee虾皮...
阅读(791)赞 (0)
发布于 2022-11-18
一个简单的JSON解析工具,可以匹配到相关的属性进行特殊化处理 前段时间,有个大数据的朋友找我帮忙,问我能不能在不转强类型对象的情况下,对json进行特殊化处理。我跟他说使用第三方json工具,如gson,fastjson等即可。后来他说希望灵活点,死代码不要太多,尽量通...
阅读(1611)赞 (0)
发布于 2022-11-18
1.使用kettle抽取CSV文件 通过Kettle工具抽取CSV文件csv_extract.csv中的数据并保存至数据库extract的数据表csv中。 (1)、创建一个转换 通过使用Kettle工具,创建一个转换csv_extract,并添加“CSV文件输入”控件、“表输出”...
阅读(532)赞 (0)
发布于 2022-11-13
最近群晖docker某个容器端口总是被扫描,系统自动封禁了很多IP,遂想更改端口,个人对Linux 和docker非常不熟悉,只做记录,如有错误,欢迎指出 流程分为以下几个步骤: 停止容器 修改端口映射 重启docker 停止容器 首先用docker ps命令查看所有的容器名称和...
阅读(1068)赞 (0)
发布于 2022-11-11
一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。 1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件,“表输出”控件及Hop跳连接线,用于实现CSV文件数据的抽取功能,具体效果如下图所示:...
阅读(245)赞 (0)
发布于 2022-11-02
接口地址 api.eeapi.cn 请求方式 GEE 请求参数 返回数据(json格式) 接口地址 http://(host 接口域名)/video/api&my=(自己的key)?url=(url短视频地址) 请求方式 GET 请求参数 my(注册平台自动生成密钥)、u...
阅读(2951)赞 (0)
发布于 2022-10-31
在上一篇教程中,我们教大家使用微信官方Demo快速搭建了一个小相册,并学会了如何安装开发者工具,如何创建小程序,如何做服务端配置。并利用腾讯云COS实现相册上传下载功能。 这次教程中,我们将教大家快速入门小程序开发,以Hello World不同的Level为例,了解小程序基本配置...
阅读(1966)赞 (0)