一、前言 本篇文章是hadoop3的搭建教程，从零开始的全手动搭建，包括其中遇到过的所有坑及解决方案，面向全新小白。本文当时操作部署是用的hadoop3.3.3,一般实际的项目推荐是用hadoop3.1.3，这是由于各种的兼容性问题，但部署上是基本没有区别的。 二、服务器准备 1、阿里云ECS购买 阿里云服务器4台，2核4G，centos7系统。2…

前言 最近对SparkSql的执行流程有更全面的了解，故写下本文以备后用。 首先一图流： 资料转载自： https://www.iteblog.com/archives/2561.html https://www.iteblog.com/archives/2562.html https://www.iteblog.com/archives/2563…

背景 最近在做hive数仓清洗时候，遇到一个问题。当hive在走tez框架下，如果在最外层sql使用union all做的hive表，切换其他引擎会查询不到数据，如切换presto、spark、starRocks等。 原因 原因也很简单。由于Hive在执行含有union all的语句时，是拆分并行执行，然后分别将结果存放在数据表目录下的HIVE_U…

一、前言 最近个人服务器的SSL证书马上要过期了，需要进行续期操作。由于我用的是免费SSL证书，所以需要每年自行更新一次。如果是用付费托管服务的话，可以免去这个烦恼，但毕竟申请证书的步骤也不繁琐，大概记录一下过程，防止以后忘记了。这里用的是腾讯云，centos7系统，nginx服务。 二、申请免费SSL证书 1、点击申请 首先登录服务器后台，点击申…

一、问题描述 国庆假回来，集群告警了。告警问题如下： HOST_AGENT_PARCEL_DIRECTORY_FREE_SPACE 的运行状况测试结果存在隐患： Cloudera Manager Agent 的 Parcel 目录位于可用空间小于 10.0 吉字节 的文件系统上。 /opt/cloudera/parcels（可用：10.0 吉字节 …

前言 在 centos7 集群上部署一些服务的时候，由于习惯使用非 root 用户，但是非 root 用户安装 java 后，无法在sudo [command]命令下找到 java。 原因核查 原因其实很简单，因为我的java环境变量是写在/etc/profile.d/my_env.sh下的，而sudo命令是会重置环境变量，因此没有读到/etc/p…

前言 最近开发FineReport填报报表，在做一个复选按钮功能时遇到一个问题，已被编辑过的复选按钮，无法被重新批量编辑。FineReport版本是10。 问题描述 具体案例如下，B2和B3分别添加了复选按钮控件，然后通过插入公式IF去判断，假如勾选了B2，那么B3所有的选择框都被勾选。 实测效果是可行的，如图。勾选前， 勾选后 反复勾选B2，都是…

前言 最近在服务器Centos7上用crontab定时执行Python程序的时候遇到一个问题，python程序的log日志没有正常输出，最后发现原来跟crontab的执行路径有关。 问题描述 我的python程序是用logging这个包进行log日志输出，通过os.getcwd()来找到当前程序的目录，然后把log日志输出到当前目录的路径下。 py…

前言 由于某种原因，个人服务器的mysql需要从mysql5升级到mysql8，但是版本升级之后，wordpress遇到各种问题，就此记录一下。本文相关的环境为，centos7 + nginx + mysql8 + php7。 关于mysql版本升级的文章，可以参考《linux mysql5.7升级到mysql8.0》。 有需要自己部署wordpr…

一、前言 JupyterLab是集合了Jupyter notebook所有功能的在线IDE工具，并且JupyterLab可以通过web随时随地的访问。本次使用的机器是阿里云centos7，JupyterLab版本3.6.3。由于我个人的服务器部署的应用比较多，为了环境隔离（偷懒省事），使用docker部署比较方便。 二、部署步骤 1、拉取镜像 去d…

前言 linux安装python3本来不是什么难事，但是会遇到各种奇葩问题。姑且还是写下这篇文章记录一下。 一、下载 linux下执行 wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 或者，登录Python Source Releases | Python.org，找到对应…