提示

大部分是作者的一些实战文章，时间太久，把散乱的一些能整理的发布出来，有些文章可能已经过时，请自行斟酌使用。

大数据技术

• 1. 介绍

• 2. Hadoop相关

  • 2.1 Hadoop升级启动NameNode
  • 2.2 Hadoop YARN配置参数剖析Capacity-Scheduler相关参数
  • 2.3 YARN Kill Container, NodeManager Logs
  • 2.4 HDFS删除并清空回收站
  • 2.5 Tez安装，TezOnYarn
  • 2.6 PigOnTez，Pig使用Tez执行引擎

• 3.Hive相关

  • 3.1 Hive数据类型隐式转换
  • 3.2 Iceberg Hive表创建
  • 3.3 Hive-explode关键字使用
  • 3.4 Hive-JSON表支持
  • 3.5 Hive-On-Tez支持
  • 3.6 Hive-On-MongoDB
  • 3.7 HiveOnTez，Tez和MapReduce-engine性能对比
  • 3.8 Hive-ParquetFile建表
  • 3.9 HIVE表动态分区
  • 3.10 Hive数据导出为文件分隔符

• 4. HBase相关

  • 4.1 HBase表开启压缩
  • 4.2 HBase优化策略参数.md
  • 4.3 hbase修复hbase-hbck.md
  • 4.4 HBase Table Manager
  • 4.5 HBase Procedures Lock锁处理

• 5. Spark相关

  • 5.1 Spark 性能调优.md
  • 5.2 Spark Stage优化相关
  • 5.3 Spark Iceberg初步使用

• 6. Presto相关

  • 6.1 Presto环境搭建
  • 6.2 Presto基于文件的账号密码开启

• 7. CDH

  • 7.1 CDH 安装
  • 7.2 CDH 安装2
  • 7.3 CDH-Parcel制作

• 8. HDP

  • 8.1 HDP 安装
  • 8.2 Ambari-2.7.6-编译
  • 8.3 Ambari-2.7.6-安装
  • 8.4 Centos7-Apache-Ambari-2.7.6编译安装.md

• 9. MQ

  • 9.1 Kafka启动运维
  • 9.2 Kafka源码编译
  • 9.3 RocketMQ 清除消息存储文件策略分析