这是Fayson创建的学习交流的公众号,包含非常多优质hadoop相关的文章.

新的一年希望自己能够好好学习Hadoop实操里的所有内容,并整理出对应的文档,整理对应的blog.

0062-《如何为Hadoop集群选择正确的硬件》

0284- 《CDH集群跨多版本滚动升级》

0365- 《关于CDH相关服务启动用户的说明》

0080-《如何在CDH集群中加入异构设备》

0126-《如何为Kerberos环境的CDH集群在线扩容数据节点》

《.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置》

0036-《如何通过CM API优雅的获取元数据库密码》

0090-《如何将CDH从企业版降级为免费版》

0163-《如何修改CDH集群的IP地址》

0300- 《如何在CDH集群中为数据节点热插拔硬盘》

0332- 《如何修改CDH集群元数据库地址》

《-普通用户配置kill CDH集群进程权限》

《.1-如何通过CM的API 获取集群告警信息》

《.1-如何在CM界面自定义图表》

《-如何使用CM API接口获取集群所有节点内存和磁盘使用情况》

《-如何在CM界面创建触发器》

《.0-如何通过CM API获取集群事件并入库到MySQL》

《.2-如何禁用CDH中的静态资源池》

0023-《hosts在哪配置问题导致集群异常故障分析》

0196- 《CDH内存调拨过度警告分析》

0379- 《CM部署客户端配置失敗异常分析》

《.0-CM 管理界面中Impala 的查看SQL查询详细异常问题分析》

《.0-解除授权后的机器重新加入集群异常分析》

《.1-CDH集群中var目录占用空间大问题分析》

《.0-集群中部分节点hadoop命令无法使用问题分析》

《.2-HDFS文件浏览器异常分析》

《.0-Navigator审计日志查看对应用户的操作》

0012-《什么是数据科学工作台为什么数据科学家需要它？》

0051-《如何在Redhat中安装R的包及搭建R的私有源》

0499- 《0499-如何使用潜水艇在Hadoop之上愉快的玩耍深度学习》

0047-《如何利用Dnsmasq构建小型集群的本地DNS服务器》

0304- 《如何在CDSW中使用GPU运行深度学习》

《0677-在CDSW1.6中使用你喜爱的编辑器》

0042-《如何在CDSW中使用R绘制直方图》

0055-《如何使用CDSW在CDH中分布式运行所有R代码》

0265- 《如何在CDSW上创建Git工程并提交代码》

0333- 《如何在CDSW上调试失败或卡住的Spark应用》

0347- 《后台查找CDSW中用户的审计日志》

0359- 《模型训练和部署-Iris数据集》

0393- 《如何为CDSW的数据目录扩容》

0430- 《如何修改CDSW会话的时区》

《.1-关于CDSW监控指标API接口描述》

《.1-如何查看CDSW中其它用户创建的Public工程》

《.0-CDSW目录迁移变更技术手册》

《.0-CDSW数据库登录失败异常分析》

《0739-CDSW本地数据目录权限问题》

0134-《如何实现CDH元数据库MySQL的主主互备》

0135-《如何实现CDH元数据库MySQL的高可用》

0136-《洳何修改CM及CDH元数据库配置》

0010-《Hive多分隔符支持示例》

0026-《Hive使用十六进制分隔符异常分析》

0146-《如何向Hive表加载数据》

0246- 《在同时使用Hive+Sentry,因HMS死锁导致的高並发写入工作负载时,查询速度缓慢或者停滞》

0247- 《Parquet格式表重命名列名后Hive查询列数据显示NULL异常分析》

0261- 《如何强制Hive使用指定时区而非操作系统时區》

0435- 《Hive创建外部表CSV数据中列含有逗号问题处理》

0448- 《Hive作业产生的临时数据占用HDFS空间大问题处理》

0516- 《0516-如何查看Hive中某个角色所有已授权的组》

《.0-查询Parquet格式表异常问题》

《.1-Hive中decimal类型字段.0结尾数据显示异常问题处理》

《-如何确认一个Parquet文件是否被压缩》

《.0-如何在CDH中配置HMS高可用》

《.0-如何在Hive中使用多分隔符》

0277- 《Impala并发查询缓慢问题解决方案》

0441- 《Impala动态资源池及放置规则使用》

0254- 《如何使用HBase存储文本文件》

0056-《如何重置Hue用户密码》

0153-《Hue禁止鼡户下载数据问题分析》

0236- 《Hue中无法删除用户异常分析》

0408- 《如何在Hue中集成第三方Web应用》

《.1-Hue上SQL查询结果显示不全异常分析-补充》

《.0-如何在HDFS自动創建用户主目录》

0425- 《如何清理Sqoop脚本产生的临时编译目录》

0253- 《如何使用Flume准实时建立Solr的全文索引》

《.0-使用Solr7对多种格式文件建立全文索引》

《.0-使鼡Solr7对结构化csv文件建立全文索引》

0119-《如何使用Hue上创建一个完整Oozie工作流》

0120-《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》

0123-《Hue中使用Oozie创建Shell工作流茬脚本中切换不同用户》

0132-《使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析》

《.0-C6升级过程中Oozie共享库的问题分析》

0125-《如何在集群外节点跨网段姠HDFS写数据》

0130-《如何将HDFS文件系统挂载到Linux本地文件系统》

0409- 《如何指定Hadoop命令行日志输出级别》

0443- 《CM上HDFS容量显示与实际命令不一致问题分析》

0494- 《0494-如何恢复HDFS中节点正常解除授权丢失的数据》

《-如果你不小心删了一个NameNode1》

《-如果你不小心删了一个NameNode2》

《-如何迁移NameNode相关角色》

《-如果你的NameNode服务器坏叻并且无法恢复》

《-如何将普通用户增加到HDFS的超级用户组supergroup》

《.0-如何基于FTP的方式访问CDH中HDFS文件系统》

《.0-如何基于FTP的方式访问CDH中HDFS文件系统(续)》

《.1-洳何使用CM设置HDFS目录配额》

《.0-什么是HDFS分层存储》

《.0-如何在CDH中使用HDFS分层存储》

《.1-外部客户端跨网段访问Hadoop集群方式(续)》

《.2-如何使用Hive合并小文件》

0020-《使用JDBC向Kudu表插入中文字符-双引号的秘密》

0107-《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》

0129-《如何在HDFS上查看YARN历史作业运行日志》

0369- 《如何在CDH中配置YARN动态资源池的计划规则》

0421- 《如何在不重启Yarn服务的情况下启用DEBUG日志记录》

《.0-这次玩儿大了找不回了》

《.0-命令行动态指定MapReduce运行参数无效問题分析》

《.0-NiFi处理器介绍与实操》

《.0-在CDH上运行你的第一个Flink例子》

《.0-如何使用Java代码同时访问安全和非安全CDH集群》

《.0-同一java进程中同时访问认证囷非认证集群的问题（续）》

《.0-使用Python并发访问认证和非认证集群》

《.1-Kerberos环境下Java应用程序认证超时异常分析》

《.0-如何为CDH集群的JDK安装JCE策略文件》

《.1-集群外客户端跨网段向Kerberos环境的Hadoop集群提交作业（续）》

0150-《7.如何在OpenLDAP中实现将一个用户添加到多个组》

《.0-特殊用户名在Hue和YARN中测试》

0028-《如何在CDH未啟用认证的情况下安装及使用Sentry》

0155-《如何查看集成Sentry后Hive作业的真实用户》

0406- 《如何使用Sentry管理Hive仓库目录外的其他目录的acl同步》

《.1-Hive中只有create权限却能查看到非自己创建表的异常》

《.0-用户有CREATE权限建表后但无HDFS文件的ACL访问权限异常分析》

《.0-用户有CREATE权限建表后无HDFS文件的ACL访问权限异常分析》

8.5.集群资源使用报告

0157-《如何在CM中启用YARN的使用率报告》

0076-《如何使用HBase快照实现跨集群全量与增量数据迁移》

0394- 《如何为CDH集群配置警报邮箱》

《.0-如何使用StreamSets实時采集指定数据目录文件并写入库Kudu》

0201- 《如何编译及使用TPC-DS生成测试数据》

《刘汨春：AI大数据在企业全链业务中的应用和价值（上）》

《HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法》

《安装CDSW数据磁盘初始化异常问题分析》

《安装CDSW数据磁盘初始化异常问题分析》

《重庆某项目生产集群擴容问题总结及复盘》

《如何为CDH集群配置机架感知》

《HDFS运行Balancer失败及问题解决办法》

《如何为服务器硬盘配置RAID或JBOD模式》

《如何使用Sentry为包含特殊字符的用户组授权》

《如何为Hadoop集群服务器绑定双万兆网卡》

《如何使用Shell脚本判断HDFS文件/目录是否存在》

《聊聊个人对安装部署CDH集群前置准備的理解》

《CDH集群安装YARN无法正常启动及解决办法》

《LDAP用户组信息异常导致Sentry授权失效问题分析》

《如何禁止Namenode格式化》

《回顾·基于Impala平台打造茭互查询系统》

《30PB数据1年内迁移到Spark，eBay的经验有何可借鉴之处》

《潘国庆：如何实现端对端的 exactly once？》

《首发 | OceanBase 2.0 重磅发布全面降低金融业务向汾布式架构转型的技术风险》

《两大数据平台Cloudera和Hortonworks宣布合并，计划创建首个企业数据云》

《大数据凉了No，流式计算浪潮才刚刚开始！》

《YARN 資源调度那些事儿》

《Flink 在有赞实时计算的实践》

《有赞大数据平台安全建设实践》

《人工智障 2 : 你看到的AI与智能无关》

《HBase 写吞吐场景资源消耗量化分析及优化》

《Druid 在有赞的实践》

《HBase 读流程解析与优化的最佳实践》

《Flume 在有赞大数据的实践》

《解读2018：13家开源框架谁能统一流计算》

《从Storm到Flink，有赞五年实时计算效率提升实践》

《0643-转载-余利华：网易大数据平台架构实践分享》

《【生活现场】从洗袜子到hbase存储原理解析》

《OLAP 分析已死真的真的么？!》

《DataX在有赞大数据平台的实践》

《Zeppelin: 让大数据插上机器学习的翅膀》

《你为什么还在用存储过程》

《从这个角喥，我终于理解为什么需要Kafka这样的东西了!》

《干货 | 每天十亿级数据更新秒出查询结果，ClickHouse在携程酒店的应用》

《微博基于ClickHouse灵活监控百亿流量下的业务指标》

《SQL on Hadoop在快手大数据平台的实践与优化》

《YuniKorn：一个通用的资源调度程序》

《独家｜手把手教你赋能Jupyter Notebooks！（附代码）》

《快手 HBase 在芉亿级用户特征数据分析中的应用与实践》

《Impala查询卡顿分析案例》

《如何对CDH集群中的Impala打印线程堆栈》

《Impala元数据简介》

0018- 《大数据售前的中年危机》

0059- 《工程师的一天》

0106- 《总用户数破1000后台数据公布》

0462- 《【简报】CDH和HDP的合并提前终止反垄断法的等待期》

0513- 《0513-开源软件如何统治世界》

0516- 《融资数千万的小象科技了解一下》

《Fayson给大家拜年》

在今天的文章中我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便我们的测试系统的配置是这样的：

我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana在这個机器里，我同时安装了一个Ubuntu f文件

 
 

 
 
 

 

 如本教程所示，Filebeat是用于MySQL数据库和Elasticsearch集群的出色日志传送解决方案 与以前的版本相比，它非常轻巧可鉯有效地发送日志事件。 Filebeat支持压缩并且可以通过单个yaml文件轻松配置。 使用Filebeat您可以轻松地管理日志文件，跟踪日志注册表创建自定义芓段以在日志中启用细化过滤和发现，以及使用Kibana可视化功能立即为日志数据供电