Logstash同步MySQL数据到ES Linux

Logstash同步MySQL数据到ES

数据放在mysql上不好进行分析,且查询的还比较慢。就想着把数据同步到es上,利用es的高效查询功能进行数据分析。 一、Logstash配置MySQL数据源接入 mysql表字段介绍 准备mysql-...
阅读全文
Logstash之grok匹配解析 Linux

Logstash之grok匹配解析

 使用ELK收集日志时往往会接一层logstash对日志进行我们想要的格式解析,方便后面统计分析。测试可以直接放到Kibana DEV Tools页面中进行测试。  使用grok直接解析方式 加上自定...
阅读全文
Python爬取拉勾招聘信息 Python

Python爬取拉勾招聘信息

如果我们当前想统计下拉勾上各职位的招聘行情的话,用代码的方式统计分析的话就是最便捷的了。当前Python版本为3.7,因为拉勾是动态网页生成,所以考虑用selenium驱动浏览器获取网页源码信息。
阅读全文
Python操作阿里云OSS Python

Python操作阿里云OSS

本次实验也是jenkins打包安卓需要有一个归档地址,那么阿里云OSS就是一个比较好的选择,打包好后直接推送到oss上,然后在打包日志最后把OSS下载地址展示出来。操作阿里云别的产品也可以加我微信私聊...
阅读全文
Logstash之Geoip库绘制地图位置 Linux

Logstash之Geoip库绘制地图位置

把IP信息实时对应在地图上是一件很炫酷的事。写这篇文章也是在网上找了很多博客,写的都是一知半解,没有实验出来。正好我这次实验测试成功,那我就分享完整的实施过程。部分调优参数可以参考其他的。实验版本均为...
阅读全文
Python获取zabbix图形并发送邮件 Python

Python获取zabbix图形并发送邮件

由于每周都要统计zabbix上图形上的数据形成报表然后发送邮件,每次发送都比较费时间,想着重复的事情能交给机器做,写了个python程序自动获取并发送。 先获取图形数据存到本地: 然后把下载下来的图片...
阅读全文
rsync实现远程同步 Linux

rsync实现远程同步

rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而...
阅读全文
mysqldump备份存储过程函数事件 Linux

mysqldump备份存储过程函数事件

一般我们使用mysqldump命令备份时只会备份数据,往往忽略了该库下的存储过程函数事件等,这些对于线上的数据来说都是很重要的,本文就简单讲解下如何使用mysqldump备份存储函数等。 如下为常见的...
阅读全文