设计方案收费标准百度ocpc如何优化
ELK日志收集系统集群实验
目录
一、实验拓扑
二、环境配置
三、 安装node1与node2节点的elasticsearch
1. 安装
2.配置
3.启动elasticsearch服务
4.查看节点信息
四、在node1安装elasticsearch-head插件
1.安装node
2.拷贝命令
3.安装elasticsearch-head
4.修改elasticsearch配置文件
5.启动elasticsearch-head
6.访问：
7.测试
五、node1服务器安装logstash
六、logstash日志收集文件格式
七、node1节点安装kibana
八、企业案例：
一、实验拓扑
二、环境配置
设置各个主机的IP地址为拓扑中的静态IP，在两个节点中修改主机名为node1和node2并设置hosts文件
node1：
hostnamectl set-hostname node1
vim /etc/hosts
192.168.1.1 node1
192.168.1.2 node2
node2：
hostnamectl set-hostname node2
vim /etc/hosts
192.168.1.1 node1
192.168.1.2 node2
三、 安装node1与node2节点的elasticsearch
1. 安装
mv elk软件包 elk
cd elk
rpm -ivh elasticsearch-5.5.0.rpm
2.配置
node1：
vim /etc/elasticsearch/elasticsearch.yml
cluster.name:my-elk-cluster //集群名称
node.name:node1 //节点名字
path.data:/var/lib/elasticsearch //数据存放路径
path.logs： /var/log/elasticsearch/ //日志存放路径
bootstrap.memory_lock:false //在启动的时候不锁定内存
network.host:0.0.0.0 //提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port:9200 //侦听端口为9200
discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现
node2：
vim /etc/elasticsearch/elasticsearch.yml
cluster.name:my-elk-cluster //集群名称
node.name:node2 //节点名字
path.data:/var/lib/elasticsearch //数据存放路径
path.logs： /var/log/elasticsearch/ //日志存放路径
bootstrap.memory_lock:false //在启动的时候不锁定内存
network.host:0.0.0.0 //提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port:9200 //侦听端口为9200
discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现
3.启动elasticsearch服务
node1和node2
systemctl start elasticsearch
4.查看节点信息
http://192.168.1.1:9200
http://192.168.1.2:9200
四、在node1安装elasticsearch-head插件
1.安装node
cd elk
tar xf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure && make && make install
等待安装完毕。
2.拷贝命令
cd elk
tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
3.安装elasticsearch-head
cd elk
tar xf elasticsearch-head.tar.gz
cd elasticsearch-head
npm install
4.修改elasticsearch配置文件
vim /etc/elasticsearch/elasticsearch.yml
# Require explicit names when deleting indices:
#
#action.destructive_requires_name:true
http.cors.enabled: true //开启跨域访问支持，默认为false
http.cors.allow-origin:"*" //跨域访问允许的域名地址
重启服务： systemctl restart elasticsearch
5.启动elasticsearch-head
cd /root/elk/elasticsearch-head
npm run start &
查看监听： netstat -anput | grep :9100
6.访问：
http://192.168.1.1:9100
7.测试
在node1的终端中输入：
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
刷新浏览器可以看到对应信息即可
五、node1服务器安装logstash
cd elk
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
In -s /usr/share/logstash/bin/logstash /usr/local/bin/
测试1： 标准输入与输出
logstash -e 'input{ stdin{} }output { stdout{} }'
测试2： 使用rubydebug解码
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'
测试3：输出到elasticsearch
logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.1.1:9200"]} }'
查看结果：
http://192.168.1.1:9100
若看不到，请刷新！！！
六、logstash日志收集文件格式
（默认存储在/etc/logstash/conf.d）
Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：
input (...) 输入
filter {...} 过滤
output {...} 输出
在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
file{path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/apache/access.log" type =>"apache"}
}
案例：通过logstash收集系统信息日志
chmod o+r /var/log/messages
vim /etc/logstash/conf.d/system.conf
input {
file{
path =>"/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch{
hosts =>["192.168.1.1:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
重启日志服务： systemctl restart logstash
查看日志： http://192.168.1.1:9100
七、node1节点安装kibana
cd elk
rpm -ivh kibana-5.5.1-x86_64.rpm
配置kibana
vim /etc/kibana/kibana.yml
server.port：5601 //Kibana打开的端口
server.host："0.0.0.0" //Kibana侦听的地址
elasticsearch.url： "http：//192.168.8.134:9200"
//和Elasticsearch 建立连接
kibana.index：".kibana" //在Elasticsearch中添加.kibana索引
启动kibana
systemctl start kibana
访问kibana :
http://192.168.1.1:5601
首次访问需要添加索引，我们添加前面已经添加过的索引：system-*
八、企业案例：
收集httpd访问日志信息
在httpd服务器上安装logstash，参数上述安装过程，可以不进行测试
logstash在httpd服务器上作为agent（代理），不需要启动
编写httpd日志收集配置文件
vim /etc/logstash/conf.d/httpd.conf
input {
file{
path=>"/var/log/httpd/access_log" //收集Apache访问日志
type => "access" //类型指定为 access
start_position => "beginning" //从开始处收集
}
output{
elasticsearch {
hosts =>["192.168.8.134：9200"] // elasticsearch 监听地址及端口
index =>"httpd_access-%{+YYYY.MM.dd}" //指定索引格式
}
}
使用logstash命令导入配置：
logstash -f /etc/logstash/conf.d/httpd.conf
使用kibana查看即可！ http://192.168.1.1:5601 查看时在mangement选项卡创建索引httpd_access-* 即可！