具體步驟如下：
（一）配置nginx服務(wù)器日志的格式（ log_format）為統(tǒng)一格式：
[root@ittestserver1 local]# vim /usr/local/nginx2/conf/nginx.conf
http {
include mime.types;
default_type application/octet-stream;
#include proxy.conf;
log_format main \\\'$remote_addr - $remote_user [$time_local] $request \\\'
\\\'$status $body_bytes_sent $http_referer \\\'
\\\'$http_user_agent $http_x_forwarded_for\\\';
access_log logs/access.log main;
access_log on;
（二）安裝配置logstash:
1， 安裝步驟省略具體參考上篇文章
2，配置如下：
[root@ittestserver1 local]# vim /usr/local/logstash/etc/nginx-access0518.conf
input {
file {
path => /usr/local/nginx2/logs/access.log
type => nginx-access
start_position => beginning
sincedb_path => /usr/local/logstash/sincedb
codec => json
}
}
filter {
if [type] == nginx-access {
geoip {
source => clientip
target => geoip
database => /usr/local/logstash/etc/GeoLiteCity.dat
add_field => [ [geoip][coordinates], %{[geoip][longitude]} ]
add_field => [ [geoip][coordinates], %{[geoip][latitude]} ]
}
mutate {
convert => [ [geoip][coordinates], float]
}
}
}
output {
if [type] == nginx-access {
elasticsearch {
hosts => [192.168.180.3:9200]
manage_template => true
index => logstash-nginx-access-%{ YYYY-MM}
}
}
}
具體解釋如下：
Logstash 分為 Input、Output、Filter、Codec 等多種plugins。
Input：數(shù)據(jù)的輸入源也支持多種插件，如elk官網(wǎng)的beats、file、graphite、http、kafka、Redis、exec等等等、、、
Output：數(shù)據(jù)的輸出目的也支持多種插件，如本文的elasticsearch，當(dāng)然這可能也是最常用的一種輸出。以及exec、stdout終端、graphite、http、zabbix、nagios、redmine等等、、、
Filter：使用過濾器根據(jù)日志事件的特征，對數(shù)據(jù)事件進(jìn)行處理過濾后，在輸出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、
Codec：編碼插件，改變事件數(shù)據(jù)的表示方式，它可以作為對輸入或輸出運(yùn)行該過濾。和其它產(chǎn)品結(jié)合，如rubydebug、graphite、fluent、nmap等等。
具體以上插件的細(xì)節(jié)可以去官網(wǎng)，介紹的挺詳細(xì)的。下面說下該篇中的配置文件的含義：
input段：
file：使用file 作為輸入源
path： 日志的路徑，支持/var/log*.log，及[ /var/log/messages, /var/log/*.log ] 格式
start_position: 從文件的開始讀取事件。另外還有end參數(shù)
filter段：
grok：數(shù)據(jù)結(jié)構(gòu)化轉(zhuǎn)換工具
match：匹配條件格式，將nginx日志作為message變量，并應(yīng)用grok條件NGINXACCESS進(jìn)行轉(zhuǎn)換
geoip：該過濾器從geoip中匹配ip字段，顯示該ip的地理位置
source：ip來源字段，這里我們選擇的是日志文件中的最后一個(gè)字段，如果你的是默認(rèn)的nginx日志，選擇第一個(gè)字段即可
target：指定插入的logstash字?jǐn)嗄繕?biāo)存儲為geoip
database：geoip數(shù)據(jù)庫的存放路徑
add_field: 增加的字段，坐標(biāo)經(jīng)度
add_field: 增加的字段，坐標(biāo)緯度
mutate： 數(shù)據(jù)的修改、刪除、型轉(zhuǎn)換
convert： 將坐標(biāo)轉(zhuǎn)為float類型
convert： http的響應(yīng)代碼字段轉(zhuǎn)換成 int
convert： http的傳輸字節(jié)轉(zhuǎn)換成int
replace： 替換一個(gè)字段
remove_field： 移除message 的內(nèi)容，因?yàn)閿?shù)據(jù)已經(jīng)過濾了一份，這里不必在用到該字段了。不然會相當(dāng)于存兩份
date: 時(shí)間處理，該插件很實(shí)用，主要是用你日志文件中事件的事件來對timestamp進(jìn)行轉(zhuǎn)換，導(dǎo)入老的數(shù)據(jù)必備！在這里曾讓我困惑了很久哦。別再掉坑了
match：匹配到timestamp字段后，修改格式為dd/MMM/yyyy:HH:mm:ss Z
mutate：數(shù)據(jù)修改
remove_field： 移除timestamp字段。
output段：
elasticsearch：輸出到es中
host： es的主機(jī)ip＋端口或者es 的FQDN＋端口
index： 為日志創(chuàng)建索引logstash-nginx-access-＊，這里也就是kibana那里添加索引時(shí)的名稱
3，創(chuàng)建logstash配置文件之后，我們還要去建立grok使用的表達(dá)式，因?yàn)閘ogstash 的配置文件里定義的使用轉(zhuǎn)換格式語法，先去logstash的安裝目錄，默認(rèn)安裝位置：/usr/local/logstash/下，在該位置創(chuàng)建一個(gè)目錄patterns:
[root@ittestserver1 local]# mkdir -pv /usr/local/logstash/patterns
NGUSERNAME [a-zA-Z\\\\.\\\\@\\\\-\\\\ _%]
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:remote_addr} - - \\\\[%{HTTPDATE:time_local}\\\\] %{WORD:method} %{URIPATHPARAM:request} HTTP/% {NUMBER:httpversion} %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent
4,測試下腳步是否成功并啟動該服務(wù)，服務(wù)啟動后會一直刷日志。
[root@ittestserver1 log]# /usr/local/logstash/bin/logstash -t -f /usr/local/logstash/etc/nginx-access0518.conf
Configuration OK
[root@ittestserver1 log]# /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/nginx-access0518.conf
nux; Android 5.1.1; R7Plusm Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.9 TBS/036906 Safari/537.36 hsp\\\\ \\\\-\\\\, :level=>:error}
JSON parse failure. Falling back to plain-text {:error=>#<LogStash::Json::ParserError: Unexpected character (\\\'.\\\' (code 46)): Expected space separating root-level values
at [Source: [B@2b2cea68; line: 1, column: 9]>, :data=>175.155.181.151 - - [12/Jan/2017:01:28:05 0800] \\\\GET /resources/p_w_picpaths/m/landing/landingm20161221/header.png HTTP/1.1\\\\ 200 233816 \\\\https://m.guojinbao.com/landingm.html?s=NDg4MDU2\\\\ \\\\Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13B143\\\\ \\\\-\\\\, :level=>:error}
JSON parse failure. Falling back to plain-text {:error=>#<LogStash::Json::ParserError: Unexpected character (\\\'.\\\' (code 46)): Expected space separating root-level values
at [Source: [B@7788367a; line: 1, column: 8]>, :data=>223.67.223.215 - - [12/Jan/2017:01:28:05 0800] \\\\GET /resources/js/Crypto.js HTTP/1.1\\\\ 200 8703 \\\\https://m.guojinbao.com/landingm.html?s=MzIxODQ=\\\\ \\\\Mozilla/5.0 (Linux; Android 5.1.1; R7Plusm Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.9 TBS/036906 Safari/537.36 hsp\\\\ \\\\-\\\\, :level=>:error}
JSON parse failure. Falling back to plain-text {:error=>#<LogStash::Json::ParserError: Unexpected character (\\\'.\\\' (code 46)): Expected space separating root-level values
at [Source: [B@6297d46d; line: 1, column: 8]>, :data=>223.67.223.215 - - [12/Jan/2017:01:28:05 0800] \\\\GET /resources/p_w_picpaths/m/landing/landingm20161221/btn1.png HTTP/1.1\\\\ 200 10194 \\\\https://m.guojinbao.com/resources/css/landingm20161221.css\\\\ \\\\Mozilla/5.0 (Linux; Android 5.1.1; R7Plusm Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/37.0.0.0 Mobile MQQBrowser/6.9 TBS/036906
(三）kibana配置
（1）登錄192.168.180.3:5601登錄kibana
（2），添加一個(gè)索引，這個(gè)索引的名字就是之前導(dǎo)入的ES中的那個(gè)，本文中是logstash-nginx-access-*。
查看索引，目前有三個(gè)，設(shè)置為加星，即是discover默認(rèn)突出顯示的。
（3）點(diǎn)擊discover既可以看到我們所導(dǎo)入的日志數(shù)據(jù)了，
更多關(guān)于云服務(wù)器，域名注冊，虛擬主機(jī)的問題，請?jiān)L問西部數(shù)碼官網(wǎng)：www.ps-sw.cn
