// this works $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell
對于Spark 0.9，有些方式并不起效：
// does not work $ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell // does not work spark> :cp AlsApacheLogParser.jar
上傳成功后，在Spark REPL創(chuàng)建AccessLogParser 實例：
import com.alvinalexander.accesslogparser._ val p = new AccessLogParser
現(xiàn)在就可以像之前讀取readme.cmd一樣讀取apache訪問日志accesslog.small：
scala> val log = sc.textFile(accesslog.small) 14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=309225062 14/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB) log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15 scala> log.count (a lot of output here) res0: Long = 100000
分析Apache日志
我們可以分析Apache日志中404有多少個，創(chuàng)建方法如下：
def getStatusCode(line: Option[AccessLogRecord]) = {
line match {
case Some(l) => l.httpStatusCode
case None => 0
}
}
其中Option[AccessLogRecord]是分析器的返回值。
然后在Spark命令行使用如下：
log.filter(line => getStatusCode(p.parseRecord(line)) == 404).count
這個統(tǒng)計將返回httpStatusCode是404的行數(shù)。
深入挖掘
下面如果我們想知道哪些URL是有問題的，比如URL中有一個空格等導致404錯誤，顯然需要下面步驟：
過濾出所有 404 記錄
從每個404記錄得到request字段(分析器請求的URL字符串是否有空格等)
不要返回重復的記錄
創(chuàng)建下面方法：
// get the `request` field from an access log record
def getRequest(rawAccessLogString: String): Option[String] = {
val accessLogRecordOption = p.parseRecord(rawAccessLogString)
accessLogRecordOption match {
case Some(rec) => Some(rec.request)
case None => None
}
}
將這些代碼貼入Spark REPL，再運行如下代碼：
log.filter(line => getStatusCode(p.parseRecord(line)) == 404).map(getRequest(_)).count val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == 404).map(getRequest(_)) val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == 404).map(getRequest(_)).distinct distinctRecs.foreach(println)
總結(jié)
對于訪問日志簡單分析當然是要grep比較好，但是更復雜的查詢就需要Spark了。很難判斷 Spark在單個系統(tǒng)上的性能。這是因為Spark是針對分布式系統(tǒng)大文件。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持西部數(shù)碼。
更多關(guān)于云服務器，域名注冊，虛擬主機的問題，請訪問西部數(shù)碼官網(wǎng)：www.ps-sw.cn