揭秘百度统计和Google Analytics的工作原理
相信做个seo的,或者自己已经是站长的,都或多或少的对自己负责的站做个数据分析,要想了解自己网站的情况,就必须要牵涉到流量统计软件了,目前大家用到的流量统计软件也各不相同。而每个流量统计软件统计数据也都是有差异的,而且差异非常大,其根本原因在于数据统计的原理和机制是不同的。下面我们就针对google和百度这2个比较大的搜索引擎自身推出的Google Analytics与百度统计做个系统的原理分析,来看下究竟是什么原因导致的同样的网站可统计的流量却不同的真正原因:
百度统计的工作原理分析
百度统计提供的JS,实质上是往页面中引入hm.baidu.com/h.js的这段代码,该代码的内容会根据后面的参数有所不同,h.js?后面的参数就是你在百度统计里的id。
获取该h.js代码的同时,百度统计会往你的浏览器写入一个名字为“HMACCOUNT”的cookie,该cookie的过期时间为2038年,所以只要你没有清空浏览器cookie,基本就永不过期。
h.js被下载后,便执行其脚本获取一些浏览器相关信息和访问来源,获取的信息包括屏幕尺寸、颜色深度、flash版本、用户语言等。
从js代码中可以得到,所有参数包括这些:“cc,cf,ci,ck,cl,cm,cp,cw,ds,ep,et,fl,ja,ln,lo,lt,nv,rnd,sb,se,si,st,su,sw,sse,v”。这些参数的意义大致如下:
cc: 不知道,一般为1
cf:url参数hmsr的值
ci:url参数hmci的值
ck:是否支持cookie 1:0
cl:颜色深度 如 “32-bit”
cm:url参数hmmd的值
cp:url参数hmpl的值
cw:url参数hmkw的值
ds:屏幕尺寸,如 ’1024×768′
ep:初始值为’0′,时间变量,反映页面停留时间,格式大概是:现在时间-载入时间+“,”+另一个很小的时间值
et:初始值为’0′,如果ep时间变量不是0的话,它会变成其他
fl:flash版本
ja:java支持 1:0
ln:语言 zh-cn
lo: 不知道,一般为0
lt:日期 time.time(),如“1327847756”,在首次请求没有
nv: 不知道,一般为1或者0
rnd:十位随机数字
sb:如果是360se浏览器该值等于‘17’
se: 和搜索引擎相关
si:统计代码id
st:
su:上一页document.referrer
sw: 不知道,估计和搜索引擎有关,一般为空
sse:不知道,估计和搜索引擎有关,一般为空
v:统计代码的版本 ,目前该值为“1.0.17”
当这些参数都设置完毕了(有些参数并没有赋值),筛选出已经赋值了的参数,并作为hm.baidu.com/hm.gif的参数拼凑出一个url,如:http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=0&et=0&fl=11.0&ja=1&ln=zh-cn。然后请求该图片。
百度统计服务端,通过接收到这个请求,并从这个图片的网址附带的参数获取相关信息,记录访客访问记录;当页面被用户关闭的时候,同样会触发一次请求hm.gif的过程,但这个过程不是所有浏览器和所有关闭动作都支持。
使用使用Wireshark(一款网络抓包工具)测试可以发现,浏览器总共向服务器端发送了4次请求:
请求一段js脚本。
加载完毕时候出发一次请求,并传递参数
退出页面时候,发出一次请求,并传递参数,与上面对比,发现ep参数有变化。
百度统计是基于cookie的,当请求js脚本的时候,会在你电脑里保存一个永久cookie,该cookie作为你的用户标识。同时发现,但退出时候参 数ep从最开始的0变为了“7289%2C115”,转义后是“7289,115”这是两个毫秒单位,即7.2秒和0.1秒的意思。同时前两次请求 hm.gif的时候lt参数(时间,javascript:(new Date).getTime())是不变的。rnd随机数每次都变。
Google Analytics的工作原理
当用户访问了一个包含Google Analytics统计代码的页面,这段代码会被用户的浏览器执行,而这段代码的作用就是用来收集这位访客的信息,比如浏览页面的URL、浏览器类型、操作系统、系统语言、屏幕分辨率等。
当访问者访问带有Google Analyitcs追踪代码的页面时,GoogleAnalyitcs就会发回这样一条数据给Google服务器。此条数据中包含了Google Analyitcs所追踪到的访问者信息。如下图:
utmwv=4.6.5 Google Analyitcs追踪代码的版本。
&utmn=213-1698-805 utm.gif的唯一ID编号,防止GIF图像缓存。
&utmhn=你的域名 用户访问的主机名。
&utmcs=UTF-8 用户浏览器语言编码。
&utmsr=1152×864 用户屏幕分辨率。
&utmsc=32-bit 用户的屏幕颜色。
&utmul=en-us 用户浏览器语言设置。
&utmje=0 用户浏览器是否支持JAVA。
&utmfl=10.0%20r42 Flash的版本。
&utmdt=%E8%93%9D%E9%B2%B8%E7%9A%84Web%20Analytics%E7%AC%94%E8%AE%B0 当前网页的标题,在这里是经过编码的字符串。
&utmhid=1987-124-655
&utmr=0 推介链接的URL。
&utmp=%2F 当前页面产生的请求。
&utmac=UA-12347890-1 用户Google Analytics
以上都是Cookie里存储的数据,__utma用来分析唯一用户,访问次数,停留时间,新访或回访等等。__utmz用来记录流量来源。__utmv存储细分用户所定义的值。
如果开通了电子商务追踪功能或是自定义了事件追踪。那么还会包含以下内容:
&utme 事件追踪数据
&utmipc 用户购买的产品编号
&utmipn用户购买的产品名称
&utmipr 用户购买的产品单价
&utmtsp 运费
&utmttx 税款
GA统计代码随后将这些访客信息存储到Cookie中,Cookie是一段短小的文本,存放于本地,与访问的网站相关联,它被用来判断一个用户是初次访问还是多次访问,页面的推荐来源和随后的页面浏览信息等。
最后,所有的被收集到的信息会被发送到Google Analytics的数据服务器上。这个过程比较巧妙,我们知道服务器的日志文件会记录每一次的文件请求信息,而Google Analytics收集数据的方式便是通过向服务器请求一个透明的1×1的GIF图片文件,这个文件请求以及请求时间会在服务器日志中被记录,而文件请求 信息包含了GA统计代码收集的数据和Cookie信息,这样,每当这个GIF图片收到请求申请时,访客的访问信息就会被Google Analytics数据服务器收集。
不过Google Analytics只是发送一张gif请求,很多时候会发送多张gif请求。假如有一个gif图片无法统计,那么GA会发送其他gif请求,
网站分析大师Avinash曾经说过只要数据有90%的准确度,那么就可以及时采取行动了。重要的是能够看出趋势,进而采取行动,然后进行测试,不断地优化。由此可见数据的分析,在我们网站的发展、提升中是多么大的作用。