Report for General Profile: Spiders

Time range: Sun, Apr-24-2005 0:00:29 AM - Tue, Apr-26-2005 23:56:12 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Yahoo Spider 

 104 

 26.94% 

 102 

 2 

 Internetseer Web site monitoring Spider 

 70 

 18.13% 

 70 

 3 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 34 

  8.81% 

 11 

 4 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 27 

  6.99% 

 3 

 5 

 MSIECrawler 

 22 

  5.70% 

 3 

 6 

 Mozilla/5.0 (compatible; BecomeBot/ 1.83; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 21 

  5.44% 

 2 

 7 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 20 

  5.18% 

 2 

 8 

 Feedster Crawler/1.0; Feedster, Inc. 

 15 

  3.89% 

 1 

 9 

 Google Spider 

 14 

  3.63% 

 8 

 10 

 Wisenut Spider 

 12 

  3.11% 

 11 

 11 

 Wespe.de Spider 

 10 

  2.59% 

 10 

 12 

 Mozilla/5.0 (compatible; BecomeBot/ 2.2.5; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 7 

  1.81% 

 4 

 13 

 Ask Jeeves Spider 

 4 

  1.04% 

 2 

 14 

 Google image crawler 

 4 

  1.04% 

 1 

 15 

 hl_ftien_spider 

 4 

  1.04% 

 2 

 16 

 Gigabot Spider 

 4 

  1.04% 

 3 

 17 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 3 

  0.78% 

 3 

 18 

 Mozdex/0.06-dev (Mozdex; http:/ / www.mozdex.com/ bot.html; [email protected]) 

 3 

  0.78% 

 2 

 19 

 Voila.FR Spider 

 2 

  0.52% 

 1 

 20 

 ObjectsSearch/0.06 (ObjectsSearch; http:/ / www.ObjectsSearch.com/ bot.html; [email protected])  

 2 

  0.52% 

 1 

 21 

 MSN Spider 

 2 

  0.52% 

 1 

 22 

 SurveyBot/2.3 (Whois Source) 

 1 

  0.26% 

 1 

 23 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; [email protected]) 

 1 

  0.26% 

 1 

  

 Subtotal 

 386 

 100.00% 

 245 

  

 Total 

 386 

 100.00% 

 245 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 70 

 70 

 0 Bytes 

 2 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 34 

 11 

 14.71 KB 

 3 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 27 

 3 

 0 Bytes 

 4 

 24.189.194.163
 optonline.net (MSIECrawler) 

 United States 

 22 

 3 

 32.04 KB 

 5 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 20 

 2 

 0 Bytes 

 6 

 64.124.85.204
 become.com (Unknown Spider) 

 United States 

 16 

 1 

 133.32 KB 

 7 

 68.142.251.24
 inktomisearch.com (Yahoo Spider) 

 United States 

 16 

 14 

 0 Bytes 

 8 

 66.151.189.11
 colospace.com (Unknown Spider) 

 United States 

 15 

 1 

 4.75 KB 

 9 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 12 

 11 

 74.85 KB 

 10 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 0 Bytes 

 11 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 0 Bytes 

 12 

 64.124.85.209
 become.com (Unknown Spider) 

 United States 

 7 

 4 

 42.05 KB 

 13 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 6 

 6 

 55.08 KB 

 14 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 6 

 3 

 27.19 KB 

 15 

 64.124.85.76
 become.com (Unknown Spider) 

 United States 

 5 

 1 

 26.70 KB 

 16 

 66.249.65.162
 google.com (Google image crawler) 

 United States 

 4 

 1 

 148.35 KB 

 17 

 66.196.90.223
 inktomisearch.com (Yahoo Spider) 

 United States 

 4 

 4 

 0 Bytes 

 18 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 4 

 4 

 36.72 KB 

 19 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 20 

 66.196.90.243
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 21 

 63.246.154.32
 sagonet.net (Unknown Spider) 

 United States 

 3 

 2 

 739 Bytes 

 22 

 66.249.64.18
 google.com (Google Spider) 

 United States 

 2 

 1 

 315 Bytes 

 23 

 69.150.7.165
 swbell.net (Unknown Spider) 

 United States 

 2 

 1 

 11.13 KB 

 24 

 65.214.44.109
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 56.52 KB 

 25 

 66.249.64.16
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 26 

 65.214.44.31
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 1.03 MB 

 27 

 61.181.209.145
 asd.tj.cn (Unknown Spider) 

 China 

 2 

 1 

 0 Bytes 

 28 

 68.142.251.100
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 1.02 MB 

 29 

 68.142.250.175
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 382 Bytes 

 30 

 64.62.168.21
 he.net (Gigabot Spider) 

 United States 

 2 

 1 

 672 Bytes 

 31 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 2 

 1 

 382 Bytes 

 32 

 66.249.71.29
 google.com (Google Spider) 

 United States 

 2 

 1 

 19.42 KB 

 33 

 218.68.235.49
 asd.tj.cn (Unknown Spider) 

 China 

 2 

 1 

 0 Bytes 

 34 

 68.142.250.156
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 764 Bytes 

 35 

 66.249.71.7
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 36 

 66.249.71.3
 google.com (Google Spider) 

 United States 

 2 

 1 

 0 Bytes 

 37 

 66.249.71.69
 google.com (Google Spider) 

 United States 

 2 

 1 

 1.64 MB 

 38 

 68.142.251.172
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 512.00 KB 

 39 

 193.252.148.208
 x-echo.com (Voila.FR Spider) 

 France 

 2 

 1 

 357 Bytes 

 40 

 68.142.249.117
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 0 Bytes 

 41 

 68.142.250.39
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 42 

 68.142.249.124
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 43 

 68.142.250.196
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 44 

 68.142.251.12
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 512.00 KB 

 45 

 66.196.90.23
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 46 

 68.142.251.88
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 47 

 68.142.249.81
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 48 

 68.142.249.86
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 382 Bytes 

 49 

 68.142.251.102
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

 50 

 68.142.249.87
 inktomisearch.com (Yahoo Spider) 

 United States 

 1 

 1 

 0 Bytes 

  

 Subtotal 

  

 347 

 203 

 5.35 MB 

  

 Total 

  

 386 

 245 

 11.92 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 24 

  3.92% 

 23 

  1.09% 

 8.54 KB 

 0:35 

 105 

 2 

 0 

 4 

  0.65% 

 2 

  0.09% 

 1.29 KB 

 2:35 

 99 

 3 

 Index of /downloads 
 /downloads/ 

 2 

  0.33% 

 2 

  0.09% 

 578 Bytes 

 0:04 

 198 

 4 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 2614& STRMVER= 4& CAPREQ= 0 

 1 

  0.16% 

 1 

  0.05% 

 0 Bytes 

 0:00 

 130 

 5 

 ISO263 
 /iso263.htm 

 1 

  0.16% 

 1 

  0.05% 

 0 Bytes 

 0:00 

 201 

 6 

 /changerxp/screen_shots.htm 

 1 

  0.16% 

 1 

  0.05% 

 0 Bytes 

 0:00 

 264 

  

 Subtotal 

 33 

  5.38% 

 N/A 

 N/A 

 10.39 KB 

 N/A 

 1,000 

  

 Total 

 613 

 100% 

 N/A 

 N/A 

 622.36 MB 

 N/A