Report for General Profile: Spiders

Time range: Sun, Apr-03-2005 0:00:06 AM - Sat, Apr-09-2005 23:58:20 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Internetseer Web site monitoring Spider 

 163 

 18.15% 

 163 

 2 

 Yahoo Spider 

 145 

 16.15% 

 140 

 3 

 MSIECrawler 

 100 

 11.14% 

 23 

 4 

 MSN Spider 

 83 

  9.24% 

 29 

 5 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 70 

  7.80% 

 7 

 6 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 70 

  7.80% 

 11 

 7 

 Google Spider 

 46 

  5.12% 

 30 

 8 

 Wisenut Spider 

 39 

  4.34% 

 36 

 9 

 Wespe.de Spider 

 34 

  3.79% 

 31 

 10 

 aipbot/1.0 (aipbot; http:/ / www.aipbot.com; aipbot@aipbot.com) 

 24 

  2.67% 

 11 

 11 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 20 

  2.23% 

 4 

 12 

 Feedster Crawler/1.0; Feedster, Inc. 

 15 

  1.67% 

 1 

 13 

 Mozilla/4.0 (compatible; SpeedySpider; ww w.entireweb.com) 

 15 

  1.67% 

 3 

 14 

 Ask Jeeves Spider 

 12 

  1.34% 

 6 

 15 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 10 

  1.11% 

 10 

 16 

 Gigabot Spider 

 10 

  1.11% 

 9 

 17 

 Speedy Spider 

 9 

  1.00% 

 3 

 18 

 Alexa Spider 

 8 

  0.89% 

 4 

 19 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; nutch-agent@lists.sourceforge.n et) 

 5 

  0.56% 

 3 

 20 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 4 

  0.45% 

 2 

 21 

 Voila.FR Spider 

 4 

  0.45% 

 2 

 22 

 BaiDu Spider 

 4 

  0.45% 

 3 

 23 

 Mozilla/4.0 (compatible; MSIE 5.0; Window s NT; Girafabot; girafabot at girafa dot com; http:/ / www.girafa.com) 

 2 

  0.22% 

 1 

 24 

 http://www.almaden.ibm.com/ cs/ crawler [bc36] 

 2 

  0.22% 

 1 

 25 

 Clushbot/3.38-BinaryFury (+http:/ / www.clush.com/ bot.html) 

 2 

  0.22% 

 2 

 26 

 Exabot NG/MimeLive Client (convert/ http/ 0.173) 

 1 

  0.11% 

 0 

 27 

 SurveyBot/2.3 (Whois Source) 

 1 

  0.11% 

 1 

  

 Subtotal 

 898 

 100.00% 

 536 

  

 Total 

 898 

 100.00% 

 536 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 163 

 163 

 0 Bytes 

 2 

 24.187.132.177
 optonline.net (MSIECrawler) 

 United States 

 95 

 21 

 0 Bytes 

 3 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 70 

 7 

 0 Bytes 

 4 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 70 

 11 

 0 Bytes 

 5 

 65.54.188.131
 msn.com (MSN Spider) 

 United States 

 52 

 19 

 277.73 KB 

 6 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 36 

 33 

 227.95 KB 

 7 

 24.177.134.6
 charter.com (Unknown Spider) 

 United States 

 24 

 11 

 185.97 KB 

 8 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 21 

 21 

 0 Bytes 

 9 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 20 

 10 

 91.80 KB 

 10 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 20 

 4 

 2.89 KB 

 11 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 18 

 16 

 0 Bytes 

 12 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 16 

 14 

 146.88 KB 

 13 

 66.151.189.11
 colospace.com (Unknown Spider) 

 United States 

 15 

 1 

 4.75 KB 

 14 

 62.13.25.237
 sverige.net (Unknown Spider) 

 Sweden 

 15 

 3 

 1.87 KB 

 15 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 14 

 14 

 128.52 KB 

 16 

 65.54.188.132
 msn.com (MSN Spider) 

 United States 

 13 

 1 

 108.95 KB 

 17 

 207.68.146.55
 msn.net (MSN Spider) 

 United States 

 12 

 6 

 52.85 KB 

 18 

 68.142.250.208
 inktomisearch.com (Yahoo Spider) 

 United States 

 11 

 11 

 0 Bytes 

 19 

 62.13.25.219
 sverige.net (Speedy Spider) 

 Sweden 

 9 

 3 

 1.09 KB 

 20 

 209.237.238.179 (Alexa Spider) 

 United States 

 8 

 4 

 41.60 KB 

 21 

 68.142.250.156
 inktomisearch.com (Yahoo Spider) 

 United States 

 7 

 7 

 2.61 KB 

 22 

 66.196.91.92
 inktomisearch.com (Yahoo Spider) 

 United States 

 6 

 6 

 0 Bytes 

 23 

 64.62.168.31
 he.net (Gigabot Spider) 

 United States 

 5 

 4 

 0 Bytes 

 24 

 68.142.251.48
 inktomisearch.com (Yahoo Spider) 

 United States 

 5 

 5 

 0 Bytes 

 25 

 193.252.148.209
 x-echo.com (Voila.FR Spider) 

 France 

 4 

 2 

 8.09 KB 

 26 

 130.13.51.21
 qwest.net (MSIECrawler) 

 United States 

 4 

 1 

 77.35 KB 

 27 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 4 

 2 

 17.94 KB 

 28 

 65.214.44.153
 ask.com (Ask Jeeves Spider) 

 United States 

 4 

 2 

 992.00 KB 

 29 

 65.214.44.179
 ask.com (Ask Jeeves Spider) 

 United States 

 4 

 2 

 0 Bytes 

 30 

 66.249.64.6
 google.com (Google Spider) 

 United States 

 4 

 2 

 0 Bytes 

 31 

 66.249.71.72
 google.com (Google Spider) 

 United States 

 3 

 2 

 6.55 KB 

 32 

 64.242.88.10
 looksmart.com (Wisenut Spider) 

 United States 

 3 

 3 

 33.38 KB 

 33 

 68.142.251.148
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 382 Bytes 

 34 

 66.249.65.100
 google.com (Google Spider) 

 United States 

 3 

 2 

 739 Bytes 

 35 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 36 

 69.199.177.47 (Unknown Spider) 

 Unknown 

 3 

 2 

 739 Bytes 

 37 

 66.249.64.66
 google.com (Google Spider) 

 United States 

 3 

 2 

 1.33 MB 

 38 

 66.249.71.40
 google.com (Google Spider) 

 United States 

 3 

 2 

 0 Bytes 

 39 

 66.249.71.57
 google.com (Google Spider) 

 United States 

 3 

 2 

 315 Bytes 

 40 

 66.249.71.69
 google.com (Google Spider) 

 United States 

 3 

 2 

 2.30 KB 

 41 

 61.135.146.202 (BaiDu Spider) 

 China 

 3 

 2 

 1.07 KB 

 42 

 66.249.64.58
 google.com (Google Spider) 

 United States 

 3 

 2 

 1,011.42 KB 

 43 

 68.142.250.51
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 1 

 672 Bytes 

 44 

 66.249.64.79
 google.com (Google Spider) 

 United States 

 2 

 1 

 11.13 KB 

 45 

 65.54.188.109
 msn.com (MSN Spider) 

 United States 

 2 

 1 

 357 Bytes 

 46 

 65.214.44.170
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 1.00 MB 

 47 

 209.249.80.242
 infospider.com (Unknown Spider) 

 United States 

 2 

 2 

 739 Bytes 

 48 

 65.214.44.178
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 964.15 KB 

 49 

 68.142.250.135
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 1 

 672 Bytes 

 50 

 66.249.64.37
 google.com (Google Spider) 

 United States 

 2 

 1 

 315 Bytes 

  

 Subtotal 

  

 801 

 442 

 6.63 MB 

  

 Total 

  

 898 

 536 

 12.65 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 58 

  3.94% 

 52 

  1.00% 

 19.67 KB 

 1:01 

 138 

 2 

 Index of /downloads 
 /downloads/ 

 21 

  1.43% 

 5 

  0.10% 

 6.05 KB 

 0:12 

 133 

 3 

 0 

 14 

  0.95% 

 10 

  0.19% 

 4.53 KB 

 0:18 

 133 

 4 

 /cw_home.htm?AfID=17064 

 2 

  0.14% 

 2 

  0.04% 

 764 Bytes 

 0:00 

 155 

 5 

 /instmsg/aliases/bloomfield 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 210 

  

 Subtotal 

 96 

  6.52% 

 N/A 

 N/A 

 30.99 KB 

 N/A 

 1,007 

  

 Total 

 1,472 

 100% 

 N/A 

 N/A 

 1,368.82 MB 

 N/A