Report for General Profile: Spiders

Time range: Sun, Mar-27-2005 0:07:47 AM - Sat, Apr-02-2005 23:58:41 PM

Spiders

Daily Spider Activity




Top Spiders




Top Spiders

  

 Spider 

 Hits 

 % of Total 

 Visits 

 1 

 Internetseer Web site monitoring Spider 

 163 

 20.87% 

 163 

 2 

 Yahoo Spider 

 134 

 17.16% 

 127 

 3 

 MSIECrawler 

 72 

  9.22% 

 15 

 4 

 IRLbot/1.0 (+http://irl.cs.tamu.edu/ crawler) 

 56 

  7.17% 

 12 

 5 

 Google Spider 

 55 

  7.04% 

 35 

 6 

 SoftHypermarketFileCheckBot/ 1.0+(+http:/ / www.softhypermaket.com) 

 50 

  6.40% 

 5 

 7 

 Mozilla/4.0 (compatible; SpeedySpider; ww w.entireweb.com) 

 45 

  5.76% 

 15 

 8 

 Wespe.de Spider 

 39 

  4.99% 

 32 

 9 

 Agent-SharewarePlazaFileCheckBot/ 2.0+(+http:/ / www.SharewarePlaza.com) 

 38 

  4.87% 

 7 

 10 

 Ask Jeeves Spider 

 20 

  2.56% 

 10 

 11 

 Wisenut Spider 

 18 

  2.30% 

 18 

 12 

 AtlocalBot/1.1 +(http:/ / www.atlocal.com/ local-web-site-owner.html) 

 15 

  1.92% 

 1 

 13 

 Google image crawler 

 14 

  1.79% 

 1 

 14 

 MSN Spider 

 10 

  1.28% 

 5 

 15 

 Gigabot Spider 

 6 

  0.77% 

 6 

 16 

 NutchCVS/0.06-dev (Nutch; http:/ / www.nutch.org/ docs/ en/ bot.html; [email protected] et) 

 5 

  0.64% 

 3 

 17 

 Unitix PAD Spider (for more info see http :/ / unitix.com) 

 4 

  0.51% 

 2 

 18 

 itLocation-PADBot (http:/ / www.itlocation.com) 

 4 

  0.51% 

 4 

 19 

 Voila.FR Spider 

 4 

  0.51% 

 2 

 20 

 abot/0.1 (abot; http:/ / www.abot.com; [email protected]) 

 4 

  0.51% 

 2 

 21 

 http://www.almaden.ibm.com/ cs/ crawler [fc3] 

 4 

  0.51% 

 2 

 22 

 SoftHuntersbot/1.1 (+http:/ / www.softhunters.com) 

 4 

  0.51% 

 4 

 23 

 Helmdall ([email protected]) 

 3 

  0.38% 

 3 

 24 

 EmeraldShield.com WebBot (http:/ / www.emeraldshield.com/ webbot.aspx) 

 2 

  0.26% 

 1 

 25 

 SeznamBot/1.0 (+http:/ / fulltext.seznam.cz/ ) 

 2 

  0.26% 

 1 

 26 

 Mozilla/5.0 (compatible; BecomeBot/ 2.2.5; MSIE 6.0 compatible; +http:/ / www.become.com/ site_owners.html) 

 2 

  0.26% 

 1 

 27 

 Softizerbot (http://www.softizer.com) 

 2 

  0.26% 

 2 

 28 

 BaiDu Spider 

 2 

  0.26% 

 2 

 29 

 Mozdex/0.06-dev (Mozdex; http:/ / www.mozdex.com/ bot.html; [email protected]) 

 2 

  0.26% 

 1 

 30 

 Exabot NG/MimeLive Client (convert/ http/ 0.172) 

 1 

  0.13% 

 0 

 31 

 SurveyBot/2.3 (Whois Source) 

 1 

  0.13% 

 1 

  

 Subtotal 

 781 

 100.00% 

 483 

  

 Total 

 781 

 100.00% 

 483 



Top Spider IP

  

 IP 

 Country 

 Hits 

 Visits 

 Bandwidth 

 1 

 63.238.163.75
 cavtel.net (Internetseer Web site monitoring Spider) 

 United States 

 163 

 163 

 0 Bytes 

 2 

 24.187.132.177
 optonline.net (MSIECrawler) 

 United States 

 71 

 14 

 32.04 KB 

 3 

 69.93.56.82
 ipxf.net (Unknown Spider) 

 United States 

 50 

 5 

 0 Bytes 

 4 

 128.194.135.83
 tamu.edu (Unknown Spider) 

 United States 

 50 

 10 

 7.22 KB 

 5 

 62.13.25.237
 sverige.net (Unknown Spider) 

 Sweden 

 45 

 15 

 5.60 KB 

 6 

 67.19.157.42
 theplanet.com (Unknown Spider) 

 United States 

 38 

 7 

 0 Bytes 

 7 

 68.142.251.21
 inktomisearch.com (Yahoo Spider) 

 United States 

 27 

 24 

 0 Bytes 

 8 

 68.142.251.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 21 

 21 

 0 Bytes 

 9 

 66.249.65.100
 google.com (Google Spider) 

 United States 

 20 

 4 

 964.79 KB 

 10 

 64.242.88.50
 looksmart.com (Wisenut Spider) 

 United States 

 18 

 18 

 129.92 KB 

 11 

 216.55.159.187
 abac.net (Unknown Spider) 

 United States 

 15 

 1 

 123.79 KB 

 12 

 217.16.26.114
 masterhost.ru (Wespe.de Spider) 

 Russian Federation 

 14 

 14 

 128.52 KB 

 13 

 216.55.133.27
 abac.net (Wespe.de Spider) 

 United States 

 12 

 12 

 110.16 KB 

 14 

 62.2.173.19
 cablecom.ch (Unknown Spider) 

 Switzerland 

 8 

 4 

 36.72 KB 

 15 

 128.194.135.76
 tamu.edu (Unknown Spider) 

 United States 

 6 

 2 

 739 Bytes 

 16 

 64.140.49.66
 telwestonline.com (Wespe.de Spider) 

 United States 

 6 

 1 

 1.37 KB 

 17 

 217.113.244.118 (Wespe.de Spider) 

 Spain 

 5 

 3 

 1.07 KB 

 18 

 66.196.90.209
 inktomisearch.com (Yahoo Spider) 

 United States 

 5 

 5 

 0 Bytes 

 19 

 66.249.71.32
 google.com (Google Spider) 

 United States 

 5 

 3 

 1.33 MB 

 20 

 69.158.155.135
 bell.ca (Unknown Spider) 

 Canada 

 4 

 4 

 35.31 KB 

 21 

 65.214.44.193
 ask.com (Ask Jeeves Spider) 

 United States 

 4 

 1 

 672 Bytes 

 22 

 66.249.71.15
 google.com (Google Spider) 

 United States 

 4 

 2 

 315 Bytes 

 23 

 62.79.25.35
 vbr.tiscali.dk (Unknown Spider) 

 Denmark 

 4 

 2 

 17.94 KB 

 24 

 66.147.154.3 (Unknown Spider) 

 United States 

 4 

 2 

 11.47 KB 

 25 

 65.214.44.178
 ask.com (Ask Jeeves Spider) 

 United States 

 4 

 3 

 2.00 MB 

 26 

 65.54.188.132
 msn.com (MSN Spider) 

 United States 

 4 

 2 

 357 Bytes 

 27 

 24.177.134.6
 charter.com (Unknown Spider) 

 United States 

 4 

 2 

 22.25 KB 

 28 

 66.249.64.47
 google.com (Google Spider) 

 United States 

 3 

 2 

 315 Bytes 

 29 

 68.142.250.207
 inktomisearch.com (Yahoo Spider) 

 United States 

 3 

 3 

 0 Bytes 

 30 

 66.249.71.28
 google.com (Google Spider) 

 United States 

 3 

 2 

 8.06 KB 

 31 

 38.119.96.107
 cogentco.com (Unknown Spider) 

 United States 

 3 

 2 

 739 Bytes 

 32 

 66.249.71.39
 google.com (Google Spider) 

 United States 

 3 

 2 

 739 Bytes 

 33 

 219.134.128.101 (Unknown Spider) 

 China 

 3 

 3 

 167.52 KB 

 34 

 66.249.71.57
 google.com (Google Spider) 

 United States 

 3 

 2 

 315 Bytes 

 35 

 66.249.65.97
 google.com (Google Spider) 

 United States 

 3 

 1 

 714 Bytes 

 36 

 64.62.168.31
 he.net (Gigabot Spider) 

 United States 

 3 

 3 

 0 Bytes 

 37 

 64.124.85.205
 become.com (Unknown Spider) 

 United States 

 2 

 1 

 11.13 KB 

 38 

 66.249.64.18
 google.com (Google Spider) 

 United States 

 2 

 1 

 382 Bytes 

 39 

 66.34.67.179
 propagation.net (Unknown Spider) 

 United States 

 2 

 2 

 17.66 KB 

 40 

 65.214.44.163
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 382 Bytes 

 41 

 66.196.90.240
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 0 Bytes 

 42 

 68.142.250.51
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 1 

 672 Bytes 

 43 

 63.246.154.32
 sagonet.net (Unknown Spider) 

 United States 

 2 

 1 

 357 Bytes 

 44 

 64.69.39.75
 calpop.com (Unknown Spider) 

 United States 

 2 

 1 

 357 Bytes 

 45 

 207.46.98.134
 msn.com (MSN Spider) 

 United States 

 2 

 1 

 382 Bytes 

 46 

 66.249.64.79
 google.com (Google Spider) 

 United States 

 2 

 1 

 315 Bytes 

 47 

 66.249.64.38
 google.com (Google Spider) 

 United States 

 2 

 1 

 11.13 KB 

 48 

 66.249.71.73
 google.com (Google Spider) 

 United States 

 2 

 1 

 1.32 MB 

 49 

 65.214.44.109
 ask.com (Ask Jeeves Spider) 

 United States 

 2 

 1 

 13.72 KB 

 50 

 68.142.250.175
 inktomisearch.com (Yahoo Spider) 

 United States 

 2 

 2 

 382 Bytes 

  

 Subtotal 

  

 666 

 381 

 6.47 MB 

  

 Total 

  

 781 

 483 

 17.14 MB 



Top Pages (Which are never accessed by Spider)

  

 Pages 

 Pageview 

 % of Total  Pageviews 

 Visits 

 % of Total  Visits 

 Bandwidth 

 Average Visit Length 

 Average Time Taken(ms) 

 1 

 /cx_localization.htm 

 62 

  4.12% 

 54 

  1.06% 

 20.78 KB 

 0:54 

 133 

 2 

 0 

 10 

  0.66% 

 8 

  0.16% 

 3.23 KB 

 0:40 

 134 

 3 

 /cw_home.htm?AfID=14660 

 3 

  0.20% 

 3 

  0.06% 

 1.12 KB 

 0:00 

 122 

 4 

 Index of /downloads 
 /downloads/ 

 3 

  0.20% 

 3 

  0.06% 

 885 Bytes 

 0:01 

 39 

 5 

 /cgi-bin/formmail.pl 

 2 

  0.13% 

 2 

  0.04% 

 0 Bytes 

 0:00 

 154 

 6 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 5606& STRMVER= 4& CAPREQ= 0 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 184 

 7 

 /MSOffice/cltreq.asp? UL= 1& ACT= 4& BUILD= 6254& STRMVER= 4& CAPREQ= 0 

 1 

  0.07% 

 1 

  0.02% 

 0 Bytes 

 0:00 

 15 

  

 Subtotal 

 82 

  5.45% 

 N/A 

 N/A 

 26.00 KB 

 N/A 

 997 

  

 Total 

 1,505 

 100% 

 N/A 

 N/A 

 1,471.88 MB 

 N/A