& 奇妙的昆虫世界
发布成功！
扫描二维码，下载手机客户端躺着也能逛圈子，发帖回帖更方便
天天&&4岁3个月小男生
&&& 盼望着，盼望着，欣欣然，春天的脚步近了，这不，爸爸、妈妈带着我，约上好朋友一起去上海昆虫馆玩了。昆虫馆就在东方明珠旁边，从家开车过去，很方便的，20多分钟也就到达了！&&& 一进门就看到一条海豹在一个小水缸里游啊游。往里走，我还看到蜥蜴、猴子、蛇等等，妈妈和阿姨都很害怕软体动物，不敢久留，我们可不怕，还大大方方在蟒蛇馆前合起影来。&&&& &&在这里，水声潺潺，我体会到的是大自然的神奇。用心聆听，我感受到的是雨林的静逸。慢慢地步入，摆一个招牌POSE。咦，弗洛格，你什么时候跑到了我的身后去！
&&& 在这里，还有水域、沙漠、雨林、岛屿、沼泽&&有不同的生态环境和不同的昆虫、爬虫。好多我从未见过的小动物，竹节虫、虎纹毛蛛、三角枯叶蛙等等，让我目不暇接...& 好奇心驱使着我不断前行，那些原本只存在记忆中的小动物，突然间变得鲜活起来，我亲手触摸着它们、感觉着它们，带着一丝丝害怕，也带着一丝丝窃喜。&
&& 在这里，我脱下斯文的外衣，卷起袖管，过一把渔夫抓鱼的瘾！
&&&&在这里，玩乐与认知，惊险与惊喜，展现的一览无余，淘气的我不仅启动了电子书，还进入了警戒范围。 && 说时迟，那时快，当硕大的电子书翻起时，我聪慧的曦曦姐姐，反应可快了，一下把我揽在怀中，好险哟！差点撞到我！
&&& 小羊儿，乖乖，快快过来！不过我要好好吸取上次在野生动物园的教训，可不能一下让你都吃光，我要一根、一根，慢慢地把你喂养！
&&&& 你浓我浓，相亲相爱的一家人，多温馨的一刻呀！
&& 喂好了，我摸一摸小羊柔软的毛，巧虎说要不挑食、不偏食，这样才能长得壮，小羊，小羊，你可曾记住了？中国爬虫市场现状
本文行家：
psu&中国其实就像20年前的台湾一样(而台湾其实也没有好到那裏去).有能力消费, 但没有能力饲养这些动物. 对生物没有基本的认识, 只觉得生命是可以被贩卖并秤斤论两的. 大多数人养动物只是满足好奇心与虚荣心, 只是把动物养活, 但并没有养好. 甚至有一种观点是这麼说的: 与其被吃掉, 还不如拿来当宠物. 疏不知被吃掉与被搞不清楚状况的人拿来当宠物的下场并没有不同. 更可怕的是许多人忽略了这些生物为了中国/台湾这个新兴市场与德国/日本这些传统爬虫市场从产地被非法采集, 运送与贩售过程中的死亡要消耗多少的个体? 大多数的淡水龟陆龟都已经被中国吃完了进入CITES, 现在又狭强大经济力成为野生宠物市场的新大陆时, 就不免令人担心是不是连多数中国本土物种都将很快在栖地破坏, 过度食用与宠物贸易下灭绝. 宠物市场的需求真的会刺激人工繁殖的发展? 而人工繁殖真的就可以降低对野生个体的消耗吗? 对野生个体消耗的降低能够阻止栖地破坏吗? 然后只要把货转口中国就可以赚到钱吗? CITES真的能够管制贸易吗? 或只是伪证乱窜? 一般消费者真的愿意付出代价购买人工繁殖或合法出口个体吗? 这听起来是非常匪夷所思的, 因为华人文化向来就是短视, 不守法与钻漏洞的. 很想鸡婆地说, 新兴资本国家的兴起其实就只是在复制西方帝国主义在16世纪以来对全球自然资源的消耗与搜刮.2006年10月份北京国际宠物水族用品展览会上，爬行天下展位上的一系列爬行动物，一时间引起众多水族业者的关注；2007年广州国际宠物水族用品展览会上，不仅涵盖了爬行天下，还增加了众多台湾及国外的众多爬虫类参展商，瞬间成为展会亮点……的确，水族消费热点也在与时俱进，随著70后和80后消费能力的提升，异型和爬虫类逐渐成为水族市场的焦点，渐趋成为许多人在猫犬之外的最佳休闲饲养选择。他们不占太多的空间、照料方便、安静不扰、形态万千……，是许多消费者已接触便成为忠实的爱好者。然而这些爬虫类宠物，绝大多数栖息於人烟罕至的丛林原野，且一般人有兴趣的饲育对象，也多是来自外国的物种，就算是人工繁殖的物种，其繁殖场也多位於国外。但是个性化消费时代的来临，使得众多爬虫异型成为水族市场的宠儿，究竟是什麼魅力使得众多爱好者为之轻狂？尤其在消费潜力巨大的大陆市场，爬虫消费只是冰山一角，带动整个爬虫市场的还会有另一番叱吒风波。大陆爬虫市场商机无限
大陆的经济发展迅 速，成就了许多具有高消费群体。除了基本的生活需求之外，他们也有更多的预算去购买他们想要购买的物品，尤其是一些新奇的事物。因此大陆的爬虫市场是非常有潜力并且值得期待的。据台湾弦丰股份有限公司陈先生说到，台湾爬虫市场由於经济的不景气及一些同行的削价竞争，已经有好多年处於不是十分景气的状态下了，随著台湾水族经营视觉向大陆的转变，爬虫商家也瞄准了商机，准备进军大陆市场，而台湾爬虫市场也会在洗牌之后，给大陆爬虫市场注入一支强心剂，带动大陆市场的良性发展。记者经过对一些爬虫爱好者和经营爬虫相关产品的公司的调查，目前受欢迎的两栖爬虫宠物可分为陆龟、泽龟、蜥蜴、蛇类等，在陆龟方面：比较受欢迎的有星龟、辐射龟、樱桃红腿、红腿等。在泽龟方面：比较受欢迎的有鳄龟、猪鼻龟及忍者龟等。在蜥蜴方面：比较受欢迎的有松狮蜥、绿鬣蜥及高冠变色龙等。在蛇类方面：小型蛇以王蛇较受欢迎，大型蛇以球蟒较受欢迎。另外由於爬虫饲养者喜爱追求流行及与众不同的特性，一些比较稀有及非常昂贵的物种也是非常受到欢迎的。据一些台湾爬虫商介绍，其实早在上世纪90年代中前期，港、澳、台爬虫商家便把经营触角伸到大陆，通常都是借旅游或访友之名到国内著名的龟鳖产地和市场发达的集散地大肆收购各种珍贵稀有的物种，再经香港或澳门走私到欧美以牟取暴利。随著市场的不断扩大，更吸引了日本、美国、俄罗斯、新马泰等许多国家和地区的爬虫商。1997年以后，由於国内爱好者的购买力和购买热情空前高涨，境外爬虫商开始重新审视大陆市场，他们一方面继续发展在这边的收购，另--方面他们开始与国内的宠物爬虫商合作，高价向内地的爱好者提供国外产的一些稀有爬虫类，这种情形延续至今，可见大陆爬虫市场的消费潜力不可窥视。价格不菲但饲养风暴高烧不退
中国最大的爬虫生态体验店——生态工坊於去年7月1日在上海钦州路花鸟市场隆重开幕，该店集最新国际爬虫生态理念，结合爬虫活体和器材展示於一体。100平米的店铺在最接近原生态的环境中展示爬虫最美的一面，其立意及装潢开创了中国爬虫生态观念的先河，达到国际领先水准，是中国大陆爬虫业的一个里程碑。随后，相关爬虫生态体验店陆续在北京、沈阳、重庆等水族市场开张，这都昭示著爬虫消费市场的飞速发展。但是一直以来，大陆爬虫物种的价格却居高不下，究其原因主要存在以下：市场供需不平衡大陆爬虫市场消费除了比较占优势的上海、北京、广州三地外，天津，江浙、重庆、成都、沈阳、哈尔滨以及福建等地的需求也随之增多，而爬虫供应地除了经过台湾贸易商引进外，很少有单独进口原产地的贸易商。因此需求与供应的不平衡导致爬虫物种价钱居高不下。2、运输成本太高由於爬虫属於活体，因此难免出现运输途中的伤亡或损伤。台湾宏骏贸易魏先生说，爬虫类宠物市场上物种的演变已经相当多样化，有著数百种的出现，非是早期只 有少数几十种流通。魏先生表示，贸易属於消费市场的最前端，为了让消费市场认识新物种，就需要商家不惜成本的引进；且对一个物种的认识，往往需要许多惨痛 的经验换取。 饲养技术不外流为了推广爬虫消费市场不遗余力地商家，在强调市场的反应之余，也相当重视生命的照顾；经常需要搜集资料，甚至经由自己的饲养失败获取经验，他们对所有的信息也从不藏私，在店家取货的同时，便会耳提面命一番，将饲养的要点告知，以避免在店家或是消费者陌生的情形下，因为不了解而断送了宝贵的生命，从而打击饲养信心。然而原产地真正的饲养技术却不曾直白的告知中国消费者，摸索饲养必然需要重大的代价。尽管这样，丝毫阻止不了商机爱和消费者对其青睐程度，正如爬行天下的李先生所言：爬虫方便卫生，没有气味(谁说爬虫方便卫生? 那沙门氏菌是什麼?)。餵养开支相对较少(真的吗? 那一尺的加热垫片就350, 一只乳鼠25元是怎样啊?)，有的品种可以一个星期餵食一两次。每年，各种血统纯正和稀有的基因突变的品种，玩赏和研究价值越来越高，价格不断上涨。个人对爬虫的饲养技术可以弥补国内对爬虫饲养技术的空白，令饲养者鹤立鸡群！ 正因为如此，越来越多消费者逐渐认识并进入爬虫类宠物的世界当中，且享受饲养的乐趣的同时，也有许多观念被导正；相信不久的将来，当市场更趋成熟之后，一定会有另一个新高峰的产生。大陆爬虫市场远景期待大鹏展翅
大陆爬虫市场可以用只刚刚飞升的鸿鹄来形容，不仅发展速度相当迅速，且有著惊人的潜力。就目前的情况来看，不仅消费者已经开始认识并接触这个与犬猫鱼鸟截然不同的新宠物，且接受度也相当的高；除此之外，在资讯便捷与商业管道流通的情况下，大量各式各样的物种，以及相关的饲育资讯进入大陆市场，使得市场短时 间之内突飞猛进。但是依旧有许多内地城市尚未拓展，来日当所有城市都拥有一定的爬虫类宠物爱好者时，相信大陆将会成为一个不输给欧美的庞大市场。但为了推进爬虫市场的发展，大陆爬虫经营者和消费爱好者究竟该怎麼努力？记者采访了台湾有著多年爬虫经营经验的宏骏贸易魏先生和弦丰公司陈先生，希望把更好的“台湾经验”引入大陆，直到大陆爬虫市场良性发展：多多进口各式爬虫的物种：世界上的爬虫种类非常的多，因此进口各种爬虫的物种，让饲养爬虫饲养者对於饲养爬虫总是维持新鲜的感觉，这样能够保证爬虫市场更能蓬勃发展。提倡正确的饲养方式：有许多人因为对爬虫饲养方式的不了解，因此只能在网路上吸收一些不正确的饲养知识，最后造成爬虫死亡，之后给心理造成挥之不去的阴霾,所以提倡正确的饲养方式也是非常重要的。多多开发新的爬虫饲养器材：为了提升爬虫在人工饲养环境的存活率，需要爬虫经营商家花费相当多的财力及人力来研发新的爬虫饲养器材，因为更新更进步的爬虫器材除了可以让爬虫市场有更好的发展，更是对尊重生命所展现的一种崇高的道德表现及社会责任。成立爬虫协会：并不只是为办扩大的网聚而已，要发挥更大的功效，为自己为别人更为爬虫，做最大的付出。强化国际交流将会为大陆爬虫市场提供发展的捷径。现在最先进的爬虫饲养与繁殖技术是在欧洲，特别是德国，荷兰，法国。如果要吸取先进的爬虫经验，就必 须与这些国家以及美日等国的相关协会组织进行交流，才能大幅提升国内爬虫饲养的水准。另外，不能忽略本土的爬虫类，大陆也是不少爬虫的原生地，像麒麟陆龟，花背箱龟等。　 刚起步的市场就需要一个强有力的后援，大陆爬虫市场就处在拨云见日的关键期，相信在万事俱备的前提下，大陆爬虫市场定会巧借东风，高调演绎大陆水族市场爬虫热潮。
参考资料：
[1] 中国爬虫市场现状
百科的文章（含所附图片）系由网友上传，如果涉嫌侵权，请与客服联系，我们将按照法律之相关规定及时进行处理。如需转载，请注明来源于。
儿童时就深深的喜爱蛇这种古老的爬行动物.从2008年7月开始通过网络普及蛇类知识,希望通过自己的努力让更多的人了解蛇对人类,对自然界不可替代的深远意义,让更多的人了解蛇类的相关知识,能和蛇类和谐共处!当“蜘蛛”程序出现时，现代意义上的才初露端倪。它实际上是一种电脑“机器人”（Computer Robot），电脑“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦。所以，的就被称为“蜘蛛”程序。
网络即Web Spider，是一个很形象的名字。把比喻成一个蜘蛛网，那么就是在网上爬来爬去的蜘蛛。
这个条目所描述的内容英文名叫做Web Crawler，这是有正规定义的，参见维基百科。业界内也很少叫蜘蛛的，一般都叫做，Spider只是个别爬虫的名称。建议将词条名称改为网络爬虫。
网络蜘蛛是通过的链接地址来寻找网页
，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
----这样看来，网络蜘蛛就是一个爬行程序，一个抓取网页的程序。
----要说网络蜘蛛的起源，我们还得从说起，什么是搜索引擎呢？搜索引擎的起源是什么，这和网络蜘蛛的起源密切相关。
----搜索引擎指自动从因特网搜集信息，经过一定整理以后，提供给
用户进行查询的系统。因特网上的信息浩瀚万千，而且毫无秩序，所有的信息像汪洋上的一个个小岛，链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为你绘制一幅一目了然的信息地图，供你随时查阅。
----搜索引擎从1990年原型初显，如今成为人们生活中必不可少的一部分，它经历了太多技术和观念的变革。
----1994年的1月份，第一个既可搜索又可浏览的EINetGalaxy上线了。在它之后才出现了雅虎，直至我们现
在熟知的、百度。但是他们都不是第一个吃这个螃蟹的人。从搜索上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。
----如果要追溯的话，搜索引擎的历史比WorldWideWeb 还要长。早在Web出现之前，互联网上就已经存在许多旨在让人们共享的信息资源了。这些资源当时主要存在于各种允许匿名访问的FTP 站点。为了便于人们在分散的FTP资源中找到所需的东西，1990年，加拿大（McGillUniversity）的几个大学生开发了一个软件。它是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载这个文件。Archie实际上是一个大型的，再加上与这个大型数据库相关联的一套检索方法。Archie虽然还不是搜索引擎，但是从它的工作原理上看，它是所有搜索引擎的祖先。
----当万维网（WorldWideWeb）出现后，人们可以通过传播网页信息，网络上的信息开始成倍增长。人们纷纷使用各种方法将网络上的信息搜集来，进行分类、整理，以方便查找。人们很熟悉的网站雅虎（Yahoo）就是在这个环境下诞生的。还在Stanford大学读书的美籍华人和他的同学迷上了互联网。他们将互联网上有趣的搜集过来，与同学一起分享。后来，1994年4月，他们俩共同办了雅虎。随着和收录链接数的增长，雅虎目录开始支持简单的数据库搜索。但是因为雅虎的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。
----当“蜘蛛”程序出现时，现代意义上的搜索引擎才初露端倪。它实际上是一种电脑“”（Computer Robot），电脑“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦。所以，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
----这种程序实际是利用html文档之间的链接关系，在上一个网页一个网页的爬取（crawl），将这些网页抓到系统来进行分析，并放入数据库中。第一个开发出“蜘蛛”程序的是Matthew　Gray，他于1993年开发了World　Wide　Web　Wanderer，它最初建立时是为了统计互联网上的数量，到后来发展到能够捕获网址。现代搜索引擎的思路就来源于Wanderer，后来很多人在此基础上对进行了改进。
----日发布的Lycos网站第一个将 “蜘蛛”程序接入到其索引程序中。引入“蜘蛛”后给其带来的最大优势就在于其远胜于其它搜索引擎的数据量。自此之后几乎所有占据主导地位的搜索引擎中，都靠“蜘蛛”来搜集网页信息。Infoseek是另一个重要的搜索引擎，于1994年年底才与公众见面。起初，Infoseek只是一个不起眼的搜索引擎，它沿袭Yahoo!和的概念，并没有什么独特的革新。但是它友善的用户界面、大量附加服务使它在用户中赢得了口碑。1995年12月，它与Netscape的战略性协议，使它成为一个强势搜索引擎：当用户点击Netscape浏览器上的搜索按钮时，弹出Infoseek的搜索服务，而此前由Yahoo!提供该服务。
日，Alta Vista正式上线。它是第一个支持语法的搜索引擎，成功地整合了此前人类所有的信息检索技术，解决了包括字根处理、检索、，以及通过向量空间模型的查询排名等关键问题。正式公开之前，Alta
Vista就已经拥有20万访问用户，在短短三个星期之内，到访人数由每天30万次增加到200万次。它的成功在于满足了用户三个方面的需求：网上索引范围超过了此前任何一家搜索引擎；短短几秒钟内便可从庞大的数据库中为用户返回搜索结果；Alta Vista小组从一开始就采用了一种技术，能够跟踪网站的流行趋势，同时不断扩大处理能力。在当时许多搜索引擎之中，Alta
Vista脱颖而出，成为网络搜索的代名词。Google就是站在这样的巨人的肩膀上颠覆并创造着。“上网即搜索” 改变了人们上网方式的，就是现在鼎鼎大名的Google。Google并不是搜索引擎的发明者，甚至有点落后，但是它却让人们爱上了搜索。
----1998年9月，在和创建Google之时，业界对互联网搜索功能的理解是：某个在一个文档中出现的频率越高，该文档在搜索结果中的排列位置就要越显著。这就引出了这样一个问题，如果一个页面充斥着某一个关键字的话，那么它将排在很显著的位置，但这样一个页面对于用户来说，却没有任何意义。佩奇和发明了“网页级别”（）技术，来排列搜索结果。即考察该页面在网上被链接的频率和重要性来排列，互联网上指向这一页面的重要网站越多，该页面的位次也就越高。当从网页A链接到网页B时，Google
就认为“网页A投了网页B一票”。Google根据网页的得票数评定其重要性。然而，除了考虑网页得票数的纯数量之外，Google还要分析投票的网页，“重要”的网页所投出的票就会有更高的权重，并且有助于提高其他网页的“重要性”。 Google以其复杂而全自动的搜索方法排除了任何人为因素对搜索结果的影响。没人能花钱买到更高的网页级别，从而保证了网页排名的客观公正。除此之外，、、多文档格式支持、地图股票词典寻人等也都深得网民的喜爱。其他众多也都紧跟Google，推出这些服务。Fast（Alltheweb）公司发布的搜索引擎，总部位于挪威，其在海外的风头直逼Google。Alltheweb的搜索支持Flash和pdf搜索，支持多语言搜索，还提供新闻搜索、、视频、MP3、和FTP搜索，拥有极其强大的功能。而中国的百度更是凭借“更懂中文”而吸引着中国的网络受众，它拥有超过10亿的中文网页数据库，并且，这些网页的数量每天正以千万级的速度在增长。
----越来越成为人们生活中重要的一部分，找资料、查地图、听音乐，只有想不到的，没有搜索不到的。
----1．利用蜘蛛系统程序，自动访问，并沿着任何网页中的所有爬到其它网页，重复这过程，并把爬过的所有网页收集回来。
----2.由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及中每一个的相关度（或重要性），然后用这些相关信息建立网页索引数据库。
----3.当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
----说到这里，你可能对搜索引擎和网络蜘蛛有了一个初步的了解了吧！
对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的，从公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。这其中的原因一方面是抓取技术的瓶颈，无法遍历所有的网页，有许多网页无法从其它网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页 面的平均大小为20K计算（包含图片），100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年时间，才能把所有网页下载完毕）。同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜索引擎的网络蜘
蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的。
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先（如下图所示）。
----广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛，提高其抓取速度。深度优先是指网络蜘蛛会从
起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。两种策略的区别，下图的说明会更加明确。
----由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在上图中，A为起始网页，属于0层，B、C、D属于第1 层，E、F、G属于第2层，H属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页H是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的可以通过协议让网络蜘蛛不去抓取（下小节会介绍），但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行，从而提供搜索。而当搜索者点击查看该的时候，同样需要搜索者提供相应的权限验证。
每个网络蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User-agent，用于标识此网络蜘蛛的身份。例如Google网络蜘蛛的标识为，Baidu网络蜘蛛的标识为BaiDuSpider，Yahoo网络蜘蛛的标识为Inktomi
Slurp。如果在网站上有访问日志记录，就能知道，哪些搜索引擎的网络蜘蛛过来过，什么时候过来的，以及读了多少数据等等。如果发现某个蜘蛛有问题，就通过其标识来和其联系。
网络蜘蛛进入一个网站，一般会访问一个特殊的，这个文件一般放在网站的根目录下，可以通过来定义哪些目录网络蜘蛛不能访问，或者哪些目录对于某些特定的网络蜘蛛不能访问。例如有些网站的目录和目录不希望被搜索到，那么就可以把这些目录定义为拒绝访问目录。Robots.txt语法很简单，例如如果对目录没有任何限制，可以用以下两行来描述：
User-agent: *
----当然，Robots.txt只是一个协议，如果网络蜘蛛的设计者不遵循这个协议，网站管理员也无法阻止网络蜘蛛对于某些页面的访问，但一般的网络蜘蛛都会遵循这些协议，而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些的抓取。
---- 网络蜘蛛在下载网页的时候，会去识别网页的HTML代码，在其代码的部分，会有标识。通过这些标识，可以告诉网络蜘蛛本网页是否需要被抓取，还可以告诉网络蜘蛛本网页中的链接是否需要被继续跟踪。例如：表示本网页不需要被抓取，但是网页内的链接需要被跟踪。
建立索引，处理的对象是。对于网络蜘蛛来说，抓取下来网页包括各种格式，包括、图片、、pdf、、动态网页及其
它格式等。这些文件抓取下来后，需要把这些文件中的文本信息提取出来。准确提取这些文档的信息，一方面对的搜索准确性有重要作用，另一方面对于网 络蜘蛛正确跟踪其它链接有一定影响。对于、pdf等文档，这种由专业厂商提供的软件生成的文档，厂商都会提供相应的文本提取接口。网络蜘蛛只需要调用这些的接口，就可以轻松的提取文档中的文本信息和文件其它相关的信息。但HTML等文档不一样，HTML有一套自己的语法，通过不同的命令来表示不同的字体、颜色、位置等版式，如：、、等，提取文本信息时需要把这些标识符都过滤掉。过滤并非难事，因为这些标识符都有一定的规则，只要按照不同的标识符取得相应的信息即可。但在识别这些信
息的时候，需要同步记录许多版式信息，例如文字的字体大小、是否是标题、是否是显示、是否是页面的等，这些信息有助于计算单词在网页中的重要程
度。同时，对于HTML网页来说，除了标题和正文以外，会有许多广告链接以及公共的频道链接，这些链接和文本正文一点关系也没有，在提取网页内容的时候，也需要过滤这些无用的链接。例如某个网站有“产品介绍”频道，因为在网站内每个网页都有，若不过滤导航条链接，在搜索“产品介绍”的时候，则网站内
每个网页都会搜索到，无疑会带来大量垃圾信息。过滤这些需要统计大量的网页结构规律，抽取一些共性，统一过滤；对于一些重要而结果特殊的网站，还需要个别处理。这就需要网络蜘蛛的设计有一定的扩展性。
---- 对于、图片等文件，一般是通过链接的（即，链接文本）和相关的文件注释来判断这些文件的内容。例如有一个链接文字为“张曼玉照片”，其链接指
向一张bmp格式的图片，那么网络蜘蛛就知道这张图片的内容是“的照片”。这样，在搜索“张曼玉”和“照片”的时候都能让搜索引擎找到这张图片。另 外，许多中有，考虑这些属性也可以更好的了解文件的内容。
----一直是网络蜘蛛面临的难题。所谓动态网页，是相对于静态网页而言，是由程序自动生成的页面，这样的好处是可以快速统一更改网页风格，也可以减少网
页所占的空间，但同样给网络蜘蛛的抓取带来一些麻烦。由于开发语言不断的增多，动态网页的类型也越来越多，如：、、php等。这些类型
的对于网络蜘蛛来说，可能还稍微容易一些。网络蜘蛛比较难于处理的是一些（如VBScript和JavaScript）生成的网页，如果要完
善的处理好这些网页，网络蜘蛛需要有自己的脚本。对于许多数据是放在数据库的网站，需要通过本网站的数据库搜索才能获得信息，这些给网络蜘蛛的抓 取带来很大的困难。对于这类网站，如果者希望这些数据能被搜索引擎搜索，则需要提供一种可以遍历整个数据库内容的方法。
----对于网页内容的提取，一直是网络蜘蛛中重要的技术。整个系统一般采用的形式，通过一个插件管理服务程序，遇到不同格式的网页采用不同的插件处理。这种
方式的好处在于扩充性好，以后每发现一种新的类型，就可以把其处理方式做成一个补充到插件管理服务程序之中。
---- 由于网站的内容经常在变化，因此网络蜘蛛也需不断的更新其抓取的内容，这就需要网络蜘蛛按照一定的周期去扫描网站，查看哪些页面是需要更新的页面，哪些页面是新增页面，哪些页面是已经过期的。
----的更新周期对搜索引擎搜索的查全率有很大影响。如果更新周期太长，则总会有一部分新生成的搜索不到；周期过短，技术实现会有一定难度，而且会
对、的资源都有浪费。搜索引擎的网络蜘蛛并不是所有的网站都采用同一个周期进行更新，对于一些重要的更新量大的网站，更新的周期短，如有些新闻
网站，几个小时就更新一次；相反对于一些不重要的网站，更新的周期就长，可能一两个月才更新一次。
一般来说，网络蜘蛛在更新网站内容的时候，不用把网站网页重新抓取一遍，对于大部分的网页，只需要判断网页的属性（主要是日期），把得到的属性和上次抓取的属性相比较，如果一样则不用更新。
---- 现 在大家对网络蜘蛛的工作原理有了初步的了解了吧，了解后就要在以后的网站制作中考虑蜘蛛的爬行规律，制作就很重要，好了，如果你有更好的见解，请到这里发表，火鸟非常愿意与你交流，共同研究网站制作技巧，尽量将自己的网站制作的符合标准，符合用户的习惯！
现代对的重要性一般用来量化。
一般说来，PR值越高，反映在在搜索结果中的排名越靠前（重要性越高），当前有很多人通过很多方式来提高自己网站的PR值，除网站内部的优化外，大多数人采用的是外部链接。
PR(A) = (1-d) + d(PR(t1)/C(t1) + ... + PR(tn)/C(tn))
其中PR(A)表示的是从一个外部链接站点t1上，依据Pagerank系统给你的网站所增加的PR分值；PR(t1)表示该外部链接网站本身的PR分值；C(t1)则表示该外部链接站点所拥有的外部链接数量。大家要谨记：一个网站的投票权值只有该网站PR分值的0.85，而且这个0.85的权值平均分配给其链接的每个外部网站。
设想一个名为akamarketing .com的网站，被链接至PR值为4，外部链接数为10的网站XYZ .COM，则计算公式如下：
PR(AKA) = (1-0.85) + 0.85*(4/10)
PR(AKA) = 0.15 + 0.85*(0.4)
PR(AKA) = 0.15 + 0.34
PR(AKA) = 0.49
也就是说，如果我的网站获得一个值为4，外部链接数为10的网站的链接，最后我的网站将获得0.49的PR分值。
再让我们看看如果我的网站获得的是一个PR分值为8，外部链接数为16的网站的链接，那么我将获得的PR分值将是：
PR(AKA) = (1-0.85) + 0.85*(8/16)
PR(AKA) = 0.15 + 0.85(0.5)
PR(AKA) = 0.15 + 0.425
PR(AKA) = 0.575
上述两个例子表明，站点的PR值固然重要，该站点的外部链接数也是一个需要考虑的重要因素。
1、登陆要求。有些企业站和个人站的设置一定要注册登陆后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登陆。
2、动态URL。什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于的爬行和抓取。
3、强制用Cookies。部分站长为了让用户记住登陆信息，强迫用户使用Cookies。如果未开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。
4、框架结构。首先各位站长你知道什么叫框架结构的世界吗？如果你不知道，恭喜你！这个蜘蛛陷阱你已经躲避了，也不要去了解，所有有关框架结构的设计不给予做任何的介绍。
5、各种跳转。对搜索引擎来说只对相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScript跳转、MetaRefresh跳转、Flash跳转、302跳转。有些网站的做法很让人无奈，当你打开网页后会自动转向其他页面，如果打开的页面和你要找的页面主体相关也算过得去，但是很大部分让你无任何理由和目的的网站的这种转向不推荐大家使用，如果你非要做转向，只推荐用301永久跳转，可以将权重进行传递，除了此转向其他都不推荐，因为很多的占用其他转向欺骗用户和搜索引擎，也是的一种手段，所以建议大家不要使用，以免网站被K。
6、Flash。有的网站页面使用视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，在蜘蛛抓取时HTML代码中只是一个链接，并没有文字。虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜索引擎看不到，无法读取任何内容。所以为了能体现网站优化的最好效果，不提倡这种Flash做首页图片。
网络蜘蛛的首要目标是抓取互联网上所需的信息。因此，有价值的信息是否都收录，收录的比例（即）是网络蜘蛛的基本评价指标。
用户对的查询要求越来越高，其中重要的一点就是查询时效性，即事件发生并在互联网上传播后（以新闻、、博客等各种形式），用户需要通过搜索引擎尽快能检索到相应内容。而索引的前提是收录，因此需要网络蜘蛛尽快的抓取互联网上最新出现的资源。
上重复的内容很多，如何尽早的发现页面重复并消除之，是网络蜘蛛需要解决的问题。 除转载导致的重复外，重复总能体现为各种不同的模式，站点级重复，目录级重复，级重复，参数级重复等等。及早发现这些模式并进行处理，能节省系统的存储、抓取、建库和展现资源。
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：15680次
排名：千里之外
转载：57篇
(1)(11)(8)(16)(5)(13)(7)}