9/06/2008

淘宝称用户隐私数据不允许抓取 屏蔽百度蜘蛛

今日通过www.taobao.com/robots.txt发现,淘宝网已经屏蔽了百度“蜘蛛”。据了解,“ 蜘蛛”是通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下 一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。而如果一个网站屏蔽搜索引擎蜘蛛的话,就意味着该家搜索引擎无法获取这家网站的内 容。
对于淘宝屏蔽百度蜘蛛,淘宝网公关总监卢维兴表示,淘宝上有一些用户的隐私数据是肯定不允许搜索引擎抓取的。对淘宝是否完全屏蔽了百度的索引,卢维兴表示对此还不清楚。

 有意思的是,阿里巴巴集团于昨日正式将淘宝网和阿里妈妈网站合并运营。分析人士认为,这是淘宝网为应对百度即将推出的C2C业务所做的布局之一。百度CEO李彦宏曾在第二季度财报电话会议上表示将于年底推出百度C2C平台。

  分析认为,百度和阿里巴巴将很快在中小企业市场进行正面交锋。

消息来源:TechWeb

8/31/2008

假期结束

今天是暑假的最后一天,明天就又要开学了,新的一学期又开始了。因为时间减少今后网站更新频率将会减慢,一周可能才更新几次,请见谅。

8/30/2008

苹果iPhone手机上的中国打工妹照片



 
 

Sent to you by xingxing via Google Reader:

 
 

via 月光博客 by webmaster@williamlong.dot.info (williamlong) on 8/21/08

  以前曾经有不少报道,说在国内购买手机的用户发现新买的手机里有别人的照片,用户通常会认为商家在向其出售已经使用过的商品,出售"二手货",存在欺诈消费者的嫌疑,一般情况下用户会向商家索赔。

  没想到这一怪事在英国也出现了,据gizmodo报道,一个英国消费者购买了一部iPhone手机后,惊讶的发现,在iTunes上激活了这部全新的iPhone之后,手机的主屏幕上显示的是一张可爱的中国小妹的照片,除了桌面这张照片外,手机里面还有好几副这样的照片。

  这个英国消费者于是将这些照片发布到一个苹果爱好者论坛上,引起了大家极大兴趣,短时间内回帖数量高达数百条,这个中国打工妹的笑容征服了许多苹果迷网民,网民将此女孩命名为iPhone Girl,有人留言猜测这照片拍摄于苹果在中国的代工厂深圳富士康内,照片上的小妹是负责质检的打工妹。

  看照片上的小妹妹倒是挺快乐的,不过我猜测这些女孩子们的生活未必会很幸福,据英国《星期日邮报》报道,苹果的iPhone和iPod主要由代工厂商富士康的女工生产,她们的月收入仅有27英镑,但每天的工作时间长达15个小时,报道值得关注的是:"富士康深圳龙华工厂拥有20万名员工,比英国纽卡斯尔的人口还要多",之所以生产线上的工人大多为女性,主要因为女工比男工老实。

iPhone上的打工妹照片

iPhone上的打工妹照片

继续阅读《苹果iPhone手机上的中国打工妹照片》的全文内容...

相关文章:

Yahoo StatSite Meter


 
 

Things you can do from here:

 
 

企业应用网站性能优化实例分析



 
 

Sent to you by xingxing via Google Reader:

 
 

via 月光博客 by webmaster@williamlong.dot.info (williamlong) on 8/27/08

  前段时间对某个企业应用网站进行了一次优化分析,解决这个网站经常死机和CPU高负载的种种问题,根据我接触的一些应用和服务器配置,我对这个案例总结了一些优化方案,用来解决网站的高负载和高并发等问题,这里我和大家分享一下这个案例,希望能和大家一起探讨一下这种解决方案的优劣。

  一、网站当前状况和性能现状

  系统硬件配置:CPU为两个Intel Xeon 2.4G,物理内存为2.5G.

  系统软件配置:操作系统为Windows Server 2003标准版,数据库为SQL Server 2000.

  服务器访问量:工作日:访问人数 10000,浏览量 30000 ,休息日:访问人数 4000,浏览量 10000,每用户访问页面为2.88页面,平均停留时间为3分钟。由于存在大型下载文件,服务器流量每天有80G到160G左右。

  WEB系统:采用Tomcat服务器,使用Struts和Hibernate.

  网站系统:网站有几套不同的系统,有新闻发布CMS系统、文件下载系统、反馈系统等等,使用基于Java的Struts和Hibernate的MVC架构,动态应用。

  服务器CPU目前通常为40%左右,很多情况能增加到80-90%.

  二、网站性能分析

  通常情况下CPU达到80%说明系统性能存在瓶颈,需要找出系统的瓶颈究竟在哪里。

  分析过程是,远程登录服务器,打开SQL Server 2000的事件探查器,记录和分析SQL语句,同时打开任务管理器,查看各个进程占用CPU的状况。

  经过查询,SQLServer占用较大的CPU,说明系统调用CPU查询较多,初步可以确认是数据库引起的系统瓶颈,由于使用Struts和Hibernate应用,调用数据库频繁,因此可以采用减少SQL查询的方式降低对SQLServer的调用,通常情况下有两种方法:Cache或静态化。

  另外,服务器的Web系统采用的架构存在一些问题,因为存在大型下载文件,占用的流量非常大,而Tomcat本身对于静态文件的处理性能并不好,也会对系统性能产生负面的影响。

  三、网站和服务器优化方案

  1、缓存

  将页面静态化是通常的优化方案,但是对于当前的Tomcat服务器下的Struts和Hibernate未必有效,因为Tomcat对于静态HTML文件本身支持并不理想,并且新闻内容更新较为频繁。因此,在现有架构的基础上,可以使用hibernate的ehcached的动态缓存的方式,在动态应用中减少数据库负载,提升访问速度。

  使用ehcache对访问频率高,对数据库消耗大的页面进行动态缓存(时间10分钟),在缓存的时间范围内这些页面直接重缓存中读取,无需访问数据库,提高这些页面的访问速度,减小数据库访问的压力。这样SQL Server数据库的负载会大为降低。

  2、静态化

  对于一般的网站来说,效率最高、消耗最小的就是纯静态化的html页面,所以我们尽可能使我们的网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效的方法。因此,从长远考虑,需要对当前网站的架构进行一番调整,以适应静态化页面的需求。

  首先,由于Tomcat对于静态页面支持不太好,也不支持URL 重写,因此需要安装Apache服务器。

  其次,由于Struts对于搜索引擎不友好,因此将其全部转换为静态HTML页面,即可降低对数据库的查询次数,也可提高对搜索引擎的友好度。因此需要使用HTML静态化的方式优化服务器端的WEB程序。

  具体实施方案是,将现有Tomcat配置为8080端口,安装Apache服务器,配置为80端口,在Apache中修改httpd.conf文件,使得Tomcat解析JSP文件,静态HTML文件、图片文件、大型下载文件使用性能更好的Apache支持。

  修改Apache的.haccess文件,将Struts应用重写为静态Html文件形式,修改相关代码,使得其能自动生成静态HTML文件。

  优化访问量最多的页面,首页index.jsp为目前访问量最多的页面,里面的动态代码删除,将这个页面转化为静态的html页面index.html.

  3、应用部署

  如果资金允许的话,可以将数据库SQL Server 2000升级为SQLServer 2005,并单独部署到另外一台独立服务器上,文件下载也单独部署一台服务器。

  由于Tomcat本身的局限性,一个Tomcat的资源无法无限利用服务器的所有资源,并且Tomcat需要响应的请求太多,势必影响到整体的性能,因此配置多服务器可以使得Web网站的负载大幅降低,从而提高整体的响应能力。

  不过这种部署的缺点是需要付出升级软件、购买服务器、托管带宽等成本开销,建议不到万不得已,可以不用付出额外的资金升级。

  以上就是我针对某企业应用网站进行分析和优化的具体步骤和方案,希望能起到抛砖引玉的作用,供大家参考。

继续阅读《企业应用网站性能优化实例分析》的全文内容...

相关文章:

Yahoo StatSite Meter


 
 

Things you can do from here:

 
 

退出海内之类的SNS



 
 

Sent to you by xingxing via Google Reader:

 
 


经过一段时间的使用,在海内以及其它的几个类似的国内SNS网站都有用,用下来的感觉并不好。

这个不好似乎很难讲清楚,这个不好也不是技术上的不好,也不是用户体验上的不好,更不是SEO上的不好。
只是觉得没有用处,海内对于我来说没有用处。
上海内后唯一可以做的就是玩几个游戏,做一下测试。
还有什么可以让我觉得有用的呢?
写文章?为什么不在自己的Blog呢?
发消息?为什么不在自己的论坛呢?
做SNS营销?还不如说是在Spam。

所以,我的感觉就是,这类SNS网站只是在,kill time。而时间对我来说,还是比较缺的。还有大把的工作在等着我完成。

如果说玩游戏,我就玩单机的,或者电视游戏,如XBOX,Wii,要不就玩掌上机,如DS Lite。如果说要玩互动的游戏,要同真人玩,我就直接上联众,麻将、拱猪等等,随时有几十个人在等着你去玩。

写文章,写评论,我已经有几个Blog了,有个人生活的,有技术性的,有英文的,有中文的,有东西想写的话,足够地方给我发表了。

那还有什么理由要上海内呢?

所以我最后的决定就是退出海内,不在浪费时间了。原先是打算坚持到九月一日的,现在就宣布直接退出了。

这里我感觉到的问题,不只是海内一家,现在新出炉的SNS网站都有类似的问题。有什么用?对谁有用?

一个没有核心产品的网站是很难长久留住用户的。SNS只是一种架构,一种服务,而这种服务的价值要在核心产品的价值之上才会有体现。比如我们去豆瓣,它也在SNS化,而它的核心产品,就是书,书评,以及扩展到电影、电视剧的评论。这是它的核心产品。它的SNS化,是把他的用户整合起来。

这样的结果虽然是退出,但同样得到宝贵的经验。
至少让我知道哪里是合适的地方,让我知道什么是有价值的SNS。


作者: David Yin
原载: SEO 网站优化推广
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。
Marketing & SEO Blogs - Blog Top Sites

相关文章





 
 

Things you can do from here:

 
 

百度收录网站的特点分析



 
 

Sent to you by xingxing via Google Reader:

 
 

via 月光博客 by webmaster@williamlong.dot.info (williamlong) on 8/29/08

  两年前,我曾经写过一篇文章《Google和百度收录网站页面的比较》(发布于2006年4月17日《计算机世界》),分析当时情况下百度和Google搜索引擎对于网站的收录比较,两年过去了,这两个搜索引擎的算法都发生了巨大的变化,当前的比较收录规则已经完全不适用了,现在,我就根据今天搜索引擎的发展情况,再次比较和分析一下百度和Google这两个搜索引擎在收录网站方面的异同。

  首页规则

  搜索引擎的索引更新速度是衡量搜索质量的一个重要的参数,对于大型网站(比如门户新闻网站)以及其他更新量大的网站,百度和Google的索引速度都很快,基本上都能做到当天更新。

  但是对于更新量小的网站,例如博客,两者就有较大区别,Google对于高权重并提交Sitemaps和Ping的网站,索引速度可以达到分钟级别,有时刚刚写完一篇文章,几分钟后,就能在Google中搜索到解决,但是对于百度来说,索引速度较慢,通常仅仅更新了博客网站的首页,搜索文章标题,排在前面的是博客首页或者目录页,而不是文章页。

  总的来说,百度对于网站首页的关注以及权重给的似乎特别高。

  半个月规则

  百度对于更新量较小的博客,收录页面有一个奇怪的时间规则限制:半个月规则,根据我对于月光博客文章收录速度的观察,通常情况下,半个月之内发布的文章,使用百度搜索文章标题,排在前面的基本上都是门户网站转载或聚合我的文章,我写的原始文章不见踪影。而使用Google搜索,我的原文基本上都是第一位。

  而大约半个月之后,我的文章的原始内容才在百度上出现,这时候搜索文章的标题,我的原文才会成为百度搜索结果的第一位。

  权重计算规则

  Google计算权重的方式主要参考页面的反向链接,如果别人转载我的文章并添加了原文链接,那么Google通常会给予原始文章较高的权值,而百度似乎对于自己的网站(百度知道、百度空间、百度百科等)给予较高的权值,并且对于更新频繁的大型门户网站更为青睐。

  新站规则

  一个新注册的网站,经过一些宣传之后,通常Google就会对其进行收录,但赋予的权值并不太高。

  百度对于新站不会立刻收录,并且相当长的时间内都不会收录,当新网站在搜索引擎有了一个不错的表现,并且有了较多的反向链接,会出现一个阀值,百度判断其网站内容不属于明显复制其他网站内容之后,会开始收录这个新站点内容,这时候网站才会出现来自百度的流量。

  总的来说,在网站收录速度上来看,Google现在比百度要快,不过由于百度的用户更多一些,所以网站搜索来源大多还是来自百度的多一些。不过对于技术博客来说,来源Google的访问量应该和百度旗鼓相当了。

继续阅读《百度收录网站的特点分析》的全文内容...

相关文章:

Yahoo StatSite Meter


 
 

Things you can do from here:

 
 

YouTube上传支持Gears



 
 

Sent to you by xingxing via Google Reader:

 
 

via 月光博客 by webmaster@williamlong.dot.info (williamlong) on 8/26/08

  据GOS报道,现在,用户可以无需安装专用软件即在YouTube上传大于100MB的视频,YouTube开始支持Gears来上传影片。最新版本的Gears有了一些新的功能,对于操作大型文件来说变得更容易了。

  使用Gears可以使得上传大型文件变得更加简单容易,用户可以断点续传大型视频,提高传输成功率,并且未来可能还会出现基于Gears的桌面上传工具。

  YouTube支持多个视频同时上传,如果你想要上传一些大于100MB的影片,那么这个功能就很有用,因为YouTube会限制每部影片最多只能有10分钟的长度,并且要小于1GB的容量,如果上传大型视频文件,通常情况下至少需要30分钟或者更多的时间,这些大视频文件才能出现在用户的视频页面上。

YouTube上传支持Gears

继续阅读《YouTube上传支持Gears》的全文内容...

相关文章:

Yahoo StatSite Meter


 
 

Things you can do from here: