Tag Archives: 爬虫

使用爬虫多种姿势爬取学校OnlineJudge上的题目

爬虫每日篇—-使用爬虫多种姿势爬取学校OnlineJudge上的题目。学校的oj里有两千多道题,到访问的时候必须连校园网,在外面就看不到了,所以我想着把上面所有的题都弄下来,然后把所有题目集合到一起做一个.chm方便用的时候看。效果如下图。

强大的BeautifulSoup库

BeautifulSoup简直就是神器,省去了复杂的正则表达式,而且还能自动将字符编码,下面是关于我在爬虫中使用BeautifulSoup库的总结,最常用,最好用的一些功能。下面会把我使用的示例HTML代码放出来。