打开网页源码，对应网页结构如下，很简单，所有字段内容都可以直接找到2针对以上网页结构，我们就可以编写相关代码来爬取网页数据了，很简单，先根据url地址，利用requests请求页面，然后再利用BeautifulSoup解析数据根据标签和属性定位就行，如下程序运行截图如下，已经成功爬取到数据Python爬取网页。

Python爬虫有多种方式，除了正则表达式之外，还有以下几种常用的工具1 BeautifulSoup是Python的一个库，用于从HTML或XML文件中提取数据它提供了简单的API，使得解析复杂的HTML文档变得容易2 Scrapy是一个用于爬取网站并提取结构化数据的Python框架它具有高度的可扩展性和灵活性，可以通过编写。

post方法 2使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到 代理IP在urllib 2包中有Proxy Handler类， 通过此类可以设置代理 访问网页，如下代码片段3Cookies处理 cookies是某些网站为了辨别用户身份进行session跟踪而 储存在用户本地终端上的数据通常经过加密 ， pytho。

我们最常规的做法就是通过鼠标右键，选择另存为但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度好吧其实你很厉害的，右键查看页面源代码我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地下面就看看。

这样就把新浪首页的源代码爬取到了，这是整个网页信息，如果你要提取你觉得有用的信息得学会使用字符串方法或者正则表达式了平时多看看网上的文章和教程，很快就能学会的补充一点以上使用的环境是python2，在python3中，已经把urllib，urllib2，urllib3整合为一个包，而不再有这几个单词为名字的。

Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前就知道 Reitz 大神出了一个叫 RequestsHTML 的库，一直没有兴趣看，这回可算。