在第一章中,我们了解了网络抓取的全部内容.在本章中,让我们看看如何使用Python实现Web抓取.
为什么Python用于Web抓取?
Python是一种流行的实现工具网络抓取. Python编程语言还用于与网络安全,渗透测试以及数字取证应用相关的其他有用项目.使用Python的基本编程,可以在不使用任何其他第三方工具的情况下执行Web抓取.
Python编程语言正在获得巨大的普及以及使Python非常适合Web抓取的原因项目如下:<
语法简洁性
与其他编程语言相比,Python具有最简单的结构. Python的这一特性使测试更容易,开发人员可以更专注于编程.
内置模块
使用Python进行网络抓取的另一个原因是它拥有的内置和外部有用的库.我们可以通过使用Python作为编程基础来执行许多与Web抓取相关的实现.
开源编程语言
Python得到了大量支持社区,因为它是一种开源编程语言.
广泛的应用程序
Python可用于各种编程任务,从小型shell脚本到企业Web应用程序.
安装Python
Python分发适用于Windows,MAC和Unix/Linux等平台.我们只需要下载适用于我们平台的二进制代码来安装Python.但是如果我们平台的二进制代码不可用,我们必须有一个C编译器,以便可以手动编译源代码.
我们可以在各种平台上安装Python,如下所示;
在Unix和Linux上安装Python
您需要按照以下步骤在Unix/Linux机器上安装Python并减去;
第1步 : 转到 https://www.python.org/downloads/
$链接b $ b
第2步 : 在上面的链接下载适用于Unix/Linux的压缩源代码.
第3步 : 将文件解压缩到您的计算机上.
步骤4 : 使用以下命令完成安装 :
run ./configure script make make install
您可以在标准位置找到已安装的Python /usr/local/bin 及其/usr/local/lib中的库/pythonXX ,其中XX是Python的版本.
在Windows上安装Python
您需要按照以下步骤进行安装Windows机器上的Python :
步骤1 : 转到 https://www.python.org/downloads/
$链接b $ b
第2步 : 下载Windows安装程序 python-XYZ.msi 文件,其中XYZ是我们需要安装的版本.
步骤3 : 现在,将安装程序文件保存到本地计算机并运行MSI文件.
步骤4 : 最后,运行下载的文件以打开Python安装向导.
在Macintosh上安装Python
我们必须使用 Homebrew 在Mac OS X上安装Python 3. Homebrew易于安装,是一个很棒的软件包安装程序.
Homebrew也可以使用以下命令安装 :
$ ruby -e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
为了更新包管理器,我们可以使用以下命令 :
$ brew update
借助以下命令,我们可以在我们的MAC机器上安装Python3 :
$ brew install python3
设置路径
您可以使用按照说明在各种环境中设置路径 :
在Unix/Linux上设置路径
使用以下命令设置路径使用各种命令shell :
对于csh shell
setenv PATH "$PATH:/usr/local/bin/python".
对于bash shell(Linux)
ATH="$PATH:/usr/local/bin/python".
对于sh或ksh shell
PATH="$PATH:/usr/local/bin/python".
在Windows上设置路径
要在Windows上设置路径,我们可以使用路径 %path%; C:\ Python 在命令提示符下按Enter键.
运行Python
我们可以启动Python使用以下三种方式中的任何一种 :
交互式解释器
UNIX和DOS等提供命令行解释器的操作系统或shell可用于启动Python.
我们可以在交互式解释器中开始编码,如下所示;
步骤1 : 去;在命令行输入 python .
第2步 : 然后,我们可以立即开始在交互式解释器中编码.
$ python #Unix/Linux 或 python %#Unix/Linux 或 C:> python #Windows/DOS
来自命令行的脚本
我们可以在命令行执行Python脚本调用解释器.它可以理解为以下 :
$ python script.py #Unix/Linux 或 python%script .py #Unix/Linux 或 C:> python script.py #Windows/DOS
集成开发环境
如果系统具有支持Python的GUI应用程序,我们也可以从GUI环境运行Python.在各种平台上支持Python的一些IDE在下面和下面给出;
用于UNIX的IDE : 用于Python的UNIX具有IDLE IDE.
用于Windows的IDE : Windows也有带有GUI的PythonWin IDE.
用于Macintosh的IDE : Macintosh有IDLE IDE,可从主网站下载为MacBinary或BinHex'd文件.