开发手册 欢迎您!
软件开发者资料库

Python入门

Python Web Scraping Python入门 - 从简单和简单的步骤学习Python Web Scraping,从基本到高级概念,包括简介,Python入门,Web Scraping的Python模块,Web Scraping的合法性,数据提取,数据处理,处理图像和视频,处理文本,刮取动态网站,基于刮痧表格的网站,处理CAPTCHA,使用刮板进行测试。

在第一章中,我们了解了网络抓取的全部内容.在本章中,让我们看看如何使用Python实现Web抓取.

为什么Python用于Web抓取?

Python是一种流行的实现工具网络抓取. Python编程语言还用于与网络安全,渗透测试以及数字取证应用相关的其他有用项目.使用Python的基本编程,可以在不使用任何其他第三方工具的情况下执行Web抓取.

Python编程语言正在获得巨大的普及以及使Python非常适合Web抓取的原因项目如下:<

语法简洁性

与其他编程语言相比,Python具有最简单的结构. Python的这一特性使测试更容易,开发人员可以更专注于编程.

内置模块

使用Python进行网络抓取的另一个原因是它拥有的内置和外部有用的库.我们可以通过使用Python作为编程基础来执行许多与Web抓取相关的实现.

开源编程语言

Python得到了大量支持社区,因为它是一种开源编程语言.

广泛的应用程序

Python可用于各种编程任务,从小型shell脚本到企业Web应用程序.

安装Python

Python分发适用于Windows,MAC和Unix/Linux等平台.我们只需要下载适用于我们平台的二进制代码来安装Python.但是如果我们平台的二进制代码不可用,我们必须有一个C编译器,以便可以手动编译源代码.

我们可以在各种平台上安装Python,如下所示;

在Unix和Linux上安装Python

您需要按照以下步骤在Unix/Linux机器上安装Python并减去;

第1步 : 转到 https://www.python.org/downloads/

$链接b $ b

第2步 : 在上面的链接下载适用于Unix/Linux的压缩源代码.

第3步 : 将文件解压缩到您的计算机上.

步骤4 : 使用以下命令完成安装 :

  run ./configure script  make  make install

您可以在标准位置找到已安装的Python /usr/local/bin 及其/usr/local/lib中的库/pythonXX ,其中XX是Python的版本.

在Windows上安装Python

您需要按照以下步骤进行安装Windows机器上的Python :

步骤1 : 转到 https://www.python.org/downloads/

$链接b $ b

第2步 : 下载Windows安装程序 python-XYZ.msi 文件,其中XYZ是我们需要安装的版本.

步骤3 : 现在,将安装程序文件保存到本地计算机并运行MSI文件.

步骤4 : 最后,运行下载的文件以打开Python安装向导.

在Macintosh上安装Python

我们必须使用 Homebrew 在Mac OS X上安装Python 3. Homebrew易于安装,是一个很棒的软件包安装程序.

Homebrew也可以使用以下命令安装 :

  $ ruby -e"$(curl -fsSL  https://raw.githubusercontent.com/Homebrew/install/master/install)"

为了更新包管理器,我们可以使用以下命令 :

  $ brew update

借助以下命令,我们可以在我们的MAC机器上安装Python3 :

  $ brew install python3

设置路径

您可以使用按照说明在各种环境中设置路径 :

在Unix/Linux上设置路径

使用以下命令设置路径使用各种命令shell :

对于csh shell

setenv PATH "$PATH:/usr/local/bin/python".

对于bash shell(Linux)

ATH="$PATH:/usr/local/bin/python".

对于sh或ksh shell

PATH="$PATH:/usr/local/bin/python".

在Windows上设置路径

要在Windows上设置路径,我们可以使用路径 %path%; C:\ Python 在命令提示符下按Enter键.

运行Python

我们可以启动Python使用以下三种方式中的任何一种 :

交互式解释器

UNIX和DOS等提供命令行解释器的操作系统或shell可用于启动Python.

我们可以在交互式解释器中开始编码,如下所示;

步骤1  : 去;在命令行输入 python .

第2步 : 然后,我们可以立即开始在交互式解释器中编码.

  $ python #Unix/Linux 或 python %#Unix/Linux 或 C:> python #Windows/DOS

来自命令行的脚本

我们可以在命令行执行Python脚本调用解释器.它可以理解为以下 :

  $ python script.py #Unix/Linux 或 python%script .py #Unix/Linux 或 C:> python script.py #Windows/DOS

集成开发环境

如果系统具有支持Python的GUI应用程序,我们也可以从GUI环境运行Python.在各种平台上支持Python的一些IDE在下面和下面给出;

用于UNIX的IDE : 用于Python的UNIX具有IDLE IDE.

用于Windows的IDE :  Windows也有带有GUI的PythonWin IDE.

用于Macintosh的IDE :  Macintosh有IDLE IDE,可从主网站下载为MacBinary或BinHex'd文件.