人工智能

导航菜单



当前位置: 首页  /  python  /  正文

python编程:爬虫

阅读:41

python编程:爬虫

思路分析:

  1. 目的:获取歌手名字
  2. 网页地址
  3. 分析网页结构和标签位置
  4. 模拟 http 请求,发送请求,获取 html
  5. 正则表达式提取

标签:具有唯一性,是最接近数据的标签。

import re
from urllib import request


class Spider:
    url = "https://music.douban.com/top250"
    headers = {
        "User-Agent": "你的浏览器"}

    def __fetch_content(self):  # 私有方法
        ret = request.Request(url=Spider.url, headers=Spider.headers)  # 添加头文件模拟浏览器,否则会被反爬虫,获取不到html数据
        res = request.urlopen(ret)  # 接受类的url,获取返回结果
        htmls = res.read().decode("utf-8")  # 获取的数据转换成utf-8格式
        return htmls

    def __analysis(self, htmls):
        name = re.findall('<p class="pl">(.*?)/.*?</p>', htmls, flags=re.S)
        return name

    def go(self):  # 入口方法
        htmls = self.__fetch_content()
        name = self.__analysis(htmls)
        return name


spider = Spider()
name = spider.go()
print(f"豆瓣音乐Top{len(set(name))}排名的歌手 : {set(name)}")

标签

python编程爬虫


相关文章列表

Python编程实践:使用爬虫爬取网页数据

Python编程实践:使用爬虫爬取网页数据

在现代社会中,大量的数据被存储于互联网上的各种网页中。为了从这些海量数据中提取有价值的信息,我们可以使用爬虫技术。Python作为一门强大的编程语言,提供了许多优秀的库和工具,使得我们可以轻松地使用...


学习Python网络爬虫编程的基础知识

学习Python网络爬虫编程的基础知识

网络爬虫是一种自动化程序,用于从互联网上自动地获取信息。Python是一个广泛应用于网络爬虫编程的高级编程语言。在学习Python网络爬虫编程的基础知识之前,我们先来了解一些必要的概念和术语。 1....


Python网络编程指南:学习构建网络应用和爬虫程序

Python网络编程指南:学习构建网络应用和爬虫程序

在当今数字化时代,网络应用的需求正变得越来越重要。而Python作为一种简洁、强大且易于学习的编程语言,可以为我们提供丰富的工具和库来构建网络应用和爬虫程序。 什么是网络编程? 网络编程是一种使用计...


Python网络编程实战指南:构建网络应用和爬虫

Python网络编程实战指南:构建网络应用和爬虫

网络编程是现代互联网时代中非常重要的一部分。Python作为一种简洁易学且功能强大的编程语言,提供了丰富的库和工具,使得网络编程变得更加容易和高效。本文将介绍如何使用Python构建网络应用和爬虫,...


Python爬虫是什么意思有啥用 python爬虫原理实例介绍

Python爬虫是什么意思有啥用 python爬虫原理实例介绍

据华为中国官方消息,今日,华为中国发文《小白看过来,让Python爬虫成为你的好帮手》,文中详细介绍了Python爬虫的工作原理,我们来看一下吧。以下为《小白看过来,让Python爬虫成为你的好帮手》...


用Python编程学网络爬虫:以google为案例

用Python编程学网络爬虫:以google为案例

而在本文中,我们将分析几个真实网站,来看看我们在本书中学过的这些技巧是如何应用的。首先我们使用Google演示一个真实的搜索表单,然后是依赖JavaScript和API的网站Facebook,接下来是...


友情链接