淘先锋技术网

首页 1 2 3 4 5 6 7

python爬小说代码

Python是一种高级编程语言，它具有简洁的语法和强大的功能，可以用来开发各种应用程序，包括网络爬虫。在这里，我们将介绍使用Python来爬取小说的代码。


#导入必要的库
import requests
from bs4 import BeautifulSoup

#设置目标小说的URL
url = 'https://www.xxx.com/novel/12345/'

#获取小说的HTML代码
html = requests.get(url).text

#使用BeautifulSoup将HTML代码转换成易于处理的格式
soup = BeautifulSoup(html, 'html.parser')

#获取小说的标题
title = soup.find('h1').text

#获取小说的章节名和链接
chapters = soup.find_all('a', class_='chapter')

#保存小说的每个章节到本地文件
for chapter in chapters:
    chapter_title = chapter.text
    chapter_url = chapter.get('href')
    chapter_html = requests.get(chapter_url).text
    chapter_soup = BeautifulSoup(chapter_html, 'html.parser')
    chapter_content = chapter_soup.find('div', class_='content').text.strip()
    with open('小说.txt', 'a', encoding='utf-8') as f:
        f.write(chapter_title + '\n\n')
        f.write(chapter_content + '\n\n')

python爬小说代码

上面的代码首先导入了requests和BeautifulSoup库，然后设置目标小说的URL，并使用requests库发送GET请求来获取小说的HTML代码。接下来，使用BeautifulSoup库将HTML代码转换为易于处理的格式。

然后，使用soup.find()方法获取小说的头部信息——标题，并使用soup.find_all()方法获取小说的每个章节的标题和链接。然后，使用requests库访问每个章节的链接，将HTML代码转换成soup对象，并使用find()方法获取章节内容，保存到本地文件。

总的来说，这是一段简单的Python代码，可以用于爬取小说，并将其保存到本地文件中。