python爬虫获取小说代码示例

python
import requests
from bs4 import BeautifulSoup

# 定义爬取小说的函数
def crawl_novel(url):
    # 发送 HTTP 请求获取页面内容
    response = requests.get(url)
    
    # 使用 BeautifulSoup 解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 在这里写入代码来定位小说内容所在的 HTML 元素，然后提取文本内容
    # 这里的选择器需要根据目标网站的HTML结构来调整
    novel_content = soup.find('div', class_='novel-content').text.strip()
    
    return novel_content

# 主函数
def main():
    # 小说链接
    novel_url = 'http://example.com/novel'  # 替换成你要爬取的小说链接
    
    # 调用爬取小说函数
    novel_text = crawl_novel(novel_url)
    
    # 打印小说内容
    print(novel_text)

if __name__ == "__main__":
    main()