淘先锋技术网

首页 1 2 3 4 5 6 7

Python是一种流行的编程语言,可以实现各种任务,包括爬取店铺数据。下面介绍如何使用Python爬取店铺数据的过程。


#导入所需的库
import requests
from bs4 import BeautifulSoup

#定义函数获取网页内容
def get_html(url):
    response = requests.get(url)
    return response.text

#定义函数获取店铺名称和星级
def get_shop_info(html):
    soup = BeautifulSoup(html, 'html.parser')
    shop_name = soup.find('div', {'class': 'shop-name'}).text.strip()
    stars = soup.find('span', {'class': 'stars'}).get('title').strip()
    return shop_name, stars

#定义函数获取店铺评论
def get_reviews(html):
    soup = BeautifulSoup(html, 'html.parser')
    reviews_list = []
    reviews = soup.find_all('div', {'class': 'review'})
    for review in reviews:
        review_text = review.find('div', {'class': 'review-text'}).text.strip()
        reviews_list.append(review_text)
    return reviews_list

#主程序
if __name__ == '__main__':
    url = 'https://www.dianping.com/shop/12345678'
    html = get_html(url)
    shop_name, stars = get_shop_info(html)
    reviews_list = get_reviews(html)
    print('店铺名称:', shop_name)
    print('店铺评分:', stars)
    print('店铺评论:')
    for review in reviews_list:
        print(review)

python爬店铺数据

以上代码中,使用了requests库和BeautifulSoup库获取网页内容和解析HTML。使用get_shop_info函数获取店铺名称和星级,使用get_reviews函数获取店铺评论。最后,在主程序中将获取到的数据输出。

需要注意的是,这里只是一个示例代码,要实现爬取不同店铺的数据,需要修改代码中的url参数。