在数字化时代,Python已经成为了大量应用程序的流行语。Python爬虫也是其中之一,通过Python爬虫,可以很快的从互联网中获取数据。
例如,我们可以用Python爬虫爬取外卖网站的菜单,丰富自己的数据库,来更好地分析市场,优化经营策略。
# 导入库 import requests from bs4 import BeautifulSoup # 获取页面数据 url = 'https://www.com/takeout/restaurant-001' headers = {'Content-Type': 'text/html;charset=UTF-8'} res = requests.get(url, headers=headers) html = res.text # 解析html soup = BeautifulSoup(html, 'html.parser') # 获取菜单列表 menu_list = soup.find('ul', class_='menu-list') # 遍历菜单 for item in menu_list.find_all('li'): # 获取菜名、价格、口味等信息 name = item.find('h4', class_='item-name').text price = item.find('p', class_='item-price').text flavor = item.find('p', class_='item-flavor').text # 将菜单信息存储进数据库 insert_sql = "INSERT INTO menu (name, price, flavor) VALUES ('{}', '{}', '{}')".format(name, price, flavor) cursor.execute(insert_sql)
通过以上代码,我们可以爬取外卖网站的菜单,并将数据存入数据库供进一步分析。