Python爬虫入门：BeautifulSoup抓取电商价格

Python爬虫入门：如何用BeautifulSoup抓取电商商品价格数据

引言

在数字化时代，数据已成为商业决策的重要依据。电商平台上商品价格的实时变化、市场趋势分析等需求，都离不开有效的数据采集手段。Python作为一门简洁而强大的编程语言，配合BeautifulSoup库，为电商数据抓取提供了高效解决方案。本文将详细介绍如何使用BeautifulSoup构建爬虫程序，从零开始抓取电商商品价格数据，帮助读者掌握实用的数据采集技能。

一、准备工作：安装必要库

在开始编写爬虫之前，需要确保Python环境已安装以下必要库：

• requests：用于发送HTTP请求，获取网页内容
• beautifulsoup4：用于解析HTML文档，提取数据
• pandas：用于数据处理和存储

可以通过以下命令安装这些库：

pip install requests beautifulsoup4 pandas

二、分析目标网页结构

在编写爬虫之前，必须先分析目标电商网站的商品页面结构。以某电商网站为例，价格信息通常位于特定的HTML标签或类名中。可以通过以下步骤进行分析：

1. 使用浏览器打开目标商品页面
2. 按F12打开开发者工具
3. 选择\”元素\”标签，定位价格信息对应的HTML代码
4. 记录价格的类名或标签路径

例如，假设价格信息位于class=\”price\”的span标签中，那么爬虫将需要定位这个特定的标签。

三、编写爬虫核心代码

3.1 发送HTTP请求

使用requests库获取网页内容是第一步。需要注意设置请求头（User-Agent）模拟浏览器访问，避免被反爬机制拦截：

import requests

url = \"https://example.com/product-page\"
headers = {
    \"User-Agent\": \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36\"
}

response = requests.get(url, headers=headers)
response.encoding = \'utf-8\'  # 确保正确编码
html_content = response.text

3.2 解析HTML文档

获取网页内容后，使用BeautifulSoup解析HTML文档：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, \'html.parser\')

3.3 提取价格数据

根据之前分析的结构，使用BeautifulSoup的方法提取价格数据：

price_element = soup.find(\'span\', class_=\'price\')
if price_element:
    price = price_element.get_text().strip()
    print(f\"商品价格: {price}\")
else:
    print(\"未找到价格信息\")

对于更复杂的情况，可能需要使用CSS选择器或XPath：

# 使用CSS选择器
price_element = soup.select_one(\'.product-price .current-price\')

# 获取属性值
if price_element:
    price = price_element[\'data-price\']

四、处理动态加载内容

许多现代电商网站使用JavaScript动态加载价格数据，简单的requests请求可能无法获取到完整内容。解决方法包括：

• 分析AJAX请求，直接调用API接口
• 使用Selenium模拟浏览器操作

以下是一个使用Selenium的示例：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get(url)

# 等待页面加载完成
driver.implicitly_wait(10)

html_content = driver.page_source
soup = BeautifulSoup(html_content, \'html.parser\')

# 提取价格
price_element = soup.find(\'span\', class_=\'price\')
if price_element:
    price = price_element.get_text().strip()
    print(f\"动态加载的价格: {price}\")

driver.quit()

五、数据存储与处理

5.1 数据清洗

原始数据通常包含不需要的字符或格式，需要进行清洗：

import re

# 清理价格字符串，移除非数字字符
price_clean = re.sub(r\'[^\\d.]\', \'\', price)
price_float = float(price_clean)

5.2 保存到CSV文件

使用pandas库将数据保存为CSV格式，便于后续分析：

import pandas as pd

data = {
    \'商品链接\': [url],
    \'价格\': [price_float],
    \'采集时间\': [datetime.now()]
}

df = pd.DataFrame(data)
df.to_csv(\'product_prices.csv\', mode=\'a\', header=not os.path.exists(\'product_prices.csv\'), index=False)

六、爬虫优化与注意事项

6.1 设置请求间隔

为避免对服务器造成过大压力，应设置合理的请求间隔：

import time

time.sleep(2)  # 每次请求后等待2秒

6.2 处理异常情况

网络请求可能失败，需要添加异常处理：

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()  # 检查请求是否成功
except requests.exceptions.RequestException as e:
    print(f\"请求失败: {e}\")

6.3 遵守robots.txt

在爬取网站前，应检查该网站的robots.txt文件，遵守爬取规则：

robots_url = \"https://example.com/robots.txt\"
response = requests.get(robots_url)
print(response.text)

七、完整代码示例

以下是一个完整的爬虫示例，结合了上述所有要点：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import re
from datetime import datetime

def get_product_price(url):
    headers = {
        \"User-Agent\": \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36\"
    }
    
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        response.encoding = \'utf-8\'
        
        soup = BeautifulSoup(response.text, \'html.parser\')
        price_element = soup.find(\'span\', class_=\'price\')
        
        if price_element:
            price_text = price_element.get_text().strip()
            price_clean = re.sub(r\'[^\\d.]\', \'\', price_text)
            price_float = float(price_clean)
            return price_float
        else:
            return None
            
    except requests.exceptions.RequestException as e:
        print(f\"请求失败: {e}\")
        return None

def save_to_csv(data, filename=\'product_prices.csv\'):
    df = pd.DataFrame(data)
    df.to_csv(filename, mode=\'a\', header=not os.path.exists(filename), index=False)

if __name__ == \"__main__\":
    product_urls = [
        \"https://example.com/product1\",
        \"https://example.com/product2\",
        \"https://example.com/product3\"
    ]
    
    for url in product_urls:
        price = get_product_price(url)
        if price:
            data = {
                \'商品链接\': [url],
                \'价格\': [price],
                \'采集时间\': [datetime.now()]
            }
            save_to_csv(data)
            print(f\"已保存 {url} 的价格数据: {price}\")
        time.sleep(2)  # 礼貌爬取，避免请求过快

总结

使用Python和BeautifulSoup抓取电商商品价格数据是一项实用且具有挑战性的技能。本文从环境准备、网页分析、核心代码编写、动态内容处理到数据存储与优化，系统地介绍了整个流程。通过实践这些步骤，读者可以构建自己的价格监控工具，为市场分析、竞品研究等提供数据支持。需要注意的是，爬虫开发应遵守相关法律法规和网站规则，合理使用数据，避免对目标服务器造成不当影响。