pandas 中如何使用已转为字符串的 html 代码?

刚开始,思路笨拙。。。望请各位高手提点了。。。
单位内网有些页面,是靠 javascript 用几个页面开关按钮,触发功能,渲染成不同表格内容,我现在要爬它全部。(在企业的内网里,给了 URL 大家都看不到)

我打算思路是这样的:
用 selenium 的 webdriver,模拟几个操作,获取各个开关触发后把渲染后的 webdriver.page____source
存成 htmlstr1,htmlstr2,htmlstr3,htmlstr4,htmlstr5 这样,然后按计划被正则处理,或者做其它什么的

以前用 pandas 在处理简单页面的时候,

import pandas as pd
PageDF = pd.DataFrame()
PageDF = PageDF.append(pd.read_html("http://10.4.8.231/PannelView.html")[7],ignore_index=True)
PageDF.to_csv('C:/Users/Administrator/Desktop/csv/PannelData.csv',encoding="utf_8_sig")

但是按照目前的知识认知,pd.read_html()只能接受 url,不能接受(str)htmlstr1

那么 pandas 如何处理 str 内容是 html 代码的数据呢?


pandas 中如何使用已转为字符串的 html 代码?

6 回复

stringIO


在pandas里处理HTML字符串,最直接的方法是直接用pd.read_html()解析。这函数能直接从字符串、文件或URL读取HTML表格。

比如你有个HTML字符串:

import pandas as pd

html_string = """
<table>
    <tr><th>Name</th><th>Age</th></tr>
    <tr><td>Alice</td><td>30</td></tr>
    <tr><td>Bob</td><td>25</td></tr>
</table>
"""

# 直接解析字符串
dfs = pd.read_html(html_string)
df = dfs[0]  # 取第一个表格
print(df)

pd.read_html()返回一个DataFrame列表,因为HTML里可能有多个表格。如果字符串里只有一个表格,直接取第一个元素就行。

如果HTML代码是DataFrame列里的字符串,需要逐行解析:

import pandas as pd
from io import StringIO

# 假设有这样的DataFrame
data = {'html_col': [
    '<table><tr><td>Data1</td></tr></table>',
    '<table><tr><td>Data2</td></tr></table>'
]}
df = pd.DataFrame(data)

# 解析每行的HTML
parsed_data = []
for html in df['html_col']:
    temp_df = pd.read_html(StringIO(html))[0]
    parsed_data.append(temp_df.iloc[0,0])  # 取第一个单元格的值

df['parsed'] = parsed_data
print(df)

注意pd.read_html()要求输入是完整的HTML文档或表格片段,如果字符串格式不对会报错。另外,它依赖lxml或html5lib库,确保已安装。

简单说就是:用pd.read_html()直接解析HTML字符串。

谢谢,百度了一下,似乎 stringIO 是个好东西。。。,

在我的这个案例上,不知道是否有相似的例子看看了。。。

那么问题是为什么不获取原始数据呢,把原始数据获取了再用 webdriver 的 js 转成 csv 再用 pandas 转成你要的数据,你不会觉得中间过程没有必要吗

,解释一下为什么要做 htmlstr[1-5],是因为服务器做了行为监测,我目前想到的办法只能一次 load 完页面,存成 5 个渲染后的 html 的 str,如果每个操作都要 webdriver 去 get(url),会有些麻烦,不是技术上的问题,只是为了避开一些事情

read_html() function can accept an HTML string/file/URL

read_html 可以接收 string

回到顶部