
爬了三天,总算爬完了,给会用Python或者MySQL查询百万行csv文件的老哥一个数据库,用来和🐒对线,或者做数据分析都行。
收集时间:2021年10月14日
视频数量:141
评论数量:约120万条(1197585)(只爬取了一级评论)
文件大小:219MB
字段数:9

可以用Python或者MySQL数据库导入查询,不能直接用Excel打开
附Python查询代码,供有需要的人,建议用jupyter notebook,或者vscode创建.ipynb文件都行。也可以用其他语言或者SQL语句。
import pandas as pd
df = pd.read_csv("原神视频所有评论120万条.csv",lineterminator="\n")
df.drop("Unnamed: 0", axis = 1, inplace = True)
df.dropna(subset = ["content"], inplace = True)
df.drop_duplicates(keep = "first", inplace = True)
print(str(df.shape[0]) + " comments and their related information are scrapped from Target Video.")
df.head()
#查询 UID 为 1871001 的用户所有发言记录(其实是棉花大哥哥)
find1 = df.loc[df["mid"] == 1871001]
#查询 名字 为 “ZMI紫米” 的用户所有发言记录
find2 = df.loc[df["name"] == "ZMI紫米"]
#查询所有内容包含“胡桃语音”的评论(近期的节奏点)
contains = df[df["content"].str.contains("胡桃语音")] 
UID查询(棉花大哥哥)

名称查询(ZMI紫米)

内容包含查询(近期的节奏点“胡桃语音”)
链接: https://pan.baidu.com/s/1CFVdmVQc6ubPrZnKIx1nXw 密码: 6bbc
失效请告知