获取抖音推荐和评论列表数据,超简单,一看就会

2023-1-18 09:12| 发布者: uf74b66bf7sz16| 查看: 1647| 评论: 3

这里是默认签名
工欲善其事,必先利其器。
<hr>爬取网页数据,一般都是采用页面Xpath和请求接口取得数据,两种方式都有弊端,Xpath 需要不停的定位和寻找数据的位置,接口不仅需要查找接口,而且需要加密解密。



目标网站
demo用获取抖音的推荐接口,这个接口是加密的。接口地址是:/aweme/v1/web/aweme/post/(开发者工具中的网络标签可以找到接口)
之前分享过一次用代码片段(code snippet)的方式,有些人可能尝试过,对js的熟悉程度很高,门槛不低。但是不妨碍学习,因为你发现只需要变更url地址就可以获取到数据。



代码片段
我们用代码片段的目的是要拿到加密后的请求地址。今天我们分享python的方式,用更简单的方式来处理数据。



copy代码片段到编辑器
依然是RPC的方式(在本地执行远程js方法,解决扣js补环境的问题),browser 是 selenium,定义一个类,代码稍微的规范一下。signatureurlget 方法里面是上面图的内容。init只是初始化了一个webdriver.ChromeOptions()。



规范一下代码
运行一下,获取到加密的地址,请求加密的地址,获取到结果



这样就能直接使用返回的json做点自己想做的事情了,亲自试过了头条,抖音,巨量引擎,京东等网站。
这里是默认签名
回复

使用道具 举报

上一篇:几则富含人生哲理的励志小故事!很短却很有理!

下一篇:抖音这合理吗是什么梗 评论这合理吗有啥内涵意思介绍

sitemap.txt | sitemap.xml | sitemap.html |Archiver|手机版|小黑屋|彩虹邦人脉系统 ( 皖ICP备2021012059号 )

GMT+8, 2024-11-21 20:58 , Processed in 0.254427 second(s), 53 queries .

快速回复 返回顶部 返回列表