Golang Go语言抖音推荐列表视频爬虫
Golang Go语言抖音推荐列表视频爬虫
基于 APP 爬取
相关技术：golang adb nodejs anyproxy
特点: 可设置仅抓取大于 xx 赞的视频
github: https://github.com/cnbattle/douyin
代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了
更多关于Golang Go语言抖音推荐列表视频爬虫的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
我真笑死了，首先我不是首先攻击的，然后 “ ruan ”这个字，就是脏话，攻击人的，我反击攻击我的脏话而已，并不是生活不如意攻击的。 继续抱团攻击我。哈哈哈。
认真脸提问：抖音（或者其他 APP，头条，淘宝啥的）会律师函警告做其爬虫的程序员吗？如果会的话出发点是什么？我不太懂，另外有人知道抖音的 ROBOT.TXT 是啥不？
只是 golang 起了一个 web server 接收 anyproxy post 过的 json 数据 和 用 adb 控制模拟滑动 其他都是一样的,我不了解 python，只能自己实现了
1 用 python 写个 web server 处理 https://raw.githubusercontent.com/cnbattle/douyin/df129be17c6711b0a37682df8cb0c253c517c9d0/body.json 这样的一个 json 数据，
2 用 python 调用命令行 运行 这几个命令即可,<br>打开抖音 adb shell am start -n com.ss.android.ugc.aweme/.main.MainActivity<br>关闭抖音 adb shell am force-stop com.ss.android.ugc.aweme<br>屏幕滑动 adb shell input swipe 500 1000 400 100<br>
我看都在喷这个人，我以为他很委屈差点打抱不平，看了一下楼，我决定
nmsl，你没商量，那没事了，你买啥了，尼美舒利，戳你妹，出那么，曹年末，次那么，超耐磨，cnm
好吧折腾了几个小时发现
1 go 运行时第一次上网自动抓 dependency 还挺好玩的
2 好像已经没一个肯在 vmware player 15 虚机里面肯跑的安卓模拟器能正常运行抖音全手动划屏刷 20 秒不崩了
3 好像已经没一个安卓模拟器能让人放心在日常非 vmware 环境下安装了(包括 bluestacks)
4 （想喷想玩这个连个随时能三清的五百以下的备机都不肯备的同志们可以跳过这一步了）
5 正在考虑要不要整个 U 盘启动的可以直通显卡的虚机试试可不可以模拟器 /app 不崩…有时间再说了
go1.11 mod 很方便,而且现在国内已经有好几个代理
我用的那个 倒能撑到 1 分钟以上，我建议是用 别公司封装出来的那些安卓模拟器，他们对手机型号 定位 啥的模拟可能会有更好一点的稳定性
我现在在家用树莓派 2b 和一个触摸屏失效 电池 异常的手机运行，中间有个问题 就是 2b 的 usb 电压太低 一直插着手机电量会慢慢掉下来，所以我把手机拆了把屏幕的供电线拔了就可以一直运行
针对您提到的“Golang Go语言抖音推荐列表视频爬虫”的需求，以下是一个简要的专业回复：
使用Golang开发抖音推荐列表视频爬虫是一个复杂但可行的任务。以下是一些关键步骤和注意事项：
-
分析抖音API：
- 首先，需要深入了解抖音的API结构，特别是与推荐列表相关的接口。
- 抖音可能对API进行了保护，如使用动态加载、反爬虫机制等，因此分析过程需要耐心和技巧。
-
编写爬虫代码：
- 使用Golang的net/http包发送HTTP请求，获取推荐列表数据。
- 处理返回的数据，可能需要使用json或xml解析库。
- 考虑使用并发和goroutines来提高爬虫效率。
-
处理反爬虫机制：
- 抖音可能会检测并阻止频繁的请求，因此需要设置合理的请求间隔。
- 使用代理、随机User-Agent等策略来模拟真实用户行为。
-
数据存储与解析：
- 将爬取到的数据存储到数据库或文件中，方便后续处理和分析。
- 对数据进行解析，提取出视频链接、标题、作者等关键信息。
-
法律与道德考量：
- 确保您的爬虫行为符合抖音的服务条款和相关法律法规。
- 尊重用户隐私和版权，不要滥用爬取到的数据。
综上所述，开发抖音推荐列表视频爬虫需要一定的技术实力和耐心。如果您不熟悉Golang或爬虫技术，建议先从基础开始学习，或寻求专业开发人员的帮助。
