包含标签 爬虫 的所有文章

  • Python爬虫+Qt5 抖音视频评论爬取

    小菜鸟一枚,最近把学习结合在了一块,做了一个抖音评论采集,不能采集到二级评论,代码可能有些臃肿,主要是把抓取和数据保存到表格没做优化,还是复制的抓取的代码。 还没写多线程,抓取几千上万的的评论可能需要等几分钟,有需求的朋友可以拿去用,也希望可以有大佬优化下代码。 抖音ID是链接中的modal_id 后面的数字 运行环境准备 import math impo...

    2023-12-25 08:48
    1191 1
  • Python爬虫备份RARBG磁力链接,rarbg磁力备份链接

    RARBG是成立于2008年的一个网站,它提供BT种子文件和磁力链接,利用BitTorrent协议实现文件共享。然而,最近RARBG发布了通告,称由于团队成员离世、战争状态、电费上涨、通货膨胀等原因,不得不关闭该站。这无疑给广大用户带来了很大的不便。 不过,值得庆幸的是,有用户使用Python脚本爬取了RARBG磁力链接备份,这些备份存档纯粹只是磁力链接,非...

    2023-6-4 08:51
    1276 0
  • TiktoVideo抖音爬虫下载工具

    软件介绍 爬取抖音主页|喜欢|合集视频|图片 1、抖音近期增加了人机校验和修改了接口,于是计划利用selenium来抓取cookie后再下载的方法,虽然有点麻烦,但是先用起来吧。 2、抖音启用的V1接口不会破,于是转向抓取浏览器network记录的方式抓取下载地址。 3、程序代码完全基于大佬的源码修改,感谢大佬的源码,只增加了抓取cookie部分的内容和修改...

    2023-4-22 21:35
    1296 0
  • 通过NGINX屏蔽恶意爬虫较全方法(屏蔽爬虫对链接抓取的方法)

    通过NGINX屏蔽恶意爬虫较全方法(屏蔽爬虫对链接抓取的方法)访问文件被下载/不支持指定目录 以宝塔为例,直接进入宝塔面板,然后选择网站-对应网站设置- 复制到 配置文件 当中,然后重启nginx即可生效。 如果是脚本版,找nginx.conf配置文件添加也可以。 一,屏蔽非常见蜘蛛(爬虫) 如果经常分析网站日志你会发现,一些奇怪的UA总是频繁的来访问网站...

    2023-3-11 08:53
    1438 6