109951166113541633.jpg

chenxiaoxing

GF  2024-03-28 00:15

分享自己写的一些爬虫源码给有兴趣的人参考

此帖售价 0 SP币,已有 12 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

没有注释,可以让gpt写
和下面两个通用爬虫相比好处是可以直连来节省机场流量
https://github.com/mikf/gallery-dl
https://github.com/KurtBestor/Hitomi-Downloader
各位有什么想爬网站可以发出来,我感兴趣的话会尝试写一个

1982424.jpg

algorith

B1F  2024-04-08 19:20
(起码不会更糟了对吧)
nameserver ; is not a dns.nameserver.Nameserver instance or text form, IP address, nor a valid https URL
没学过,求教这个错误是什么意思?

1982424.jpg

algorith

B2F  2024-04-08 20:51
(起码不会更糟了对吧)

回 31楼(chenxiaoxing) 的帖子

需要的库都安装了。应该是我环境的问题?我连dns.resolver初始化都报错,比如query_object = dns.resolver.resolve(qname='xxx', rdtype='A')。大佬有什么头绪吗

1982424.jpg

algorith

B3F  2024-04-09 20:40
(起码不会更糟了对吧)

回 37楼(chenxiaoxing) 的帖子

安装的是dnspython,模块导入的是dns,问题不在导入这里。貌似是dnspython和我环境的问题,我换了普通的python和虚拟环境都有问题,连基本的dns解析都报错。我socket可以用,但dns就不行,我还检查了我的hosts文件,cmd窗口也试过nslookup指令。。。

1982424.jpg

algorith

B4F  2024-04-10 14:00
(起码不会更糟了对吧)
执行到res = dns.resolver.Resolver()这一行就会报错,就很奇怪,这个库我都重装好几回了,虚拟环境也换了

1982424.jpg

algorith

B5F  2024-04-10 14:09
(起码不会更糟了对吧)

回 39楼(chenxiaoxing) 的帖子

我用的2.6.1,还有其他版本。我只执行
import dns.resolver
res = dns.resolver.Resolver()
这两行代码
就ValueError: nameserver ; is not an IP address or valid https URL
我问了gpt4,试了两天也没解决。主机dns配置应该没问题,python的socket也能用,但dnspython就用不了

1982424.jpg

algorith

B6F  2024-04-10 14:51
(起码不会更糟了对吧)

回 39楼(chenxiaoxing) 的帖子

没事了,谢谢大佬解决了,是我注册表里有个接口的nameserver凭空多出来一个异常字符