有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

系统安装、升级讨论
版面规则
我们都知道新人的确很菜,也喜欢抱怨,并且带有浓厚的Windows习惯,但既然在这里询问,我们就应该有责任帮助他们解决问题,而不是直接泼冷水、简单的否定或发表对解决问题没有任何帮助的帖子。乐于分享,以人为本,这正是Ubuntu的精神所在。
回复
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#1

帖子 科学之子 » 2015-01-01 18:30

有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?
以前的内容:
如何单独清空chrome://dns/的列表,而不涉及其他历史记录?
以前的内容:
有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?
某些网页涉及的二级域名太多...
上次由 科学之子 在 2015-01-02 2:22,总共编辑 2 次。
rosynirvana
帖子: 893
注册时间: 2011-02-14 17:46

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#2

帖子 rosynirvana » 2015-01-01 18:42

你是说一次访问中进行通讯的所有域名,还是别的什么?
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#3

帖子 科学之子 » 2015-01-01 19:11

rosynirvana 写了:你是说一次访问中进行通讯的所有域名,还是别的什么?
差不多吧.
举例就是chrome的应用商店
我这直接把chrome.google.com加进去没用.
chrome://dns/
看到一堆二级域名
仔细研究了一下,清除历史记录时勾选"Browsing history"即可让chrome://dns/清空
之后访问某网页就是所涉及的域名了.
有什么方法单独清除chrome://dns/?
rosynirvana
帖子: 893
注册时间: 2011-02-14 17:46

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

#4

帖子 rosynirvana » 2015-01-01 20:08

你要清prefetched DNS? 清那个干什么……
prefetched DNS是根据浏览记录分析最常被访问的域名,然后在下次启动的时候预读这些dns数据
从概念上来说只能关闭,或者把浏览记录都清理掉,让软件无法分析

单次的http请求可以打开开发者工具,然后看network那一栏,刷新一次,就能看到所有访问的域名了

另外,如果是要配置代理规则,有现成的
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

#5

帖子 科学之子 » 2015-01-01 21:38

rosynirvana 写了:你要清prefetched DNS? 清那个干什么……
prefetched DNS是根据浏览记录分析最常被访问的域名,然后在下次启动的时候预读这些dns数据
从概念上来说只能关闭,或者把浏览记录都清理掉,让软件无法分析

单次的http请求可以打开开发者工具,然后看network那一栏,刷新一次,就能看到所有访问的域名了

另外,如果是要配置代理规则,有现成的
chrome://dns/是缓存列表吗?貌似chrome://net-internals/#dns才是?
这两个地址的内容貌似不同.
可以说我希望清理掉这个列表.
清理的目的是可以单纯留下目标网页涉及的域名.
貌似chrome应用商店的二级域名也并非"海量",手工添加到hosts也不算很大压力.
通过清空历史记录,用chrome://dns/跟踪到了chrome应用商店的所有域名,目前通过hosts解析正常.
但如何仅仅清空这个列表呢?直接用chrome提供的清除记录功能还会设计到其它记录,但我只想清空chrome://dns
虽然chrome://net-internals/#dns有清空DNS缓存的功能,但貌似并不能影响chrome://dns/的列表
另外,如果是要配置代理规则,有现成的
貌似网上现成的hosts文件有不少是失效的
network,会跟踪一大堆地址,但我需要的只是域名.
Thu Jan 1 21:43:04 CST 2015 补充:
貌似chrome://dns/不是缓存,而是记录历来解析过的域名
或者"Subresource Spec"的意思是?貌似是"子资源详情"?
rosynirvana
帖子: 893
注册时间: 2011-02-14 17:46

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

#6

帖子 rosynirvana » 2015-01-01 22:02

chrome://dns不是缓存列表,作用我在楼上说过了,根据访问记录计算访问最多的域名,然后在程序下次启动时解析这几个域名
所以说,从概念上不能仅仅清空这个列表,因为它是根据浏览记录计算的,只能把浏览记录清理掉

chrome://net-internals#dns是浏览器自己的dns缓存,清理掉这些东西不会影响chrome://dns,这两个东西没有什么直接关系

hosts失效的是ip地址,不是域名
除了hosts还有autoproxy维护的列表
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

#7

帖子 科学之子 » 2015-01-02 1:14

rosynirvana 写了:chrome://dns不是缓存列表,作用我在楼上说过了,根据访问记录计算访问最多的域名,然后在程序下次启动时解析这几个域名
所以说,从概念上不能仅仅清空这个列表,因为它是根据浏览记录计算的,只能把浏览记录清理掉

chrome://net-internals#dns是浏览器自己的dns缓存,清理掉这些东西不会影响chrome://dns,这两个东西没有什么直接关系

hosts失效的是ip地址,不是域名
除了hosts还有autoproxy维护的列表
那还是回到老话题,有什么办法跟踪网页涉及的域名?
F12的Network貌似很适合用来跟踪有哪些文件,但是跟踪域名貌似不是很适合(尽管看URL也能看到域名,但那非常不方便,尤其是Network功能无法获取一个文本列表.)
F12有时还会因为没有来得及开启,错过某些信息.
"autoproxy维护的列表"是什么?
Fri Jan 2 02:23:46 CST 2015补充:
预想中貌似可以备份chrome的配置文件,然后清除记录.(只是预想,还没试过)
有没有更方便一些的方法呢?
Fri Jan 2 02:30:32 CST 2015补充:
刚刚试了一下,貌似效果不错.
除了稍微有些不方便.
rosynirvana
帖子: 893
注册时间: 2011-02-14 17:46

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#8

帖子 rosynirvana » 2015-01-02 11:42

打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#9

帖子 科学之子 » 2015-01-03 12:49

rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?
rosynirvana
帖子: 893
注册时间: 2011-02-14 17:46

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#10

帖子 rosynirvana » 2015-01-03 18:19

事实上用不着自己做hosts表,第一是因为autoproxy有现成的东西,第二单纯dns污染/劫持的阻断也没那么多
想要适用性最广的方法,自己写一个脚本把页面所有url都parse出来就可以了
zbl0517
帖子: 1
注册时间: 2020-11-19 9:59
系统: Debian 9

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#11

帖子 zbl0517 » 2020-11-19 10:04

科学之子 写了: 2015-01-03 12:49
rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?
有个同样的问题,请问后来有解决办法吗
科学之子
帖子: 2284
注册时间: 2013-05-26 6:58
系统: Debian 9

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

#12

帖子 科学之子 » 2020-12-02 11:37

zbl0517 写了: 2020-11-19 10:04
科学之子 写了: 2015-01-03 12:49
rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?
有个同样的问题,请问后来有解决办法吗
抱歉,这个问题本身和这个问题的处理方法我都已经完全忘记了(当时可能是直接放弃直接解决这个问题了).
站在此时此刻我的角度, 暂时什么傻瓜式的方法.
潜在的方法
1.在开发者工具中Copy All As Har 或 Save All As Har, 然后写个Python脚本确定每一条的host头
2.编写Firefox扩展然后调用原生程序记录到文件,详情参考MDN文档 https://developer.mozilla.org/en-US/doc ... Extensions
我想到的这两个方法都绕不开Python或者用其它编程语言自己编程处理.
回复