在应用内维护域名缓存时遇到的问题
近期参与的项目中，依赖DNS服务器来解析外部的业务集群，遇到了一连串的问题。
远端的业务集群基于HTTP/HTTPS协议，提供业务服务，集群中包含了多个业务节点，当前方案中在DNS服务器上配置域名，指向业务集群中的多个业务节点。
DNS服务器由客户提供。
产品的特性代码中使用libcurl来访问业务集群提供的HTTP/HTTPS的服务。
在本地开发、验证过程中，上述组网方式没有什么问题，一切都很美好。
结果进入大规模测试阶段时，暴露了一个严重的问题：由于产品的并发度比较高，特性开启后，在短时间内会触发大量的业务请求。这导致如下后果：
libcurl代码发起了大量的域名解析请求，DNS服务器的并发能力不足，只能选择性回复部分报文。- 大量请求由于建立链接时因域名解析失败而失败。
- 由于产品内建了重试逻辑，于是引发了更多的请求。
- 于是DNS不堪重负，拒绝了更多的域名解析请求。
- 结果其它依赖DNS解析域名的业务，同样受到了波及。
测试团队反馈了上述问题之后，开发团队做如下几件事情：
- 在现有的重试逻辑中，增加了休眠时间，使用指数退减的方式，逐次增加重试之间的间隔时间，避免大量请求扎堆。经过实测，本策略缓解了问题，但并没有解决问题。
- 修改
libcurl的使用方法，启用了DNS缓存特性，并增大了缓存的失效时间。经过实测，本策略的效果不明确。 - 修改产品的业务代码，降低并发度。本策略实施后有明显的效果，失败的请求次数明显下降，考虑到产品的代码中，存在多个特性使用
libcurl访问远端集群的服务，本问题依然存在。
上述策略都是小打小闹，并没有从根本上解决问题。
开发团队内部组织讨论，重新讨论，得出如下结论：
- 降低并发度不可行。
一方面可能导致当前特性的性能规格不达标。另外前期多个特性均在使用libcurl，各个业务都按照相同的策略去降低并发度，修改、验证的工作量巨大，管理团队无法接受，开发、测试团队同样觉得疲惫，难以为继。 - DNS服务器的并发能力不可预期。
交付场景下，DNS服务器由客户提供，其并发能力不可预期，短时间内也不可能提升性能，假如由于本产品的原因占满了客户DNS服务器的处理能力，可能会阻塞客户的其它业务，因此仍然需要直面问题。
开发团队经过讨论，有如下决策：
- 收编现有业务代码中
libcurl的使用，对各特性提供统一的HTTP协议客户端。 - 在上述客户端的代码中增加域名解析结果的缓存。
这个方案工作量不大，很快通过了测试团队组织的功能验证、性能验证。
本来觉得未来一片光明，但测试团队在执行故障注入的用例时，发现了新的问题，域名解析操作执行时间过久，单次调用居然要20+秒才能返回。
这个新问题和前述方案中域名解析的实现相关，换句话说，这是域名解析的C函数的坑。
目前已知的用于完成域名解析的C函数，如下：
gethostbyname线程不安全，排除。gethostbyname_r是gethostbyname的线程安全版本，当前在用。
从实际测试的结果来看，发现gethostbyname_r存在一个严重的问题，函数的参数中不能指定超时值，导致耗时不可控。
查阅了大量资料之后，发现耗时的问题其实和DNS域名解析的过程相关，不能怪设计API的前辈不用心。
虽然不能在调用gethostbyname_r时传入超时值，但无意中发现了/etc/resolv.conf。通过修改options attempts:5 timeout:6中的attempts和timeout，发现在一定程度上可以缓解在DNS故障场景下调用gethostbyname_r函数耗时过长的现象。
经过一系列折腾，目前的解决方案虽不完美，但至少获得了产品团队的认可，因此优化工作暂告一段落。
如下是处理前述问题过程中，使用到的配置文件或者工具。
/etc/resolv.conf文件的内容样例，如下：
$ cat /etc/resolv.conf
# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)
# DO NOT EDIT THIS FILE BY HAND -- YOUR CHANGES WILL BE OVERWRITTEN
# 127.0.0.53 is the systemd-resolved stub resolver.
# run "systemd-resolve --status" to see details about the actual nameservers.
nameserver 127.0.0.53
search DHCP HOST
options attempts:5 timeout:6
/etc/hosts文件的样例，如下：
$ cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 jackie-ubuntu
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
dig命令的执行输出，样例如下：
$ dig www.baidu.com
; <<>> DiG 9.16.1-Ubuntu <<>> www.baidu.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56073
;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;www.baidu.com. IN A
;; ANSWER SECTION:
www.baidu.com. 1105 IN CNAME www.a.shifen.com.
www.a.shifen.com. 29 IN A 36.152.44.96
www.a.shifen.com. 29 IN A 36.152.44.95
;; Query time: 4 msec
;; SERVER: 127.0.0.53#53(127.0.0.53)
;; WHEN: 日 11月 12 11:15:58 CST 2023
;; MSG SIZE rcvd: 101
dig的+trace的选项，执行输出，样例如下：
$ dig +trace www.baidu.com
; <<>> DiG 9.16.1-Ubuntu <<>> +trace www.baidu.com
;; global options: +cmd
. 2687 IN NS f.root-servers.net.
. 2687 IN NS m.root-servers.net.
. 2687 IN NS e.root-servers.net.
. 2687 IN NS l.root-servers.net.
. 2687 IN NS c.root-servers.net.
. 2687 IN NS h.root-servers.net.
. 2687 IN NS j.root-servers.net.
. 2687 IN NS a.root-servers.net.
. 2687 IN NS k.root-servers.net.
. 2687 IN NS g.root-servers.net.
. 2687 IN NS i.root-servers.net.
. 2687 IN NS d.root-servers.net.
. 2687 IN NS b.root-servers.net.
;; Received 262 bytes from 127.0.0.53#53(127.0.0.53) in 12 ms
com. 172800 IN NS a.gtld-servers.net.
com. 172800 IN NS b.gtld-servers.net.
com. 172800 IN NS c.gtld-servers.net.
com. 172800 IN NS d.gtld-servers.net.
com. 172800 IN NS e.gtld-servers.net.
com. 172800 IN NS f.gtld-servers.net.
com. 172800 IN NS g.gtld-servers.net.
com. 172800 IN NS h.gtld-servers.net.
com. 172800 IN NS i.gtld-servers.net.
com. 172800 IN NS j.gtld-servers.net.
com. 172800 IN NS k.gtld-servers.net.
com. 172800 IN NS l.gtld-servers.net.
com. 172800 IN NS m.gtld-servers.net.
com. 86400 IN DS 30909 8 2 E2D3C916F6DEEAC73294E8268FB5885044A833FC5459588F4A9184CF C41A5766
com. 86400 IN RRSIG DS 8 1 86400 20231124170000 20231111160000 46780 . rTOgKkj9DMvMzyk+rKDz7dsie4Xx1jwuBlZdH9ntLEikavNoZMRN7SxE iweiVanZo1q9hhrSxAn8O1ScKkRwwHTSCiSvQnZ8bzy4ToM3I832VIiR Oir+C+K7GtufMaxNCOmD14s7Zg24qLf9CmQT+id3eIBMP4Sjuq4MSIsu tgSXJS6EI1OumSojANeO9mq1khc5cxLaeOqJfRb10Vvujl73jZpaXxE9 J4/GehjpG6YR04/37geOwOSaVwx6c3PndgT0L33O/maN/Tjng2UUhHtW lOh8gIVxFYRipqdDZ1XJQK+x5o4o8Oh3YN3Vd1I5rrKJhEfwecej7nyI fe5BKA==
;; Received 1173 bytes from 199.7.83.42#53(l.root-servers.net) in 20 ms
baidu.com. 172800 IN NS ns2.baidu.com.
baidu.com. 172800 IN NS ns3.baidu.com.
baidu.com. 172800 IN NS ns4.baidu.com.
baidu.com. 172800 IN NS ns1.baidu.com.
baidu.com. 172800 IN NS ns7.baidu.com.
CK0POJMG874LJREF7EFN8430QVIT8BSM.com. 86400 IN NSEC3 1 1 0 - CK0Q2D6NI4I7EQH8NA30NS61O48UL8G5 NS SOA RRSIG DNSKEY NSEC3PARAM
CK0POJMG874LJREF7EFN8430QVIT8BSM.com. 86400 IN RRSIG NSEC3 8 2 86400 20231118052525 20231111041525 63246 com. HHilTlIgM2bBSkNCrfIYydeweb7FpcSd/HCPjoMq9cDoI45LnU1trxYf GtncYfSgPxd01lt7BuBdTBRjFX2kHEWQNAjqKR+wj9ohk9mqvk3naenD eWVPwSEZjYdV+LPjL7rXvMWq6GRZXFG2OC0oR37mS4PCPT/pWYTARo7m 66PiR/ixIP8UPkUbxjZTHFuDsR+lywg8Od0OsTopTj5+rw==
HPVV1UNKTCF9TD77I2AUR73709T975GH.com. 86400 IN NSEC3 1 1 0 - HPVVAN8CFKHHHMEIDVJHFNQEOI5G6C89 NS DS RRSIG
HPVV1UNKTCF9TD77I2AUR73709T975GH.com. 86400 IN RRSIG NSEC3 8 2 86400 20231115212015 20231108201015 63246 com. jtcfLKFI33jWF+yVS/iT/x73j+JM7gult+JQD6xHY0yl4ZWp2ktqwCrA wk8ybADERvnpDU/u9LKgBVGkT7rIDnheKGcXzKe5Lgjilu9aHWjIiyny J/kwYkBe+XCqXofFrkq5QS/El4Esu4Hp7FCUAm5lRMNlGL8H9QrdqESl G4NIUZFsyhqj3Ulz0/u1QjPRm13QmKOuUh/DvWhj63Ru5g==
;; Received 849 bytes from 192.48.79.30#53(j.gtld-servers.net) in 284 ms
www.baidu.com. 1200 IN CNAME www.a.shifen.com.
;; Received 100 bytes from 36.155.132.78#53(ns3.baidu.com) in 8 ms
nslookup命令的执行输出，样例如下：
$ nslookup www.baidu.com
Server: 127.0.0.53
Address: 127.0.0.53#53
Non-authoritative answer:
www.baidu.com canonical name = www.a.shifen.com.
Name: www.a.shifen.com
Address: 36.152.44.96
Name: www.a.shifen.com
Address: 36.152.44.95
Name: www.a.shifen.com
Address: 2409:8c20:6:1d55:0:ff:b09c:7d77
Name: www.a.shifen.com
Address: 2409:8c20:6:1135:0:ff:b027:210c
相关资料
- resolv.conf(5)
- Linux DNS 解析与配置 nslookup使用 与 /etc/resolv.conf文件的配置
- 浅析resolv.conf常用参数
- Linux /etc/resolv.conf文件解析
- REHL7/CentOS7 中/etc/resolv.conf 详解
- 用resolvconf配置DNS服务器
- dns配置文件/etc/resolv.conf中search和options ndots详解
- Linux /etc/resolv.conf文件说明
- 域名解析——gethostbyname()函数及socket客户端域名解析
- gethostbyname()函数详解
- gethostbyname()、getaddrinfo()函数基本情况
- 关于gethostbyname_r的参数及返回值
- gethostbyname 和 gethostbyname_r（可重入的）得到dns信息
- 【UNP笔记】第十一章 名字地址转换
- gethostbyname_r的注意事项
- C++ gethostbyname_r函数代码示例
- 如何在linux中使用gethostbyname_r
- DIG域名解析查询工具
- 掌握 DNS 查询技巧，dig 命令基本用法
- DNS篇之dig使用详解
- linux 【网络】dig查询DNS详解