协程
本文分析一下在TinyCoro中对于协程遇到的一些问题
本文总结分布式系统中常见的“惊群效应”问题及应对方案,内容会随着实践不断补充。
惊群效应是指在分布式系统中,当某一共享资源在短时间内同时变为可用或失效时,大量客户端或线程几乎同时发起请求,导致后端瞬时负载激增,甚至引发雪崩效应。
缓存击穿
热点 Key 过期或被淘汰,大量请求同时 miss,直击数据库,造成后端压力骤增。
锁竞争唤醒
多个线程等待同一分布式锁或条件变量,持锁方释放后全部被唤醒,瞬时产生大量竞争请求。
服务节点瞬时上线
新节点启动后被路由层立即分配大量请求,但冷缓存/初始化开销未完成,容易导致快速过载。
限流
控制单位时间请求数,防止后端瞬时过载。
请求合并
多个相同请求合并为一次后端访问,减少重复开销。
提前刷新
在热点数据失效前主动更新,避免大规模 miss。
随机过期
为不同 key 增加随机 TTL,避免同一时刻集中失效。
原理
Lease 是一种缓存击穿防护策略,在 Memcached 等系统中常见:
优点
局限
惊群效应的本质是瞬时高并发访问单一昂贵资源。应对的核心思路是:
在实际系统中,往往需要多种策略结合使用,才能在高并发场景下有效降低惊群带来的风险。
J.H. Saltzer, D.P. Reed 和 D.D. Clark*
麻省理工学院计算机科学实验室
作者地址:J.H. Saltzer 和 D.D. Clark,麻省理工学院计算机科学实验室,马萨诸塞州剑桥市科技广场545号,邮编02139;D.P. Reed,Software Arts, Inc.,马萨诸塞州韦尔斯利市Mica Lane 27号,邮编02181。
本研究部分由美国国防部高级研究计划局(ARPA)资助,海军研究办公室(ONR)根据合同号 N00014-75-C-0661 监督。
1981年4月8-10日法国巴黎第二届分布式计算系统国际会议论文修订版,第509-512页。© 1981 电气和电子工程师协会(IEEE)版权所有。经许可转载。
发表于《ACM计算机系统汇刊》第2卷第4期,1984年11月,第277-288页。
转载于 Craig Partridge 编辑的《互联网创新》,Artech House, Norwood, MA, 1988, 第195-206页。ISBN 0-89006-337-0。另计划转载于 Amit Bhargava 编辑的《综合宽带网络》,Artech House, Boston, 1991。ISBN 0-89006-483-0。
Scribe/FinalWord 源文件:http://web.mit.edu/Saltzer/www/publications/