看到个 agent 叫 Baiduspider-render，现在百度也终于学会扒纯动态网站了

不对啊，怎么会有百度？

原来是我忘了加 robots.txt 屏蔽百度

哦，也许其实百度也很早就会扒纯动态网站，只是我一直屏蔽所以不知道？