Java爬虫:使用Jvppeteer(Puppeteer)爬取网页数据

😂 这篇文章最后更新于1169天前,您需要注意相关的内容是否还可用。

本库的灵感来自 Puppeteer(Node.js), API 也与其基本上保持一致,做这个库是为了方便使用 Java 操控 Chrome 或 Chromium。
Jvppeteer 通过 DevTools 控制 Chromium 或 Chrome。 默认情况下,以 headless 模式运行,也可以通过配置运行’有头’模式。
你可以在浏览器中手动执行的绝大多数操作都可以使用 Jvppeteer 来完成! 下面是一些示例:

生成页面 PDF。
抓取 SPA(单页应用)并生成预渲染内容(即“SSR”(服务器端渲染))。
自动提交表单,进行 UI 测试,键盘输入等。
创建一个时时更新的自动化测试环境。 使用最新的 JavaScript 和浏览器功能直接在最新版本的 Chrome 中执行测试。
捕获网站的 timeline trace,用来帮助分析性能问题。
测试浏览器扩展。

作者项目地址:https://gitee.com/fanyong920/jvppeteer