美国

人工智能 AI工具人工智能

Crawl4AI：开源 LLM 友好型 Web 爬虫和抓取工具

Crawl4AI 是一款开源的 LLM 友好型 Web 爬虫工具，旨在简化异步 Web 爬取和数据提取，专为大型语言模型 (LLM) 和 AI 应用程序设计。它可以作为 Python 包或通过 Docker 安装，提供……

链接直达手机查看

其他站点: GitHub开源

Crawl4AI是什么

Cr awl4AI 是一款开源的 LLM 友好型 Web 爬虫工具，旨在简化异步 Web 爬取和数据提取，专为大型语言模型 (LLM) 和 AI 应用程序设计。它可以作为 Python 包或通过 Docker 安装，提供灵活的使用方式。Crawl4AI 的主要特点包括支持多 URL 并行爬取、提取所有媒体标签、外部和内部链接、元数据等。它支持自定义钩子、用户代理、页面截图、JavaScript 执行，并能生成结构化的输出，适合各种复杂的爬取场景，工具还具备异步架构和隐私保护功能。

Crawl4AI特点

🆓 完全免费且开源
🚀 性能超快，超越许多付费服务
🤖 LLM 友好的输出格式（JSON、清理的 HTML、markdown）
🌍 支持同时抓取多个 URL
🎨 提取并返回所有媒体标签（图像、音频和视频）
🔗 提取所有外部和内部链接
📚 从页面中提取元数据
🔄 爬取之前用于身份验证、标头和页面修改的自定义钩子
🕵️ 用户代理自定义
🖼️ 截取页面截图
📜 抓取前执行多个自定义 JavaScript
📊 使用 JsonCssExtractionStrategy 生成无需 LLM 的结构化输出
📚 各种分块策略：基于主题、正则表达式、句子等
🧠 高级提取策略：余弦聚类、LLM 等
🎯 CSS 选择器支持精确的数据提取
📝 传递指令/关键字以优化提取
🔒 代理支持，增强隐私和访问
🔄 针对复杂的多页面爬取场景的会话管理
🌐 异步架构，提高性能和可扩展性

资源下载此资源仅限注册用户下载，请先

相关导航

免费AI解梦专业在线AI解梦解析工具-Dream Interpretation AI

Dream Interpretation AI-免费AI解梦是一款专业在线AI解梦解析工具，基于先进人工智能的在线解梦工具。系统结合传统解梦方法与现代心理学，提供即时的梦境分析服务。特点包括1000+符号解析、24/7在线服务，支持多维度解读。该平台已服务5万+用户，解析超10万个梦境。无论是死亡梦境、重复梦境还是其他类型，AI都能提供专业且个性化的深度解析，助您探索潜意识世界。

AI 调色板生成器：Colorify Rocks

Colorify Rocks 是一个基于 AI 的在线调色板生成器，旨在帮助设计师和创作者轻松生成和谐的配色方案。用户只需输入与项目相关的关键词或主题，即可快速获得适合各种设计需求的颜色组合，无论是网站设计、品牌标识还是室内装饰。借助先进的人工智能技术，Colorify Rocks 能理解色彩理论和美学趋势，为用户提供完美的颜色搭配，同时还支持调色板保存、导出及多样化生成，成为获取色彩灵感和设计工具的理想平台。

Chatgpt-Webui-Awesome 全栈解决方案快速接入openai 产品方案运营策略技术方案+实现

Chatgpt-Webui-Awesome 全栈解决方案快速接入openai 产品方案运营策略技术方案+实现

CapHacker-免费无水印AI视频字幕生成器

Cap Hacker是一款免费无水印AI视频字幕生成器，帮助用户轻松高效地为短视频添加字幕，支持99 种不同的语言，CapHacker 免费且比传统字幕工具更好，使用最新AI人工智能技术将语音转换为文本，并且可以将字幕下载为 SRT 文件，内置5 个独特模板，可以更改字体样式、颜色和背景等等，CapHacker 仍在开发中，测试期间免费且无限制使用。

521Github镜像 - 免费高速稳定的GitHub镜像站

521Github镜像是一个免费高速稳定的GitHub镜像站，主要提供高速、稳定的镜像服务，解决某些地区访问GitHub缓慢的问题，目前免费使用，国内网络不好的同学可以使用这个稳定的GitHub镜像站，用来加速GitHub文件下载等等，网站的UI和GitHub一样的。