mirror of
https://github.com/codecrafters-io/build-your-own-x
synced 2026-07-02 16:59:25 +00:00
1.7 KiB
1.7 KiB
综合工具集合
本项目提供了一个综合性的工具集合,包含两个主要功能模块:网络爬虫工具和系统管理工具。
功能模块
1. 网络爬虫工具
- 支持自定义URL输入和爬取规则配置
- 包含数据提取、存储和导出功能
- 实现基本的反爬机制和错误处理
- 支持JSON和CSV格式数据导出
2. 系统管理工具
- 批处理文本文件自动强制删除功能
- 文件强制删除的安全确认机制
- 系统强制关机功能及定时关机选项
- 系统重启功能及定时重启选项
安装依赖
pip install requests beautifulsoup4
使用方法
- 运行主程序
python main.py
- 选择功能模块
网络爬虫工具使用示例
- 选择"1. 网络爬虫工具"
- 选择"1. 开始爬取"
- 输入起始URL,例如:
https://example.com - 根据提示设置爬取规则(可选)
- 爬取完成后选择是否保存数据及保存格式
系统管理工具使用示例
- 选择"2. 系统管理工具"
- 选择相应的功能:
- "1. 批量删除文本文件":删除指定目录下的所有文本文件
- "2. 删除指定文件":删除用户指定的文件
- "3. 关闭系统":关闭计算机
- "4. 重启系统":重启计算机
注意事项
- 网络爬虫工具遵循robots.txt规则,请勿用于非法爬取
- 系统管理工具的关机和重启功能需要管理员权限
- 批量删除文件时请谨慎操作,建议先备份重要数据
代码结构
main.py:主程序,提供用户界面spider.py:网络爬虫模块system_tools.py:系统管理工具模块test.py:测试文件README.md:使用说明
贡献
欢迎提交问题和改进建议。