Github Daily Trending
- 发布于
本期内容涵盖了本地AI代理AgenticSeek、端侧AI数字人DUIX-Mobile、免费计算机科学课程OSSU、AI量化投资平台Qlib、可视化AI应用开发平台Langflow、工作流自动化平台n8n、微信聊天机器人chatgpt-on-wechat、以太坊开发环境Hardhat、AI驱动研发自动化RD-Agent、GitHub Actions Runner镜像、AI Agent构建平台FastGPT、LLM学习资源库llm-course、零知识机器学习推理框架DeepProve和小智AI聊天机器人,以及系统管理员的实用资源合集秘密知识之书。
Fosowl / agenticSeek
AgenticSeek是一个完全本地化的自主AI代理项目,旨在提供一个无需外部API,完全私有的AI替代方案,用户可以在本地设备上执行推理、计算、浏览和编码等任务,避免云端依赖和隐私问题。
项目介绍
AgenticSeek 是一个 100% 本地化的自主 AI 代理项目,旨在提供一个完全私有、无需依赖外部 API 的 Manus AI 替代方案。项目的核心理念是将所有的推理、计算、浏览和编码任务都在用户本地设备上执行,避免云端依赖和潜在的隐私问题,用户只需要承担电力成本。
该项目的关键特性包括:
- 完全本地化与私有:所有操作,包括文件处理、对话和网页浏览,都在用户机器上完成,确保数据私密性。
- 智能网页浏览:AgenticSeek 可以自主浏览互联网,执行搜索、读取内容、提取信息甚至填写网页表单等操作。
- 自主编程助手:能够编写、调试和运行多种编程语言(如 Python, C, Go, Java 等)的代码,无需人工干预。
- 智能代理选择:根据用户输入,自动选择最适合任务的 AI 代理。
- 规划与执行复杂任务:可以将大型任务分解为多个步骤,并协调多个 AI 代理来完成,例如旅行规划或复杂项目。
- 支持语音交互:提供清晰、快速的语音合成和语音识别功能,用户可以通过语音与 AI 交互。
AgenticSeek 支持多种本地运行的 LLM 提供商,如 Ollama, LM-studio,以及兼容 OpenAI API 的本地服务器(例如 llama.cpp server)。同时也支持非本地 API 提供商,如 OpenAI、Deepseek、Huggingface、TogetherAI 和 Google Gemini,但这会牺牲本地化和隐私的优势。配置通过 config.ini
文件管理,可以设置使用本地还是远程提供商、模型名称、服务器地址、代理名称、会话管理、语音功能、工作目录和浏览器模式(无头或可见,以及隐身模式)。
项目的安装需要 Python 3.10、Docker 和 Chrome 浏览器及对应的 ChromeDriver。安装过程通常包括克隆仓库、设置环境变量、创建并激活 Python 虚拟环境,然后运行安装脚本。项目会启动必要的服务,包括 SearxNG(一个元搜索引擎,用于网页搜索)和 Redis(SearxNG 的依赖),用户可以通过 CLI 命令行界面或基于 Flask 的 Web 界面(通过运行 api.py
并访问 localhost:3000
)与 AgenticSeek 进行交互。语音识别功能目前主要在 CLI 模式下支持,需要设置触发词(默认为代理名称)和确认短语。
项目处于活跃开发阶段,尤其是在代码/Bash 的 Docker 化方面仍在进行中,因此不建议用于网络或生产环境部署。
对于本地运行大型语言模型,项目提供了硬件要求建议:推荐至少 12GB 显存的 GPU 用于 14B 模型,24GB+ 显存的 GPU 用于 32B 模型,以及 48GB+ 显存的高端硬件用于 70B+ 模型,以获得更好的性能和任务成功率。Deepseek R1 模型因其在推理和工具使用方面的表现被项目优先推荐,但也提及其他模型同样适用。
项目的目标用户是寻求本地、私有、自主 AI 代理解决方案的技术人员和开发者,尤其那些希望规避商业 API 成本和数据隐私风险的用户。项目采用 GPL-3.0 许可证。
项目统计与信息
- 作者: Fosowl
- 主要语言: Python
- Stars: 11572 ⭐
- Forks: 956 🍴
- 本周期新增 Stars: 2375 ⭐
要了解更多关于 Fosowl / agenticSeek 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
duixcom / Duix.mobile
DUIX-Mobile是一个端侧AI数字人实时交互SDK,旨在帮助Android和iOS开发者轻松集成具有实时交互能力的数字人,支持人像级AI交互、快速响应、高效部署,并可自定义数字人形象和集成第三方模型。
项目介绍
DUIX-Mobile:端侧AI数字人实时交互SDK (Android/iOS)
这是一个面向移动设备的AI数字人实时交互解决方案。该项目是DUIX.com数字人能力开放生态的移动端实现,旨在帮助开发者轻松在Android和iOS平台上集成具有实时交互能力的数字人。
核心特色和功能:
- 人像级AI交互:能够模拟人类的面部表情、语气和情感,提供更具同理心的互动体验。
- 超快响应速度:可在1.5秒内实现实时互动,确保对话流畅自然。
- 高效部署:资源占用低,可在手机、智能屏幕等移动设备和低端终端上部署迅速。
- 轻网络设计:核心处理在设备端完成,减少对网络的依赖,适用于对数据安全性要求较高的金融、政府、法律等行业场景。
- 通用适配性:模块化、高可扩展的架构,支持自定义数字人形象和场景,适应各行业需求。
- 跨平台部署:提供Android和iOS平台的一键部署能力,降低技术门槛。
- 支持模型集成:开发者可以无缝集成自己的或第三方的语言模型(LLM)、语音识别(ASR)和文本转语音(TTS)技术。
技术栈/依赖:
项目核心代码主要使用C++,并包含C、Objective-C、Fortran、CMake、Java等语言部分,以实现跨平台兼容性。支持集成第三方或自有的大型语言模型、语音识别和文本转语音服务。
安装与配置:
项目提供了针对Android和iOS平台的详细开发者文档链接,指导开发者进行SDK的集成和配置。
模型下载:
项目提供了公开测试模型供开发者下载和集成,包括不同性别和风格的数字人模型文件 (.zip格式)。建议根据需求下载对应模型并参阅配套文档进行安装和使用。
典型使用场景:
该SDK可广泛应用于网页、手机App、Android智能显示终端等多种平台。典型的演示案例包括:
- 数字律师
- 数字医生
- 虚拟陪伴
- 口语老师
- 低端终端场景(如数字财神、观音菩萨、苏轼、虚拟女友等)
项目状态与许可证:
项目根据LICENSE文件进行许可。目前提供的开源版本主要使用公开模型。定制化的数字人形象更新和API服务需通过联系项目方获取。
通过DUIX-Mobile,开发者可以快速构建个性化的AI数字代理,应用于智能客服、虚拟法律/医疗咨询、AI移动助理等多种场景,极大地丰富人机交互的方式。
项目统计与信息
- 作者: duixcom
- 主要语言: C++
- Stars: 6507 ⭐
- Forks: 951 🍴
- 本周期新增 Stars: 192 ⭐
要了解更多关于 duixcom / Duix.mobile 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
ossu / computer-science
OSSU是一个免费的计算机科学自学项目,它提供了一个类似计算机科学学士学位的完整课程体系,学习者可以通过在线课程和书籍系统地学习计算机科学的核心概念。
项目介绍
这是一个名为 "Open Source Society University" (OSSU) 的计算机科学教育项目,旨在提供一个免费的、完全自主学习的计算机科学学士学位课程路径。该项目并非仅针对职业培训,而是为那些希望系统性地学习计算机科学核心概念的人设计,并由全球的学习者社区提供支持。
项目的课程体系基于计算机科学本科学位的要求,剔除了通识教育课程,因为它假设学习者已在计算机科学领域外拥有一定程度的教育背景。课程内容精选自全球顶尖大学(如哈佛、普林斯顿、麻省理工等)提供的优秀在线课程,并遵循 CS 2013: 本科计算机科学学位课程指南的标准。当没有合适的在线课程时,会辅以高质量的书籍作为补充材料。
课程结构分为四个主要部分:
- 计算机科学入门(Intro CS): 旨在帮助学生尝试计算机科学,了解其基础知识和编程概念,以确定是否适合继续深入学习。涉及计算、命令式编程、基本数据结构和算法等。
- 核心计算机科学(Core CS): 对应于计算机科学本科学位的前三年课程,包含所有专业必需的基础课程。这部分课程是强制要求的,涵盖核心编程(函数式编程、面向对象设计、软件架构等)、核心数学(离散数学、微积分、概率等)、计算机工具(终端、版本控制等)、核心系统(计算机体系结构、操作系统、计算机网络等)、核心理论(算法与数据结构、计算理论等)、核心安全(网络安全、加密等)以及核心应用(数据库、机器学习、计算机图形学、软件工程等)和核心伦理。
- 高级计算机科学(Advanced CS): 对应于本科最后一年的选修课程。学生在完成核心 CS 后,可以根据自己的兴趣选择一个或多个领域的课程进行深入学习,例如高级编程、高级系统、高级理论、高级信息安全或高级数学。
- 最终项目(Final Project): 这是对所学知识的应用和展示,鼓励学生利用学到的知识解决实际问题,可以创建新项目或改进现有工具。项目部分还提供了一些基于项目的专业课程建议,如全栈开发、机器人、数据挖掘、大数据、物联网、云计算、数据科学等。
整个课程的学习时长预估为两年左右,每周投入约20小时。所有或大部分课程材料是免费的,但部分课程可能会对作业或测试评分收取费用,Coursera 和 edX 等平台通常提供助学金。
该项目鼓励学习者独立或组队学习,课程顺序可以灵活调整,但建议按照核心 CS 的推荐顺序进行,以便打下坚实基础。学生可以通过复制项目的 GitHub 仓库并在完成课程后标记进度来记录学习轨迹。
项目社区活跃,主要通过 Discord 和 GitHub Issues 进行交流和讨论。该项目遵守行为准则。
总而言之,OSSU 计算机科学项目为希望通过免费在线资源系统性地获得计算机科学教育的人提供了一条清晰、结构化的学习路径,其目标是达到与传统计算机科学本科学位相当的水平。
项目统计与信息
- 作者: ossu
- 主要语言: HTML
- Stars: 184049 ⭐
- Forks: 23108 🍴
- 本周期新增 Stars: 1518 ⭐
要了解更多关于 ossu / computer-science 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
microsoft / qlib
Qlib是一个面向人工智能的量化投资平台,集成了数据处理、模型训练和回测等功能,支持多种机器学习范式,旨在帮助研究人员和机构利用AI技术提升量化投资效率,并提供丰富的量化模型库和应对市场动态的解决方案。
项目介绍
Qlib 是一个面向人工智能的量化投资平台,旨在利用AI技术在量化投资领域(从思想探索到产品实施)发挥潜力、赋能研究并创造价值。它支持多种机器学习建模范式,包括监督学习、市场动态建模和强化学习。
项目涵盖了完整机器学习流程,包括数据处理、模型训练、回测;并覆盖了量化投资的整个链条:阿尔法寻找、风险建模、投资组合优化和订单执行。
主要功能和特性:
- 全面的量化研究工作流程: Qlib提供了一个名为
qrun
的工具,可以自动化整个工作流程,包括数据集构建、模型训练、回测和评估,并提供图形化报告分析。 - 灵活的定制化能力: 除了自动化的工作流程,Qlib还提供了模块化的接口,允许研究人员通过代码构建自己的定制化量化研究流程。
- 多样化的机器学习范式支持: 平台支持监督学习(如用于挖掘复杂非线性模式)、市场动态建模(利用自适应概念漂移技术应对非平稳市场)和强化学习(用于建模连续投资决策并优化交易策略)。
- 丰富的量化模型库: 包含多种基于不同技术(如树模型GBDT、神经网络MLP/LSTM/GRU、注意力机制Transformer/Localformer等)的预测模型,并持续更新。
- 市场动态适应性: 提供解决方案来应对金融市场的非平稳性,例如滚动再训练和基于域适应的方法。
- 强化学习框架: 支持使用强化学习进行连续决策建模,尤其在订单执行场景下提供了多种算法实现。
- 量化数据集支持: 提供了Alpha360和Alpha158等数据集,并提供了构建自定义数据集的工具。数据存储和处理经过优化,性能优于通用数据库方案。
- 离线与在线模式: 数据服务支持本地部署的离线模式和通过共享数据服务部署的在线模式,后者可以提高数据检索性能并节省磁盘空间。
技术栈:
- 主要使用Python语言。
- 集成了多种机器学习框架和模型,如LightGBM, XGBoost, CatBoost, PyTorch, TensorFlow等。
- 数据后端经过优化设计,用于高效的金融数据存储和处理。
安装与配置概述:
- 推荐使用 Conda 管理 Python 环境 (支持 Python 3.8 - 3.12)。
- 可以通过
pip install pyqlib
直接安装稳定版本。 - 也可以通过克隆 GitHub 仓库后使用
pip install .
从源码安装最新开发版本。 - 需要另外下载和准备金融数据,项目提供了从公共来源(如Yahoo Finance)抓取数据的脚本,并支持数据的手动和自动化更新。
基本使用方法概述:
- 通过
qrun
命令执行 YAML 格式的配置文件,自动化运行预设的量化研究流程。 - 或者使用 Python 代码调用 Qlib 提供的模块化接口,自定义构建数据处理、模型训练、回测等步骤。
适用场景和目标用户:
- 面向量化投资领域的研究人员、开发者和机构。
- 适用于进行股票价格预测、构建交易策略、进行投资组合优化和订单执行等任务。
- 特别适合希望利用AI技术提升量化投资效率和表现的用户。
项目状态与许可证:
- 项目处于积极持续开发中。
- 采用MIT许可证开源。
独特的优势:
- 由微软开发并维护,具有良好的工程质量和持续更新潜力。
- 将AI技术与量化投资流程紧密结合,提供完整的端到端解决方案。
- 提供了丰富的SOTA模型和针对金融市场特点(如市场动态、高频交易)的解决方案。
- 数据存储和处理性能经过专门优化。
- 新近推出了基于大型语言模型的 RD-Agent,支持量化研发中的自动因子挖掘和模型优化。
项目统计与信息
- 作者: microsoft
- 主要语言: Python
- Stars: 22923 ⭐
- Forks: 3558 🍴
- 本周期新增 Stars: 350 ⭐
要了解更多关于 microsoft / qlib 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
langflow-ai / langflow
Langflow是一个可视化AI应用开发平台,集成了LLM、向量数据库等工具,可快速构建、测试和部署智能体及工作流程为API。
项目介绍
Langflow 是一个强大的工具,用于构建和部署基于人工智能的智能体 (agents) 和工作流程。它提供了一个可视化构建界面,同时内置了一个 API 服务器,可以将构建的每个智能体转化为一个可集成为任何应用框架或技术栈的 API 端点。Langflow 集成了所需的核心功能,支持所有主流的大型语言模型 (LLMs)、向量数据库以及不断增长的 AI 工具库。
核心功能亮点:
- 可视化构建器:提供直观的界面,帮助用户快速上手并迭代开发。
- 代码访问:允许开发者使用 Python 代码精细调整任何组件的行为。
- 集成式 Playground:提供即时测试环境,可以逐步控制和调试工作流程。
- 多智能体编排:支持复杂的多智能体协调、对话管理和信息检索。
- API 部署:可以将构建的流程部署为 API 端点,或导出为 JSON 格式供 Python 应用使用。
- 可观测性:支持与 LangSmith、LangFuse 等工具集成,提供工作流程的可视化和监控能力。
- 企业级特性:具备企业所需的安全性与可扩展性。
快速入门指南:
Langflow 支持 Python 3.10 至 3.13 版本。推荐使用 uv
或 pip
进行安装。
- 使用 uv 安装 (推荐):
uv pip install langflow
- 使用 pip 安装:
pip install langflow
部署方式:
除了完全开源且支持在主要云平台进行容器化(如 Docker)的自托管部署外,DataStax 也提供了 fully-managed 的 Langflow 环境,为开发者提供零配置的便捷体验。
许可证:
Langflow 项目遵循 MIT 许可证。
Langflow 定位为一个用于创建和部署 AI 应用的可视化平台,特别适合需要快速原型开发、迭代和集成复杂 AI 工作流程的开发者。它解决了将分散的 AI 能力(如 LLMs、向量存储、工具)串联起来形成功能完整的智能体或应用的挑战。
项目统计与信息
- 作者: langflow-ai
- 主要语言: Python
- Stars: 65323 ⭐
- Forks: 6613 🍴
- 本周期新增 Stars: 617 ⭐
要了解更多关于 langflow-ai / langflow 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
n8n-io / n8n
n8n是一个面向技术团队的工作流自动化平台,它结合了可视化流程构建和代码编写的灵活性,并内置AI能力,支持自托管和云部署,旨在帮助技术人员高效构建复杂的自动化流程。
项目介绍
n8n 是一个面向技术团队的工作流自动化平台,它将可视化构建的便捷性与编写自定义代码的灵活性相结合,并具备原生的 AI 能力。该项目遵循 Fair-code 许可证,支持自托管和云端部署,并提供了超过 400 种集成。
项目核心定位是为技术人员提供一个强大的自动化工具,让他们可以在保证数据和部署完全可控的前提下,快速构建复杂的自动化流程。
主要功能和特性包括:
- 代码与可视化结合:用户可以通过可视化界面进行流程构建,同时也能在需要时编写 JavaScript 或 Python 代码,或引入 npm 包,以实现更复杂的逻辑。
- 原生 AI 能力:平台内置 AI 功能,支持基于 LangChain 构建 AI 代理工作流,并允许用户使用自己的数据和模型。
- 部署灵活:用户可以选择自行托管 n8n 实例,以完全掌控数据,也可以使用官方提供的云服务。
- 企业级支持:为企业用户提供了高级权限管理、单点登录(SSO)和离线部署等功能。
- 丰富的集成与社区支持:拥有超过 400 个第三方服务的集成,并提供了 900 多个可直接使用的自动化模板。社区活跃,用户可以在论坛上获取支持和分享经验。
技术栈/依赖:
项目主要使用 TypeScript 进行开发。支持集成各种AI模型提供商(如LangChain),并能通过节点连接多种第三方服务 API。安装方面,支持使用 npx(需要 Node.js 环境)进行快速试用,也提供了 Docker 部署方式。
安装与配置指南概述:
快速上手可通过 npx 命令 npx n8n
。 推荐使用 Docker 进行部署,基本步骤包括创建数据卷和运行 Docker 容器,命令示例为 docker volume create n8n_data
和 docker run -it --rm --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n
。
基本使用方法概述:
安装并运行 n8n 后,可以通过访问 http://localhost:5678
端口进入可视化编辑器界面,在此设计和执行自动化工作流程。
适用场景/目标用户:
主要面向需要进行流程自动化的技术团队和开发者。适用于各种需要连接不同应用、处理数据、触发任务的自动化场景,例如数据同步、报告生成、通知发送、AI工作流构建等。
项目状态与许可证:
项目积极维护中,有活跃的社区和贡献者。n8n 遵循 fair-code 原则,在 Sustainable Use License 和 n8n Enterprise License 下分发。源代码持续公开,支持自托管和功能扩展。企业用户可联系获取额外的特性和支持。
项目的独特优势在于其结合了低代码/无代码的可视化构建与代码扩展能力,以及对原生 AI 工作流的支持,同时提供了灵活的自托管选项以确保数据主权。项目名称 "n8n" 是 "nodemation" 的缩写,意指通过基于 NodeJS 的可视化节点流程实现自动化。
项目统计与信息
- 作者: n8n-io
- 主要语言: TypeScript
- Stars: 100345 ⭐
- Forks: 27876 🍴
- 本周期新增 Stars: 841 ⭐
要了解更多关于 n8n-io / n8n 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
zhayujie / chatgpt-on-wechat
chatgpt-on-wechat (CoW) 是一个基于大模型的智能聊天机器人项目,支持接入微信、企业微信、飞书、钉钉等平台,提供包括多模型选择、多模态处理、插件扩展和知识库定制等丰富功能,旨在为用户提供便捷、多样化的智能交互体验。
项目介绍
chatgpt-on-wechat
(简称 CoW) 项目是一个基于大模型构建的智能聊天机器人,旨在集成多种通信平台和强大的AI能力。它可以接入微信公众号、企业微信应用、飞书、钉钉等主流社交和办公平台,提供智能对话服务。
该项目核心目标是利用大型语言模型的强大能力,结合多平台接入和丰富的功能扩展,为用户提供便捷、多样化的智能交互体验。它面向希望在其社交或办公渠道集成AI助手的个人用户、企业以及开发者。
主要功能和特性包括:
- 多平台支持: 允许机器人接入微信公众号、企业微信应用、飞书、钉钉及其他渠道,实现一次开发,多端部署。
- 基础对话功能: 支持私聊和群聊中的智能回复,具备多轮会话上下文记忆能力。
- 丰富的模型选择: 支持接入包括 OpenAI (GPT4.1, GPT-4o, GPT-o1), Claude, Gemini, 文心一言, 讯飞星火, 通义千问, ChatGLM-4, Kimi, DeepSeek, MiniMax, GiteeAI, ModelScope 等在内的多种国内外大模型。
- 多模态能力: 能够处理文本、语音和图片信息。支持语音识别(通过 Azure, Baidu, Google, OpenAI Whisper等模型)和语音合成(文本转语音),支持图片生成(如 Dall-E-3, Stable Diffusion, Midjourney等模型)、图片识别和图生图。
- 插件系统与外部资源访问: 提供灵活的插件扩展机制。已有的插件实现了如多角色切换、文字冒险、敏感词过滤、聊天记录及文档总结与对话、联网搜索、AgentMesh多智能体等高级功能,并支持访问操作系统和互联网等外部资源。
- 知识库定制: 通过集成 LinkAI 平台,项目支持基于自有知识库定制专属的智能客服或其他AI应用,实现个性化和专业化的回复。
技术栈与依赖主要基于 Python 语言,并依赖于上述各种大模型提供商的API以及语音、图像处理相关的库。项目的运行环境支持 Linux, MacOS, Windows 系统,推荐 Python 3.7.1 到 3.9.x 版本。安装依赖项主要通过 pip
工具,并区分核心依赖和可选的拓展依赖。
项目的安装与配置相对灵活。可以通过直接克隆代码、安装 Python 依赖,修改 config.json
配置文件后在本地或服务器上运行。此外,项目提供了 Docker 部署方式以及 Railway 一键部署选项,简化了环境配置和启动流程。核心配置集中在 config.json
文件中,用户需要配置 API 密钥、选择模型、设置触发词、白名单群组、开启语音图像等功能。
基本使用方法根据接入渠道不同而异。例如,在微信中,用户可以通过配置的特定前缀或 @机器人来触发对话;发送图片前缀加描述可以触发图片生成等。项目提供了 #reset
等特殊指令用于清空对话上下文。
项目遵循 MIT 开源协议,仅用于技术研究和学习。开发者鼓励用户遵守当地法律法规,境内使用时建议优先考虑国内模型并进行内容安全审核。
典型适用场景广泛,包括:个人创建个性化聊天机器人、企业搭建智能客服或内部效率助手、开发者基于此平台进行AI应用的二次开发等。目标用户涵盖对大模型技术感兴趣的个人用户、需要将AI能力集成到现有协作平台的团队和企业、以及希望开发AI应用的开发者。
项目维护状态积极,有详细的更新日志记录新功能和改进,社区活跃,提供技术交流群和FAQs文档以帮助用户解决问题。LinkAI平台提供了专业的企业服务和技术支持选项。
项目统计与信息
- 作者: zhayujie
- 主要语言: Python
- Stars: 37065 ⭐
- Forks: 9237 🍴
- 本周期新增 Stars: 70 ⭐
要了解更多关于 zhayujie / chatgpt-on-wechat 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
NomicFoundation / hardhat
Hardhat是以太坊开发环境,简化智能合约开发流程,提供本地测试网络、插件系统和调试功能。开发者可通过命令行执行编译、部署和测试等任务,利用其插件系统和本地网络提升开发效率与安全性。
项目介绍
Hardhat 是一个专为以太坊开发者设计的专业开发环境,旨在简化和加速智能合约的开发流程。它提供了一个集成化的平台,用于编译、部署、测试和调试你的以太坊软件,特别是 Solidity 编写的智能合约。Hardhat 帮助开发者高效地执行频繁的开发任务,并自动化检查代码中的错误。
项目核心功能和特性包括:
- 提供一个本地的 Hardhat Network 环境,用于快速迭代开发和测试,无需连接到公共测试网。
- 支持插件系统,可以轻松集成现有工具和库,扩展 Hardhat 的功能,适应不同的开发需求。
- 具备强大的调试能力,帮助开发者查找和修复智能合约中的问题。
- 支持自动化代码检查,提高代码质量。
技术栈和依赖方面,Hardhat 主要使用 TypeScript 和 JavaScript 进行开发,并且专注于以太坊生态系统,核心概念围绕 Solidity 智能合约和去中心化应用(DApps)。它不依赖如 Gemini, OpenAI, Azure OpenAI, Ollama, Grok 等 AI 模型提供商。
安装和配置流程简述:
- 在一个空文件夹中初始化 Node.js 项目 (
npm init
)。 - 使用 npm 安装 Hardhat 作为开发依赖 (
npm install --save-dev hardhat
)。 - 运行
npx hardhat init
命令并按照提示进行初始化配置。
基本使用方法概述:用户主要通过命令行界面 (npx hardhat <task>
) 与 Hardhat 交互,执行编译、部署、运行测试等各种任务。 Hardhat 的任务系统是其核心,允许用户定义和执行自定义脚本。
Hardhat 的典型适用场景是进行以太坊智能合约和 DApps 的开发、测试和部署。它的目标用户群体是构建在以太坊区块链上的智能合约开发者和区块链工程师。
项目采用的许可证是明确的(LICENSE 文件中定义),项目状态是一个活跃维护的开源项目。
Hardhat 的一个独特优势在于其灵活的插件系统和内置的本地开发网络 (Hardhat Network),这使得开发者可以在一个受控且高效的环境中进行快速开发和严格测试,大大提升了开发效率和合约的安全性。
项目统计与信息
- 作者: NomicFoundation
- 主要语言: TypeScript
- Stars: 7766 ⭐
- Forks: 1560 🍴
- 本周期新增 Stars: 7 ⭐
要了解更多关于 NomicFoundation / hardhat 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
microsoft / RD-Agent
RD-Agent是由微软开源的AI Agent,旨在自动化数据驱动的研发过程,通过AI驱动数据科学研究,包括数据构建、模型实现、新思想提出等,适用于金融、医疗、通用研究等多种场景,提升研发效率。
项目介绍
RD-Agent 是一个由 Microsoft 开发并开源的项目,旨在自动化数据驱动的研发(R&D)过程,特别是在人工智能时代,研发的核心围绕数据和模型展开。项目致力于通过 AI 驱动数据驱动的 AI,自动化高价值的通用研发环节,从而提升工业生产力。
其核心定位是一个 AI Agent,专注于自动进行数据科学领域的研究与开发,尤其是在模型实现和数据构建方面。
主要功能和特性包括:
- 自动化数据驱动研发工作流程: 提供一个框架,能够像人类专家一样持续提出假设、验证、并从反馈中学习,实现科学研究自动化。
- 材料阅读与信息提取: 能阅读现实世界的材料(如报告、论文等),并从中提取感兴趣的特征、模型、关键公式和描述。
- 自动化代码实现: 将提取出的公式(如特征、因子、模型)转化为可执行的代码。项目内置了一个迭代演进过程,通过学习反馈和知识来提高实现性能。
- 新思想的提出: 基于现有的知识和观察,能够主动提出新的想法。
- 支持多种场景: 已应用于金融(自动量化交易中的因子和模型演进、基于财报提取因子)、医疗(自动医学预测模型演进)和通用领域(自动阅读论文/报告并实现模型、自动 Kaggle 模型调优及特征工程)。
- Agent 和 Copilot 两种角色: 支持 Copilot 模式(遵循人类指令自动化重复任务)和 Agent 模式(更自主,主动提出改进想法)。
- 集成了业界基准和评估: 在 MLE-bench (一个评估 AI Agent 在机器学习工程任务上性能的综合基准)上取得了领先的结果,证明了其在实际 ML 工程场景中的能力。
技术栈/依赖:
- 主要使用 Python 语言开发。
- 需要 Docker 环境来运行大部分场景。
- 支持多种大型语言模型(LLM)提供商作为后端,如 OpenAI API、Azure OpenAI。
- 支持 LiteLLM 后端框架,方便集成多种 LLM 服务。
- 对 LLM 能力有特定要求,包括 ChatCompletion、json_mode 和 embedding query。
- 在金融场景中,集成了 Qlib 开源量化投资平台。
- 在医学场景中,利用 PhysioNet 和 FIDDLE 数据集。
- 在 Kaggle 场景中,需配置 Kaggle API 并可能需要 chromedriver 下载竞赛数据。
安装与配置概述:
- 建议使用 Conda 创建 Python 环境(推荐 3.10 或 3.11 版本)。
- 可以通过 pip 命令直接从 PyPI 安装
rdagent
包。 - 提供健康检查命令
rdagent health_check
来验证 Docker 环境和 UI 端口是否可用。 - 核心配置通过
.env
文件完成,需要配置 LLM API Keys、端点、模型名称等,支持 OpenAI API、Azure OpenAI 或 LiteLLM 后端。
基本使用方法概述:
- 项目提供了多种特定场景的命令行入口,例如
rdagent fin_factor
、rdagent finance_model
、rdagent med_model
、rdagent fin_factor_report
、rdagent general_model <论文 URL>
、rdagent kaggle --competition <竞赛名称>
等,用于启动不同应用的自动化流程。 - 提供了
rdagent ui --port <端口> --log_dir <日志文件夹>
命令来启动一个 Web UI,用于监控应用的运行日志和结果。
项目状态与许可证:
- 项目处于积极开发维护中,不断添加新的功能和场景。
- 项目采用 MIT 许可证开源。
适用场景/目标用户:
- R&D-Agent 主要面向需要自动化数据科学研发流程的开发者、数据科学家和研究人员。
- 尤其适用于金融量化分析、医学数据建模、通用研究论文分析、 Kaggle 竞赛等需要迭代优化模型和特征的场景。
- 目标是提高数据驱动 AI 解决方案的构建效率和效果。
该项目通过结合 LLM 的能力与数据科学的实践,提供了一个强大的自动化工具,有望在多个行业领域提升研发效率和产出质量。
项目统计与信息
- 作者: microsoft
- 主要语言: Python
- Stars: 5149 ⭐
- Forks: 460 🍴
- 本周期新增 Stars: 236 ⭐
要了解更多关于 microsoft / RD-Agent 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
actions / runner-images
GitHub Actions Runner Images项目提供预装多种开发工具的虚拟机镜像,用于标准化CI/CD环境;这些镜像定期更新,并提供Ubuntu、macOS和Windows Server等操作系统支持。
项目介绍
本项目 GitHub Actions runner images 提供了用于 GitHub-hosted runners 和 Azure Pipelines 的 Microsoft-hosted agents 的虚拟机镜像的源代码。这些镜像预装了多种开发工具和环境,旨在为CI/CD工作流程提供标准化的执行环境。通过使用这些镜像,开发者可以在预配置的环境中运行构建、测试和部署等自动化任务,无需手动安装依赖。
项目主要提供以下几类操作系统镜像:
- Ubuntu: 提供 Ubuntu 24.04 (
ubuntu-latest
,ubuntu-24.04
) 和 Ubuntu 22.04 (ubuntu-22.04
) 镜像。 - macOS: 提供 macOS 15 (
macos-15-large
), macOS 15 Arm64 (macos-15
,macos-15-xlarge
), macOS 14 (macos-latest-large
,macos-14-large
), macOS 14 Arm64 (macos-latest
,macos-14
,macos-latest-xlarge
,macos-14-xlarge
), macOS 13 (macos-13
,macos-13-large
), 和 macOS 13 Arm64 (macos-13-xlarge
) 镜像。 - Windows Server: 提供 Windows Server 2025 (
windows-2025
), Windows Server 2022 (windows-latest
,windows-2022
), 和 Windows Server 2019 (windows-2019
) 镜像。
这些镜像包含了丰富的预装软件和工具,具体清单可在每个镜像对应的 Readme 文件中找到。项目采用的主要技术包括用于 Windows 镜像的 PowerShell 脚本,用于 Linux/macOS 镜像的 Shell 脚本,以及少量 HCL 配置。预装软件的安装策略遵循一定的规则,例如对Docker、Java、Node.js、Go、Python、Ruby、.NET Core、GCC、Clang、Android NDK、Xcode等常用工具,会保留最新的几个版本或LTS版本。安装过程中使用了apt (Ubuntu)、Chocolatey (Windows) 和 Homebrew (macOS) 等包管理器,并使用了pipx安装部分Python工具。
项目的镜像发布遵循周更节奏,每次更新都会发布预发布版本,完成后转为正式 release。主要的更新和变更会在 GitHub Changelog 和官方 Twitter 上提前公布。
关于镜像和软件的支持策略:
- 已弃用或生命周期结束的工具版本通常会在6个月后从镜像中移除。
- 通常只支持最多2个通用可用(GA)镜像版本和1个Beta镜像版本。当新的GA版本发布时,最旧的GA镜像版本将启动弃用流程。
-latest
标签会逐步迁移到新的GA操作系统版本,迁移过程持续1-2个月。用户可指定具体的OS版本以避免自动迁移。- 当新的默认软件版本发布时,通常会提前两周通知。危险更新可能会延长通知时间至一个月。
该项目也欢迎社区通过创建 Issue 报告 Bug、请求新增或更新工具版本。对镜像配置或预装软件的讨论可以在项目的 Discussions 中进行。通用问题建议在 GitHub Actions Community Forum 寻求帮助。
想构建自定义镜像的用户被强烈建议使用 main
分支的代码。仓库中的其他分支和标签是历史版本快照,不保证构建成功。
项目采用 MIT 许可证开源,并设有行为准则和安全策略文档。
项目统计与信息
- 作者: actions
- 主要语言: PowerShell
- Stars: 11154 ⭐
- Forks: 3332 🍴
- 本周期新增 Stars: 35 ⭐
要了解更多关于 actions / runner-images 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
labring / FastGPT
FastGPT是一个知识库驱动的AI Agent构建平台,旨在帮助用户轻松创建和部署智能问答系统,它提供丰富的功能,包括知识库管理、可视化工作流编排和多模型支持。
项目介绍
FastGPT 是一个知识库驱动的 AI Agent 构建平台,致力于帮助用户轻松创建和部署复杂的问答系统,无需繁琐的设置。该平台基于大型语言模型 (LLMs),提供了开箱即用的核心能力,包括数据处理、RAG (检索增强生成) 检索以及可视化的 AI 工作流编排。
主要功能和特性包括:
- 应用编排能力: 提供对话工作流、插件工作流、工具调用、Code sandbox、循环调用、用户选择、表单输入等功能,支持构建复杂的交互流程。
- 知识库能力: 支持多知识库的复用和混合使用;具备 chunk 记录的修改和删除功能;支持手动输入、直接分段、QA 拆分导入;兼容多种文件格式 (txt, md, html, pdf, docx, pptx, csv, xlsx),并支持 URL 读取和 CSV 批量导入;实现混合检索与重排;支持 API 知识库、自定义文件读取服务和自定义分块服务。
- 应用调试能力: 提供知识库单点搜索测试,对话时可反馈、修改和删除引用,展示完整的上下文和模块中间值,以及高级编排的 Debug 模式。
- OpenAPI 接口: 提供 completions 接口 (与 GPT 接口对齐)、知识库 CRUD 和对话 CRUD 接口,方便与其他系统集成。
- 运营能力: 支持免登录分享窗口、Iframe 一键嵌入,聊天窗口嵌入支持自定义设置,提供统一查阅对话记录及数据标注功能。
- 其他特性: 可视化的模型配置界面,支持语音输入和输出,模糊输入提示,以及模板市场。
技术栈方面,FastGPT 使用 NextJs + TS + ChakraUI 作为前端和框架,后端及数据存储采用 MongoDB 和 PostgreSQL (结合 PG Vector 插件) 或 Milvus。
项目提供了详细的开发和部署指南,包括基于 Sealos 的快速部署方式,以及本地开发环境的搭建教程、系统配置文件说明、多模型配置方案(支持 One API)、版本更新升级指南、OpenAPI 文档和知识库结构详解。
通过 tryfastgpt.ai 提供国际版在线使用服务,方便用户快速体验平台能力。项目遵循 FastGPT 开源协议,允许作为后台服务商业使用,但不可提供 SaaS 服务,并要求保留相关版权信息。对于商业授权及更多信息,提供了相应的联系方式和文档链接。
该项目适合需要基于自有数据或外部资源构建智能问答系统、对话机器人或复杂 AI 应用的开发者和企业。通过其丰富的知识库管理、可视化工作流和多模型支持,用户可以高效地实现个性化的 AI Agent。
项目社区活跃,提供了飞书话题群进行交流,并且在 Bilibili 上有详细的教学视频资源,包括 FastGPT 保姆级教程以及接入飞书、企微的指南。该项目也与其他一些开源项目和第三方服务构建了生态联系,例如 Laf、Sealos、One API、PPIO 派欧云、AI Proxy 和 SiliconCloud 等,进一步拓展了其应用场景和能力。项目欢迎社区成员通过 Issues 参与贡献,共同推动项目发展。
项目统计与信息
- 作者: labring
- 主要语言: TypeScript
- Stars: 24377 ⭐
- Forks: 6293 🍴
- 本周期新增 Stars: 27 ⭐
要了解更多关于 labring / FastGPT 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
mlabonne / llm-course
mlabonne的llm-course项目是一个全面的LLM学习资源库,包含LLM基础知识、科学家和工程师篇,提供学习路线图和Google Colab Notebooks,帮助用户从理论到实践掌握LLM技术和应用。
项目介绍
该 GitHub 项目“llm-course”由 mlabonne 创建,是一个旨在帮助用户入门大型语言模型(LLMs)的全面资源库。它提供了学习路线图和一系列的 Google Colab Notebooks,方便用户进行实践操作。项目内容被组织成三个主要部分:LLM基础、LLM科学家和LLM工程师。
项目核心定位是一个学习LLMs的指南和实践平台,通过提供结构化的学习路径和交互式的编程环境,降低学习门槛,帮助用户掌握LLMs的关键技术和应用。
主要功能和特性涵盖了LLM领域的多个方面:
- LLM基础知识:回顾机器学习所需的基础数学(线性代数、微积分、概率统计)、Python编程及相关数据科学库(NumPy, Pandas, Matplotlib, Seaborn, Scikit-learn)、神经网络基础(结构、训练优化、过拟合)、以及自然语言处理(文本预处理、特征提取、词嵌入、RNNs)。
- LLM科学家篇:深入探讨LLM技术细节,包括Transformer架构、令牌化、注意力机制、文本生成采样策略。介绍LLM的预训练过程(数据准备、分布式训练、优化、监控)。详细描述后训练数据集的制作(结构、聊天模板、合成数据生成、数据增强、质量过滤)。重点讲解监督式微调(SFT)技术(LoRA, QLoRA, Axolotl等框架)和训练参数。阐述偏好对齐方法(DPO, GRPO, PPO, Reinforcement Learning),旨在提升模型性能、减少副作用。提供了LLM评估方法(自动化基准测试、人工评估、基于模型的评估)及分析反馈信号。深入解析量化技术(FP32, FP16, INT8, 4-bit等)及其流行的工具(GGUF, llama.cpp, GPTQ, AWQ, ExLlamaV2)。探讨LLM的新趋势,例如模型合并、多模态模型、可解释性、测试时计算扩展等。
- LLM工程师篇:聚焦LLM应用开发与部署。介绍如何运行LLM(使用API或本地部署),包括私有及开源API服务商、本地GUI工具和CLI工具。详细讲解Prompt工程技术(Zero-shot, Few-shot, Chain of Thought, ReAct)及如何结构化输出。指导如何构建向量存储作为RAG管道的第一步(文档加载、分割、嵌入模型选择、向量数据库使用)。深入讲解检索增强生成(RAG)技术(Orchestrators、Retrievers、Memory管理、RAG评估)。探讨高级RAG应用,如与结构化数据交互、 agent工具使用、后处理技术以及Program LLMs框架(DSPy)。介绍LLM Agent的概念、框架(LangGraph, LlamaIndex, smolagents)及多 Agent 协作。讨论量化之外的推理优化技术(Flash Attention, Key-value cache, Speculative decoding)。提供LLM部署方案概述(本地、Demo、服务器、边缘部署框架)。最后,强调LLM安全性问题(Prompt注入、后门攻击)及防御措施(红队演练、监控)。
项目使用的技术栈广泛,涵盖了Python语言及其生态系统中的多个关键库,如用于数值计算和数据处理的NumPy和Pandas,用于机器学习的Scikit-learn,用于深度学习的PyTorch和Transformers库。此外,项目特别强调了与LLM相关的工具和框架,如Hugging Face生态系统(Transformers, TRL, Hub, Spaces)、量化工具(llama.cpp, AutoGPTQ, ExLlamaV2)、模型合并工具(mergekit)、RAG框架(LangChain, LlamaIndex, DSPy, Ragas, DeepEval)、LLM部署工具(TGI, vLLM, Ollama, LM Studio, Gradio, Streamlit)以及安全评估工具(garak)。项目还通过Google Colab notebooks提供了基于云端的实践环境。
该课程适用于对LLMs感兴趣的开发者、数据科学家、研究人员或任何希望深入了解LLMs工作原理、 fine-tuning、量化、应用开发和部署的技术人员。它通过提供路线图和可执行的notebooks,帮助用户从基础概念过渡到高级技术,并最终掌握构建和部署LLM应用的能力。
项目根据Apache-2.0许可证发布,允许广泛的使用、分发和修改。截止目前,项目状态活跃,持续更新并得到社区的关注。
项目统计与信息
- 作者: mlabonne
- 主要语言: Jupyter Notebook
- Stars: 53314 ⭐
- Forks: 5672 🍴
- 本周期新增 Stars: 255 ⭐
要了解更多关于 mlabonne / llm-course 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
Lagrange-Labs / deep-prove
DeepProve是一个领先的零知识机器学习推理框架,能快速验证机器学习模型推理的正确性,保护数据隐私和模型专有性,特别适用于医疗、金融和去中心化应用等领域。
项目介绍
DeepProve 是一个领先的零知识机器学习(zkml)推理框架,旨在以前所未有的速度验证机器学习模型的推理过程。它专注于利用零知识证明技术,在不暴露敏感数据或模型细节的情况下,确保神经网络(包括多层感知机 MLP 和卷积神经网络 CNN)计算结果的正确性。
该项目通过采用 sumchecks 和 logup GKR 等先进的密码学方法,实现了亚线性的证明时间,显著提升了验证效率。在基准测试中,DeepProve 在处理包含 264k 参数的 CNN 模型时,证明速度比 EZKL 快 158 倍;在处理包含 4 百万参数的 Dense 模型时,证明速度快 54 倍。这些数字凸显了其在性能上的显著优势。
DeepProve 的核心功能和优势包括:
- 快速的零知识证明生成:利用优化的密码学算法,显著缩短了机器学习模型推理证明的计算时间。
- 支持主流神经网络结构:兼容 MLP 和 CNN 等常见的神经网络模型。
- 保护数据隐私和模型专有性:在不泄露输入数据、模型参数或中间计算结果的情况下验证推理的正确性。
- 亚线性的证明时间:证明时间与模型规模的关系优于线性增长,使其对大型模型更具吸引力。
技术栈和依赖方面,DeepProve 主要使用 Rust 语言进行开发,并在其 zkml 子模块中包含了核心的零知识证明逻辑。该项目借鉴并重用了 scroll-tech/ceno 项目中的 sumcheck 和 GKR 实现。
DeepProve 的典型适用场景广泛,特别是在对隐私、信任和透明度有严格要求的领域:
- 医疗健康:在不公开患者隐私信息的前提下,验证基于敏感数据的模型诊断或预测结果。
- 金融服务:在不暴露专有算法的情况下,验证模型在风险评估、欺诈检测等方面的计算合规性。
- 去中心化应用 (dApps):在区块链上确保人工智能计算的完整性,为链上智能合约或其他参与者提供可信的 AI 推理结果。
项目代码库根据不同的组件应用了不同的许可证协议。zkml 文件夹下的代码遵循 Lagrange License,而其余代码则沿用了原始仓库的 Apache 2.0 和 MIT 双重许可。这使得项目既有部分组件的特定授权,也提供了广泛的开源兼容性。项目的安装和使用通常需要 Rust 环境,具体细节可以在其 zkml 子模块的 README 文档中找到。
总而言之,DeepProve 为在各种需要可验证计算和隐私保护的场景下快速高效地证明机器学习推理提供了强大的框架和工具,特别适合开发者和研究人员在零知识机器学习领域进行探索和应用。
项目统计与信息
- 作者: Lagrange-Labs
- 主要语言: Rust
- Stars: 2695 ⭐
- Forks: 43 🍴
- 本周期新增 Stars: 268 ⭐
要了解更多关于 Lagrange-Labs / deep-prove 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
78 / xiaozhi-esp32
小智AI聊天机器人是一个开源项目,旨在帮助开发者将大语言模型技术应用于硬件设备,构建自定义AI聊天伙伴,支持多种硬件平台和大型模型,并提供详细的开发文档和私有化部署方案。
项目介绍
项目名为“小智 AI 聊天机器人”(XiaoZhi AI Chatbot),是一个开源项目,旨在帮助用户了解如何将当前的大语言模型技术应用于实际的硬件设备,并构建自己的AI聊天伴侣。项目采用 MIT 许可证发布,允许免费使用和商业用途。该项目鼓励社区参与开发和改进。
项目目前已实现的功能包括:
- 支持 Wi-Fi 和 ML307 Cat.1 4G 网络连接。
- 具备按键唤醒和打断功能,支持点击和长按。
- 支持基于 ESP-SR 的离线语音唤醒。
- 实现流式语音对话,支持 WebSocket 和 UDP 协议。
- 支持 SenseVoice 识别普通话、粤语、英语、日语、韩语五种语言。
- 使用 3D Speaker 实现声纹识别,区分不同说话人。
- 支持多种大模型 TTS 服务,包括火山引擎和 CosyVoice,用于语音合成。
- 支持多种大模型 LLM backend,包括 Qwen、DeepSeek、Doubao,用于语言理解和生成。
- 允许配置提示词和音色,实现自定义角色设定。
- 具备短期记忆功能,每轮对话后进行自我总结。
- 支持 OLED 或 LCD 显示屏,显示网络状态或对话内容,部分支持 LCD 显示图片表情。
- 支持中文和英文等多种语言。
该项目支持多种芯片平台:
- ESP32-S3
- ESP32-C3
- ESP32-P4
在硬件方面,项目提供了使用面包板手工制作的教程,同时也已适配多种开源硬件开发板,包括立创·实战派 ESP32-S3、乐鑫 ESP32-S3-BOX3、M5Stack CoreS3、M5Stack Atom 系列(AtomS3R + Echo Base, AtomMatrix + Echo Base)、神奇按钮 2.4、微雪电子 ESP32-S3-Touch-AMOLED-1.8、LILYGO T-Circle-S3、虾哥 Mini C3、Movecall Moji 小智AI衍生版、璀璨·AI吊坠、无名科技Nologo-星智-1.54TFT 和 SenseCAP Watcher。
固件方面,为新手提供了免开发环境烧录官方固件的选项,该固件默认连接官方服务器 xiaozhi.me
,个人用户可免费使用部分模型。对于开发者,项目推荐使用 Cursor 或 VSCode,并安装 ESP-IDF 插件(版本 5.3 或以上)。项目遵循 Google C++ 代码风格。
项目提供了详细的开发者文档,例如开发板定制指南和物联网控制模块说明,帮助开发者进行定制和扩展。
智能体(AI角色)的配置可以通过登录 xiaozhi.me
官方控制台进行管理。
对于技术原理和私有化部署,项目公开了详细的 WebSocket 通信协议文档,并推荐使用另一个开源项目 xiaozhi-esp32-server
在个人电脑上搭建私有服务器。
项目统计与信息
- 作者: 78
- 主要语言: C++
- Stars: 13776 ⭐
- Forks: 2683 🍴
- 本周期新增 Stars: 90 ⭐
要了解更多关于 78 / xiaozhi-esp32 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。
trimstray / the-book-of-secret-knowledge
该项目“秘密知识之书”是系统管理员、运维工程师和安全人员的实用资源合集,包含命令行工具、Web工具、系统服务、网络工具、容器编排、技术手册、Shell技巧、渗透测试资源等,采用MIT许可证。
项目介绍
以下是关于 GitHub 项目 "trimstray/the-book-of-secret-knowledge" 的详细摘要:
该项目名为 “the-book-of-secret-knowledge”,意为“秘密知识之书”。它是一个精选资源的集合,汇集了作者在日常工作中使用的各种有用材料和工具。项目旨在成为系统和网络管理员、运维工程师(DevOps)、渗透测试人员以及安全研究人员的宝贵知识来源,同时也适用于任何对相关领域感兴趣的人。该项目的核心定位是提供一个集中式的、高质量的技术备忘录、手册、技巧、工具推荐和学习资源库。
主要功能和特性:
- 提供了大量的命令行工具(CLI Tools)和图形界面工具(GUI Tools)推荐,涵盖了Shell、文件管理、文本编辑、网络、安全、系统诊断与调试、日志分析、数据库等多个方面。
- 推荐了一系列Web工具,用于浏览器测试、SSL/安全检测、DNS查询与分析、邮件安全、编码解码、正则表达式测试、网络工具、隐私保护、代码解析与测试、网站性能检测以及通过搜索引擎进行信息收集。
- 整理了与系统和服务相关的资源,包括操作系统(特别是Linux和BSD发行版)、HTTP(s)服务、DNS服务以及其他一些服务,并提供了安全加固相关的工具和指南。
- 包含网络相关的工具和学习资源,如流量分析工具、IPAM工具、网络实践Lab等。
- 提供了容器和编排相关的工具、安全建议、手册和最佳实践,涵盖Docker和Kubernetes。
- 收录了各类技术手册、操作指南和学习教程,涉及Shell、文本编辑、Python、Sed & Awk、Unix/Linux系统、网络、微软技术、大规模系统设计、系统安全加固、Web应用安全等。
- 收集了大量具有启发性的列表,涵盖了运维/DevOps、开发者、安全/渗透测试等不同领域,包括各类优秀工具、资源整理。
- 推荐了大量高质量的技术博客、播客、视频以及值得关注的Twitter账号,用于获取Daily知识和新闻。
- 单独提供了“其他备忘录”章节,包含了构建自己的DNS服务器、证书颁发机构、系统/虚拟机等教程,以及DNS服务器列表、浏览器扩展、Burp扩展等实用信息,甚至包含了一些关于绕过WAF的技巧和加密知识的通俗解释。
- 详细整理了大量的Shell单行命令(One-liners),覆盖了终端操作、文件处理、进程管理、网络诊断、系统工具、Git、文本处理命令(awk, sed, grep, perl)等。
- 分享了一些Shell技巧(Shell Tricks),例如如何获得一个干净的Shell环境。
- 提供了一些实用的Shell函数(Shell Functions),例如域名解析和获取ASN的功能函数。
- 收集了丰富的渗透测试(Hacking/Penetration Testing)相关资源,包括常用的渗透测试工具、渗透测试书签集合、后门/漏洞利用资源、字典文件和弱密码列表,以及漏洞悬赏平台和各种道德黑客攻防实验平台/训练营的链接。
技术栈/依赖:
该项目本身是一个基于Markdown文档的资源聚合,并没有严格的技术栈。但它推荐和涉及的工具、资源覆盖了广泛的技术领域,例如:
- 编程语言/脚本:Bash, Python, Perl 等。 - 推荐的AI模型提供商:未明确提及AI模型提供商,项目内容更侧重于传统的系统、网络和安全技术及工具。
- 涉及的技术:TCP/IP协议、SSL/TLS、HTTP/2、HTTP/3、DNS、BGP、VPN、容器(Docker)、编排(Kubernetes)、系统安全(SELinux, AppArmor)、数据库(PostgreSQL, MySQL, SQLite, Redis)、Git等。
安装与配置指南概述:
由于该项目主要是文档集合,不涉及复杂的安装。用户只需将仓库克隆到本地即可浏览所有内容,或在线直接通过GitHub页面访问。推荐的许多工具和资源需要用户根据各自的操作系统和需求自行安装和配置。
基本使用方法概述:
用户主要通过阅读README.md
文件来获取信息。目录结构清晰,方便按类别查找所需资源。Shell单行命令可以直接复制使用或根据需要进行修改。各项工具和平台的具体使用方法需要通过链接跳转到各自的文档进行学习。
适用场景/目标用户:
- 系统和网络管理员 / 运维工程师 (SysOps/DevOps): 用于日常系统维护、网络故障排查、性能优化、安全加固、自动化脚本编写等方面查找实用工具、备忘录和学习资料。
- 渗透测试人员 / 安全研究人员: 提供丰富的安全工具、漏洞数据库、攻防技巧、靶场练习平台、安全规范和报告资源的入口。
- 开发者: 寻找提升开发效率的工具、学习Shell scripting、了解Web安全最佳实践、查阅API文档等。
- 技术爱好者: 提供一个广阔的知识视野,帮助探索计算机科学、网络、安全等领域的不同方面。
项目状态与许可证:
项目处于持续更新状态,并通过用户的Pull Request不断补充和完善内容。项目采用MIT许可证,允许用户自由复制、修改和分发,甚至可用于商业用途,但需保留原作者和许可声明。
项目统计与信息
- 作者: trimstray
- 主要语言:
- Stars: 170599 ⭐
- Forks: 10659 🍴
- 本周期新增 Stars: 185 ⭐
要了解更多关于 trimstray / the-book-of-secret-knowledge 的信息、查看完整的贡献者列表或参与项目,请访问其 GitHub 仓库。