1.1. 前言

GitHub提供六小时的容器使用时长

可以利用其进行对外的端口扫描、目录扫描等操作。

1.2. 过程举例

https://github.com/inbug-team/InCloud

运行于GitHub Actions 的仓库中自动化、自定义和执行软件开发工作流程,可以自己根据喜好定制功能,InCloud已经为您定制好了八种针对网段和域名的不同场景的信息收集与漏洞扫描流程。

  • PortScan-AllPort 对单IP文件列表进行全端口扫描,输出可用Web服务标题。
  • PortScan-AllPort-Xray-Dirscan 对单IP文件列表进行全端口扫描,输出可用Web服务标题,对Web服务进行Xray爬虫爬取与漏洞扫描,对Web服务进行Ffuf目录递归扫描。。
  • PortScan-Top1000 对单C段IP列表进行Top1000端口扫描,输出可用Web服务标题。
  • PortScan-Top1000-Xray 对单C段IP列表进行Top1000端口扫描,输出可用Web服务标题,对Web服务进行Xray爬虫爬取与漏洞扫描。
  • PortScan-Top1000-Dirscan 对单C段IP列表进行Top1000端口扫描,输出可用Web服务标题,,对Web服务进行Ffuf目录递归扫描。
  • SubDomain-Portscan-Vulnscan 对域名进行子域名枚举与接口查询,对查询的子域名进行Top1000端口扫描,输出可用Web服务标题,对Web服务进行Nuclei漏洞扫描。
  • SubDomain-Portscan-Xray 对域名进行子域名枚举与接口查询,对查询的子域名进行Top1000端口扫描,输出可用Web服务标题,对Web服务进行Xray爬虫爬取与漏洞扫描。
  • SubDomain-Portscan-Dirscan 对域名进行子域名枚举与接口查询,对查询的子域名进行Top1000端口扫描,输出可用Web服务标题,,对Web服务进行Ffuf目录递归扫描。

这里以端口扫描为例

1、将项目fork到自己的github,选择端口扫描的分支。

image-20210722092829736

2、修改流程文件(.github/workflows/incloud.yaml)里的 git config --local user.email 与 git config --global user.name 改成自己的邮箱与自己的ID(用于报告输出,可忽略)。

3、修改input目录的扫描目标

image-20210722092956530

4、使用action标签进行在线编译。

image-20210722093129471

5、查看运行的任务

image-20210722093218463

6、点击build可查看对应的运行过程

image-20210722093345527

7、GitHub提供六小时的容器使用时长,扫描结束后,扫描结果会自动上传到自己fork的output文件夹下。

image-20210722093713260

image-20210722093728168

image-20210722093742626

8、需要更新最新版本,请删除fork的项目再重新fork此项目。

1.3. 分析

GitHub Actions 入门教程

GitHub官方文档

GitHub官方市场

1.3.1. GitHub Actions 是什么?

大家知道,持续集成由很多操作组成,比如抓取代码、运行测试、登录远程服务器,发布到第三方服务等等。GitHub 把这些操作就称为 actions。

很多操作在不同项目里面是类似的,完全可以共享。GitHub 注意到了这一点,想出了一个很妙的点子,允许开发者把每个操作写成独立的脚本文件,存放到代码仓库,使得其他开发者可以引用。

如果你需要某个 action,不必自己写复杂的脚本,直接引用他人写好的 action 即可,整个持续集成过程,就变成了一个 actions 的组合。这就是 GitHub Actions 最特别的地方。

GitHub 做了一个官方市场,可以搜索到他人提交的 actions。另外,还有一个 awesome actions 的仓库,也可以找到不少 action。

img

上面说了,每个 action 就是一个独立脚本,因此可以做成代码仓库,使用userName/repoName的语法引用 action。比如,actions/setup-node就表示github.com/actions/setup-node这个仓库它代表一个 action,作用是安装 Node.js。事实上,GitHub 官方的 actions 都放在 github.com/actions 里面。

既然 actions 是代码仓库,当然就有版本的概念,用户可以引用某个具体版本的 action。下面都是合法的 action 引用,用的就是 Git 的指针概念,详见官方文档

actions/[email protected] # 指向一个 commit
actions/[email protected]    # 指向一个标签
actions/[email protected]  # 指向一个分支

1.3.2. 基本概念

GitHub Actions 有一些自己的术语。

(1)workflow (工作流程):持续集成一次运行的过程,就是一个 workflow。

(2)job (任务):一个 workflow 由一个或多个 jobs 构成,含义是一次持续集成的运行,可以完成多个任务。

(3)step(步骤):每个 job 由多个 step 构成,一步步完成。

(4)action (动作):每个 step 可以依次执行一个或多个命令(action)。

1.3.3. workflow 文件

GitHub Actions 的配置文件叫做 workflow 文件,存放在代码仓库的.github/workflows目录。

workflow 文件采用 YAML 格式,文件名可以任意取,但是后缀名统一为.yml,比如foo.yml

一个库可以有多个 workflow 文件。GitHub 只要发现.github/workflows目录里面有.yml文件,就会自动运行该文件。

workflow 文件的配置字段非常多,详见官方文档。下面是一些基本字段。

name

name字段是 workflow 的名称。如果省略该字段,默认为当前 workflow 的文件名。

name: GitHub Actions Demo

on

on字段指定触发 workflow 的条件,通常是某些事件。

on: push

上面代码指定,push事件触发 workflow。

on字段也可以是事件的数组。

on: [push, pull_request]

上面代码指定,push事件或pull_request事件都可以触发 workflow。

完整的事件列表,请查看官方文档。除了代码库事件,GitHub Actions 也支持外部事件触发,或者定时运行。

on.<push|pull_request>.<tags|branches>

指定触发事件时,可以限定分支或标签。

on:
  push:
    branches:    
      - master

上面代码指定,只有master分支发生push事件时,才会触发 workflow。

jobs.<job_id>.name

workflow 文件的主体是jobs字段,表示要执行的一项或多项任务。

jobs字段里面,需要写出每一项任务的job_id,具体名称自定义。job_id里面的name字段是任务的说明。

jobs:
  my_first_job:
    name: My first job
  my_second_job:
    name: My second job

上面代码的jobs字段包含两项任务,job_id分别是my_first_jobmy_second_job

jobs.<job_id>.needs

needs字段指定当前任务的依赖关系,即运行顺序。

jobs:
  job1:
  job2:
    needs: job1
  job3:
    needs: [job1, job2]

上面代码中,job1必须先于job2完成,而job3等待job1job2的完成才能运行。因此,这个 workflow 的运行顺序依次为:job1job2job3

jobs.<job_id>.runs-on

runs-on字段指定运行所需要的虚拟机环境。它是必填字段。目前可用的虚拟机如下。

  • ubuntu-latestubuntu-18.04ubuntu-16.04
  • windows-latestwindows-2019windows-2016
  • macOS-latestmacOS-10.14

下面代码指定虚拟机环境为ubuntu-18.04

runs-on: ubuntu-18.04

jobs.<job_id>.steps

steps字段指定每个 Job 的运行步骤,可以包含一个或多个步骤。每个步骤都可以指定以下三个字段。

  • jobs.<job_id>.steps.name:步骤名称。
  • jobs.<job_id>.steps.run:该步骤运行的命令或者 action。
  • jobs.<job_id>.steps.env:该步骤所需的环境变量。

下面是一个完整的 workflow 文件的范例。

name: Greeting from Mona
on: push

jobs:
  my-job:
    name: My Job
    runs-on: ubuntu-latest
    steps:
    - name: Print a greeting
      env:
        MY_VAR: Hi there! My name is
        FIRST_NAME: Mona
        MIDDLE_NAME: The
        LAST_NAME: Octocat
      run: |
        echo $MY_VAR $FIRST_NAME $MIDDLE_NAME $LAST_NAME.

上面代码中,steps字段只包括一个步骤。该步骤先注入四个环境变量,然后执行一条 Bash 命令。

1.3.4. PortScan-AllPort分析

name: incloud    # workflow名称

on:
    workflow_dispatch:    # 手动触发

jobs:    # 任务
  build:    # job id
    runs-on: ubuntu-latest    # 指定运行所需要的虚拟机环境
    steps:    # 步骤
      # Checkout a Git repository at a particular version
      - name: Checkout Repo    # 步骤名
        uses: actions/[email protected]    # 指向一个分支 https://github.com/marketplace/actions/checkout
      # 配置Go环境
      - name: Setup golang
        uses: actions/setup-[email protected]    # https://github.com/marketplace/actions/setup-go-environment
        with:
          go-version: 1.14
      # 安装依赖
      - name: Setup Dependencies
        run: sudo apt-get install libpcap-dev 



      - name: Cache Go
        id: cache-go
        uses: actions/[email protected]
        with:
          path: /home/runner/go
          key: ${{ runner.os }}-go

      - name: Setting up ProjectDiscovery tools
        if: steps.cache-go.outputs.cache-hit != 'true'
        env:
          GO111MODULE: on
        run: |
          go get -v github.com/projectdiscovery/subfinder/v2/cmd/subfinder
          go get -v github.com/projectdiscovery/dnsx/cmd/dnsx
          go get -v github.com/projectdiscovery/naabu/v2/cmd/naabu
          go get -v github.com/projectdiscovery/httpx/cmd/httpx
          go get -v github.com/projectdiscovery/nuclei/v2/cmd/nuclei
        shell: bash


      - name: Running naabu to check top all ports
        run: |
          naabu -iL input/target.txt  -rate 10000 -p - | tee output/active_ports.txt
        shell: bash


      - name: Running httpx for HTTP webservers probbing
        run: |
          httpx -l output/active_ports.txt -title
          httpx -l output/active_ports.txt | tee output/active_urls.txt
        shell: bash

      - name: Sorting the output results
        run: |
          find output -type f -exec sort {} -o {} \;
        shell: bash
      # 更新扫描结果到github仓库中
      - name: Create local changes
        run: |
          git add output/active_ports.txt
          git add output/active_urls.txt
      - name: Commit results to Github
        run: |
          git config --local user.email "[email protected]"
          git config --global user.name "inbug-team"
          git commit -m "InCloud Report" -a --allow-empty
      - name: Push changes
        uses: ad-m/github-push-[email protected]
        with:
          github_token: ${{ secrets.GITHUB_TOKEN }}
          branch: ${{ github.ref }}

1.4. 举一反三

分析发现也不是特别麻烦

只需要 配置环境 --> 安装工具 --> 下发扫描任务 --> 上传报告 即可

后续可根据自己的需求,编写特定的workflow执行相应的任务。

Copyright © d4m1ts 2022 all right reserved,powered by Gitbook该文章修订时间: 2021-10-11 15:12:31

results matching ""

    No results matching ""