Buenas amigos de la seguridad y de la informática en general. Soy Fare9, y hoy traigo una herramienta que empecé hace un poquito de tiempo, como trabajo para una asignatura de seguridad en sistemas distribuidos, en concreto un trabajo de OSINT.
Pueden encontrar el código en el siguiente github: https://github.com/Fare9/OSINTretasNoHayPastebines
Pensaba yo, así para mis adentros, qué podría hacer como trabajo de OSINT, así para conseguir una buena nota, lo típico era coger shodan, o buscar cosas o gente en google, maltego... Y pensé, bueno ya que puedes buscar a gente en google y entregarlo pues "De 0 a Stalker", pero no, era demasiado creepy y no tenía gracia, ya que no estaba realizando ningún programa. Y a un compañero se le ocurrió "¿y si haces una herramienta que haga búsquedas de pastebin en fuentes públicas?". Y dije, normalmente lo complicado de pastebin, es obtener una buena URL con información, por tanto, podemos buscar URLs en fuentes públicas.
Pensé en una aplicación que tuviera consola, ya que así todo parece más de hackiers y esas cosas, además así que se muestren cosas chulas y logos... En un futuro añadiré el poder usarlo por medio de argumentos.
Además dije, esto se merece algún título absurdo, así que ahí fue "OSINTretasNoHayPastebines" (el primer borrador la parte de "Tre", no llevaba 'r', pero era un trabajo de clase).
Está implementado por medio de módulos, los cuales heredan de una clase base, estos acceden a las fuentes de información y antes de añadir una URL, consultan a ver si devuelve respuesta desde pastebin. Como conseguí que pastebin me baneara, pues añadí el uso de la red tor, así las peticiones se harían a través de otras IPs, no es 100% fiable, pero ayuda bastante.
Actualmente, tengo implementado 4 módulos:
A continuación mostraré un poco su uso:
Aqui un Logo muy chulo, que va apareciendo linea a linea, para dar esa impresión de los videojuegos de toque clásico, este logo fue una genialidad de: https://github.com/syntax-samurai/ .
Pero lo que nos viene a interesar en este post, es la siguiente consola:
Tenemos una consola básica de comandos, la cual puede obtenerse más información con el comando "help":
Si tecleamos cada uno de estos comandos sin añadir nada más podremos obtener más ayuda, pero bueno son un poco "auto-explicativos" (creo que es término existe). Tenemos diferentes variables que podemos establecer, así como distintos módulos o crawlers, antes de cargar un crawler, podemos modificar las variables, y así modificar algunos comportamientos de este.
Vamos a ver un poco que variables nos podemos encontrar, para ello podemos escribir "set" y nos devolverá todas las variables disponibles:
Vemos algunas cosillas interesantes, entre estas, pues por ejemplo time_crawl, es el tiempo que durarán algunos de los plugins, por ejemplo el de twitter, se buscarán URLs de pastebin en twitter durante un tiempo igual al establecido.
use_tor nos valdrá para realizar las comprobaciones de las URLs encontradas, a través de TOR, así como las búsquedas a través de TOR, así evitamos que pastebin nos banée. Verbosity una variable ya bastante conocida, para mostrar mayor o menor información.
Vamos por ejemplo a establecer verbosity a 3, time_crawl = 15 segundos y cargar y ejecutar el crawler de twitter. Este tiempo, normalmente tomaremos el doble, ya que en el crawler se hacen esperas activas de 2 segundos, por tanto los segundos que entran por los que salen:
Aquí la configuración básica para el crawler de twitter, este crawler tira de selenium y beautifulSoup, por tanto en el readme, viene lo necesario a instalar para el crawler.
Bien, pues lo ejecutamos a ver que pasa:
Empezamos con el logging en twitter.
Empiezan entonces las búsquedas, según algunos valores fijados en el código (se pueden modificar perfectamente).
Se checkean las URLs encontradas para ver si aún siguen existiendo en pastebin.
Al finalizar el módulo, podemos hacer "show urls" para obtener las urls encontradas:
Estas URLs pueden ser guardadas y luego cargadas de nuevo, gracias a una última función que implementé que usa numpy para guardar la lista.
Estableceremos entonces unas cadenas de búsqueda:
Y finalmente para la búsqueda y que pastebin no banée a nadie, establecemos use_tor a true, y empezamos la búsqueda con search...
Como esto tarda un rato, escribiré una lista de chistes malos de Arguiñano, para aumentar el odio irracional ante este hombre mayor:
Cual es el colmo de un astronauta? Que se quede sin espacio
- Hola quería unas gafas para leer.
- Si ayer le vendí unas.
- Es que ya me las he leído.
¿Dónde estudian los niños belgas? En los coles de Bruselas
Pueden seguir viendo chistes así en esta cuenta: https://twitter.com/chistesargui?lang=es
Una vez acabada la ejecución podemos mirar con show reconocimientos, lo que ha salido de la búsqueda:
Como vemos, hemos obtenido muchas URLs de pastebin (es posible encontrar muchas más), y además hemos obtenido resultados al buscar cadenas en estos enlaces.
Esta herramienta es una herramienta que me llevó poco hacerla, y seguramente contenga muchos errores, para cualquier cosa pueden contactarme por twitter @Fare9, o por el correo electrónico que aparece en el código.
Espero guste, y que puedan hacer uso de estas pequeñas herramientas.
Gracias y hasta la próxima.
Pueden encontrar el código en el siguiente github: https://github.com/Fare9/OSINTretasNoHayPastebines
Pensaba yo, así para mis adentros, qué podría hacer como trabajo de OSINT, así para conseguir una buena nota, lo típico era coger shodan, o buscar cosas o gente en google, maltego... Y pensé, bueno ya que puedes buscar a gente en google y entregarlo pues "De 0 a Stalker", pero no, era demasiado creepy y no tenía gracia, ya que no estaba realizando ningún programa. Y a un compañero se le ocurrió "¿y si haces una herramienta que haga búsquedas de pastebin en fuentes públicas?". Y dije, normalmente lo complicado de pastebin, es obtener una buena URL con información, por tanto, podemos buscar URLs en fuentes públicas.
Pensé en una aplicación que tuviera consola, ya que así todo parece más de hackiers y esas cosas, además así que se muestren cosas chulas y logos... En un futuro añadiré el poder usarlo por medio de argumentos.
Además dije, esto se merece algún título absurdo, así que ahí fue "OSINTretasNoHayPastebines" (el primer borrador la parte de "Tre", no llevaba 'r', pero era un trabajo de clase).
Está implementado por medio de módulos, los cuales heredan de una clase base, estos acceden a las fuentes de información y antes de añadir una URL, consultan a ver si devuelve respuesta desde pastebin. Como conseguí que pastebin me baneara, pues añadí el uso de la red tor, así las peticiones se harían a través de otras IPs, no es 100% fiable, pero ayuda bastante.
Actualmente, tengo implementado 4 módulos:
- Búsquedas en pastebin: busco en los últimos subidos, y en los más visitados, además si alguno de estos es un pastebin de un usuario, busco también dentro de este usuario.
- Búsquedas en twitter: busco ciertas cadenas en tweets, los cuales contengan URLs de pastebin, normalmente en twitter, suelen salir los enlaces a noticias más novedosos.
- Búsquedas en google: una gran base de datos mundial de información, como no, mejor si sabes buscar en esta base de datos. Uso un par de google dorks sencillos para permitir una búsqueda más "inteligente" en google de enlaces a pastebin con contenido interesante.
- Búsquedas en bing: más o menos como Google, tarda más, pero obtenemos una gran cantidad de información.
Pero lo que nos viene a interesar en este post, es la siguiente consola:
Si tecleamos cada uno de estos comandos sin añadir nada más podremos obtener más ayuda, pero bueno son un poco "auto-explicativos" (creo que es término existe). Tenemos diferentes variables que podemos establecer, así como distintos módulos o crawlers, antes de cargar un crawler, podemos modificar las variables, y así modificar algunos comportamientos de este.
Vamos a ver un poco que variables nos podemos encontrar, para ello podemos escribir "set" y nos devolverá todas las variables disponibles:
use_tor nos valdrá para realizar las comprobaciones de las URLs encontradas, a través de TOR, así como las búsquedas a través de TOR, así evitamos que pastebin nos banée. Verbosity una variable ya bastante conocida, para mostrar mayor o menor información.
Vamos por ejemplo a establecer verbosity a 3, time_crawl = 15 segundos y cargar y ejecutar el crawler de twitter. Este tiempo, normalmente tomaremos el doble, ya que en el crawler se hacen esperas activas de 2 segundos, por tanto los segundos que entran por los que salen:
Bien, pues lo ejecutamos a ver que pasa:
Al finalizar el módulo, podemos hacer "show urls" para obtener las urls encontradas:
Estableceremos entonces unas cadenas de búsqueda:
Y finalmente para la búsqueda y que pastebin no banée a nadie, establecemos use_tor a true, y empezamos la búsqueda con search...
Como esto tarda un rato, escribiré una lista de chistes malos de Arguiñano, para aumentar el odio irracional ante este hombre mayor:
Cual es el colmo de un astronauta? Que se quede sin espacio
- Hola quería unas gafas para leer.
- Si ayer le vendí unas.
- Es que ya me las he leído.
¿Dónde estudian los niños belgas? En los coles de Bruselas
Pueden seguir viendo chistes así en esta cuenta: https://twitter.com/chistesargui?lang=es
Una vez acabada la ejecución podemos mirar con show reconocimientos, lo que ha salido de la búsqueda:
Como vemos, hemos obtenido muchas URLs de pastebin (es posible encontrar muchas más), y además hemos obtenido resultados al buscar cadenas en estos enlaces.
Esta herramienta es una herramienta que me llevó poco hacerla, y seguramente contenga muchos errores, para cualquier cosa pueden contactarme por twitter @Fare9, o por el correo electrónico que aparece en el código.
Espero guste, y que puedan hacer uso de estas pequeñas herramientas.
Gracias y hasta la próxima.
