Olá,
Meu nome é Rui Pimentel, mais conhecido recentemente pelo meu envolvimento em projetos de crawling a sites com netflix, nike, supremenewyork e tantos outros trending neste momento.
Eu li completamente a descrição do seu projeto e percebo perfeitamente do que necessita, no entanto tenho algumas preocupações que gostava de discutir consigo.
Se fosse você a fazer input dos domínios de websites seria um simples approach, mas pelo que percebo que você procura, teremos de recorrer a pesquisas no google, e temo que tal possa ser complicado se não for possível a utilização de vários IPS ou proxies, ou na pior das hipóteses, a necessidade de remover captchas manualmente à medida que vão aparecendo no processo de pesquisa.
Aguardo um contacto da sua parte, espero sinceramente poder ajudá-lo a concretizar este projeto, tenho a certeza que ficará bastante satisfeito com o resultado.
Cumprimentos,
Rui