使用Web :: Scraper从.onion网站进行抓取

debugcn 发表于 Dev

乔尔·马修（Joel G Mathew）

问题：使用Web :: Scraper从tor .onion站点进行刮擦

我想修改我的代码以连接到.onion网站。我相信我需要连接到SOCKS5代理，但是不确定如何使用Web :: Scraper

现有代码：

use Web::Scraper;
my $piratelink=$PIRATEBAYSERVER.'/search/' . $srstring . '%20'. 's'.$sval[1].'e'.$epinum.'/0/7/0';
my $purlToScrape = $piratelink;
    my $ns = scraper {      
    process "td>a", 'mag[]' => '@href';
    process "td>div>a", 'tor[]' => '@href';
    process "td font.detDesc", 'sizerow[]' => 'TEXT';
};
my $mres = $ns->scrape(URI->new($purlToScrape));

drew010

Web::Scraper如果您通过URI刮刮刀，则使用LWP 。

您可以使用其他使用SOCKS的HTTP库来获取HTML ，也可以使用中的共享UserAgent变量来获取HTML Web::Scraper，您可以将LWP设置为使用SOCKS并将其作为代理传递。

use strict;
use LWP::UserAgent;
use Web::Scraper;

# set up a LWP object with Tor socks address
my $ua = LWP::UserAgent->new(
    agent => q{Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; YPC 3.2.0; .NET CLR 1.1.4322)},
);
$ua->proxy([qw/ http https /] => 'socks://localhost:9050'); # Tor proxy
$ua->cookie_jar({});

my $PIRATEBAYSERVER = 'http://uj3wazyk5u4hnvtk.onion';
my $srstring = 'photoshop';


my $piratelink=$PIRATEBAYSERVER.'/search/' . $srstring; # . '%20'. 's'.$sval[1].'e'.$epinum.'/0/7/0';

my $purlToScrape = $piratelink;
my $ns = scraper {      
    process "td>a", 'mag[]' => '@href';
    process "td>div>a", 'tor[]' => '@href';
    process "td font.detDesc", 'sizerow[]' => 'TEXT';
};

# override Scraper's UserAgent with our SOCKS LWP object
$Web::Scraper::UserAgent = $ua;

my $mres = $ns->scrape(URI->new($purlToScrape));

print $mres;

注意，您还需要安装CPAN模块 LWP::Protocol::socks

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。