如何并行执行Web请求？

debugcn 发表于 Dev

清醒的头脑

如何并行执行此代码？我试图在线程中执行执行，但是请求仍按顺序执行。我是并行编程的新手，我将很高兴为您提供帮助。

    public async Task<IList<AdModel>> LocalBitcoins_buy(int page_number)
    {
        IList<AdModel> Buy_ads = new List<AdModel>();
        string next_page_url;
        string url = "https://localbitcoins.net/buy-bitcoins-online/.json?page=" + page_number;
        WebRequest request = WebRequest.Create(url);
        request.Method = "GET";
        using (WebResponse response = await request.GetResponseAsync())
        {
            using (var reader = new StreamReader(response.GetResponseStream()))
            {
                JObject json = JObject.Parse(await reader.ReadToEndAsync());
                next_page_url = (string) json["pagination"]["next"];
                int counter = (int) json["data"]["ad_count"];
                for (int ad_list_index = 0; ad_list_index < counter; ad_list_index++)
                {
                    AdModel save = new AdModel();
                    save.Seller = (string) json["data"]["ad_list"][ad_list_index]["data"]["profile"]["username"];
                    save.Give = (string) json["data"]["ad_list"][ad_list_index]["data"]["currency"];
                    save.Get = "BTC";
                    save.Limits = (string) json["data"]["ad_list"][ad_list_index]["data"]["first_time_limit_btc"];
                    save.Deals = (string) json["data"]["ad_list"][ad_list_index]["data"]["profile"]["trade_count"];
                    save.Reviews = (string) json["data"]["ad_list"][ad_list_index]["data"]["profile"]["feedback_score"];
                    save.PaymentWindow = (string) json["data"]["ad_list"][ad_list_index]["data"]["payment_window_minutes"];
                    Buy_ads.Add(save);
                }
            }
        }
        Console.WriteLine(page_number);
        return Buy_ads;
    }

伊利亚尔·图杜舍夫（Iliar Turdushev）

我用Google搜索，发现这个链接1，2。似乎WebRequest无法并行执行请求。我也尝试使用并行发送多个请求WebRequest，由于某些原因，我WebRequest没有并行发送请求。

但是当我使用HttpClient类时，它会并行执行请求。尝试使用HttpClient而不是WebRequest按照Microsoft的建议使用。

因此，首先，您应该用于HttpClient发出Web请求。

然后，您可以使用下一种方法并行下载页面：

public static IList<AdModel> DownloadAllPages()
{
    int[] pageNumbers = getPageNumbers();
    // Array of tasks that download data from the pages.
    Task<IList<AdModel>>[] tasks = new Task<IList<AdModel>>[pageNumbers.Length];

    // This loop lauches download tasks in parallel.
    for (int i = 0; i < pageNumbers.Length; i++)
    {
        // Launch download task without waiting for its completion.
        tasks[i] = LocalBitcoins_buy(pageNumbers[i]);
    }

    // Wait for all tasks to complete.
    Task.WaitAll(tasks);

    // Combine results from all tasks into a common list.
    return tasks.SelectMany(t => t.Result).ToList();
}

当然，您应该在此方法中添加错误处理。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。