C#实现web信息自动抓取

使用C#实现web信息自动抓取可以通过使用HttpClient和HtmlAgilityPack库来实现。以下是一个简单的例子，演示如何使用这两个库来抓取网页信息：

using System;
using System.Net.Http;
using HtmlAgilityPack;

class Program
{
    static async System.Threading.Tasks.Task Main(string[] args)
    {
        // 替换为目标网页的URL
        string url = "https://example.com";

        // 使用HttpClient获取网页内容
        using (HttpClient client = new HttpClient())
        {
            try
            {
                // 发送GET请求
                HttpResponseMessage response = await client.GetAsync(url);

                // 检查响应是否成功
                if (response.IsSuccessStatusCode)
                {
                    // 读取响应内容
                    string htmlContent = await response.Content.ReadAsStringAsync();

                    // 使用HtmlAgilityPack解析HTML
                    HtmlDocument htmlDocument = new HtmlDocument();
                    htmlDocument.LoadHtml(htmlContent);

                    // 这里可以根据HTML结构使用XPath或其他方法提取需要的信息
                    // 以下是一个示例，提取所有链接
                    var links = htmlDocument.DocumentNode.SelectNodes("//a[@href]");
                    if (links != null)
                    {
                        foreach (var link in links)
                        {
                            // 输出链接文本和URL
                            Console.WriteLine($"Text: {link.InnerText}, URL: {link.Attributes["href"].Value}");
                        }
                    }
                }
                else
                {
                    Console.WriteLine($"Failed to fetch the page. Status code: {response.StatusCode}");
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine($"An error occurred: {ex.Message}");
            }
        }
    }
}

请注意，这只是一个简单的示例。使用HtmlAgilityPack可以更方便的方式解析HTML文档。在实际应用中，还需要处理异常、处理异步操作等方面的细节。