ASP.NET抓取网页内容的实现方法

Agatha ·

更新时间:2024-11-13

· 900 次阅读

本文实例讲述了ASP.NET抓取网页内容的实现方法。分享给大家供大家参考。具体实现方法如下：

一、ASP.NET 使用HttpWebRequest抓取网页内容
代码如下:/// <summary>方法一：比较推荐
/// 用HttpWebRequest取得网页源码
/// 对于带BOM的网页很有效，不管是什么编码都能正确识别
/// </summary>
/// <param name="url">网页地址" </param>
/// <returns>返回网页源文件</returns>
public static string GetHtmlSource2(string url)
{
    //处理内容
    string html = "";
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    request.Accept = "*/*"; //接受任意文件
    request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; //
    request.AllowAutoRedirect = true;//是否允许302
    //request.CookieContainer = new CookieContainer();//cookie容器，
    request.Referer = url; //当前页面的引用
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    Stream stream = response.GetResponseStream();
    StreamReader reader = new StreamReader(stream, Encoding.Default);
    html = reader.ReadToEnd();
    stream.Close();
    return html;
}

二、ASP.NET 使用 WebResponse 抓取网页内容
代码如下:public static string GetHttpData2(string Url)
{
    string sException = null;
    string sRslt = null;
    WebResponse oWebRps = null;
    WebRequest oWebRqst = WebRequest.Create(Url);
    oWebRqst.Timeout = 50000;
    try
    {
        oWebRps = oWebRqst.GetResponse();
    }
    catch (WebException e)
    {
        sException = e.Message.ToString();
    }
    catch (Exception e)
    {
        sException = e.ToString();
    }
    finally
    {
        if (oWebRps != null)
        {
            StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8"));
            sRslt = oStreamRd.ReadToEnd();
            oStreamRd.Close();
            oWebRps.Close();
        }
    }
    return sRslt;
}

希望本文所述对大家的C#程序设计有所帮助。

您可能感兴趣的文章:asp.net中获取远程网页的内容之一（downmoon原创）asp.net下获取远程网页的内容之二（downmoon原创）asp.net 网页编码自动识别代码asp.net HttpWebRequest自动识别网页编码asp.net(c#)做一个网页数据采集工具HttpWebRequest和HttpWebResponse用法小结ASP.NET MVC中解析淘宝网页出现乱码问题的解决方法asp.net 抓取网页源码三种实现方法C#中HttpWebRequest的用法详解ASP.NET使用HttpWebRequest读取远程网页源代码

ASP

1024 个赞