예전에는 Internet Explorer의 COM 개체를 이용해서 DOM 개체로부터 텍스트만 분리하는 방법을 사용했었는데요. IE에 대한 의존성을 줄이기 위해 혹시나 싶어서 찾아보니 다음의 공개 소스가 있습니다. Html Agility Pack ; http://htmlagilitypack.codeplex.com/ codeplex에 있으니 당연히 오픈소스이고 "Ms-PL" 라이선스이기 때문에 상용에도 사용할 수 있습니다. 다운로드 받으면 6개의 프로젝트가 있지만,  실제로 필요한 것은 HtmlAgilityPack 프로젝트 하나이고, 그것을 이용해 텍스트를 추출하는 예제가 Html2TxtVS2008 프로젝트입니다. 따라서, 그냥 프로젝트 하나 만들고 HtmlAgilityPack을 참조 추가한 다음 Html2TxtVS2008 프로젝트에 구현된 HtmlToText 타입을 이용해 아래와 같이 코드를 만들어 주시면 웹 페이지에 포함된 텍스트 만을 추출할 수 있습니다. using System;
using System.IO;
using System.Net;
using System.Text;
namespace HtmlAgilityPack.Samples
{
class Html2Xml
{
[STAThread]
static void Main(string[] args)
{
// 아래의 WebClient 코드는 http://www.sysnet.pe.kr/2/0/1493 글을 참조
WebClient wc = new WebClient();
string url = "http://ko.wikipedia.org/wiki/%EC%9D%B8%ED%84%B0%EB%84%B7";
byte [] docBytes = wc.DownloadData(url);
string encodeType = wc.ResponseHeaders["Content-Type"];
string charsetKey = "charset";
int pos = encodeType.IndexOf(charsetKey);
Encoding currentEncoding = Encoding.Default;
if (pos != -1)
{
pos = encodeType.IndexOf("=", pos + charsetKey.Length);
if (pos != -1)
{
string charset = encodeType.Substring(pos + 1);
currentEncoding = Encoding.GetEncoding(charset);
}
}
string doc = currentEncoding.GetString(docBytes);
HtmlToText htt = new HtmlToText();
string innerText = htt.ConvertHtml(doc);
Console.WriteLine(innerText);
}
}
}
첨부된 파일은 위의 예제가 동작하는 프로젝트입니다.
|
|||||||||
.NET/ASP.NET
