HTMLAGILITYPACK Archives

[C#/COMMON/HTMLAGILITYPACK/.NET8] HtmlDocument 클래스 : HTML 문자열에서 텍스트 추출하기

■ HtmlDocument 클래스를 사용해 HTML 문자열에서 텍스트를 추출하는 방법을 보여준다. ▶ HTMLHelper.cs


using System;
using System.Linq;
using System.Text.RegularExpressions;

using HtmlAgilityPack;

/// <summary>
/// HTML 헬퍼
/// </summary>
public class HTMLHelper
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Static
    //////////////////////////////////////////////////////////////////////////////// Public

    #region 텍스트 추출하기 - ExtractText(html)

    /// <summary>
    /// 텍스트 추출하기
    /// </summary>
    /// <param name="html">HTML</param>
    /// <returns>텍스트</returns>
    public static string ExtractText(string html)
    {
        HtmlDocument htmlDocument = new HtmlDocument();

        htmlDocument.LoadHtml(html);

        return htmlDocument.DocumentNode.InnerText;
    }

    #endregion
    #region 문자열 정규화하기 - NormalizeString(sourceString)

    /// <summary>
    /// 문자열 정규화하기
    /// </summary>
    /// <param name="sourceString">소스 문자열</param>
    /// <returns>정규화 문자열</returns>
    /// <remarks>
    /// 1. 각 줄의 문자열의 앞뒤 공백을 제거한다.
    /// 2. 빈줄이 반복되는 경우 1개의 빈줄로 만든다.
    /// </remarks>
    public static string NormalizeString(string sourceString)
    {
        string[] sourceLineArray = sourceString.Split(new[] { "\r\n", "\r", "\n" }, StringSplitOptions.None);

        string[] targetLineArray = sourceLineArray.Select(line => line.Trim()).ToArray();

        string joinedString = string.Join(Environment.NewLine, targetLineArray);

        string targetString = Regex.Replace(joinedString, @"(\r\n|\n){2,}", Environment.NewLine + Environment.NewLine);

        return targetString;
    }

    #endregion
}

using System;

using System.Linq;

using System.Text.RegularExpressions;

using HtmlAgilityPack;

/// <summary>

/// HTML 헬퍼

/// </summary>

public class HTMLHelper

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Static

//////////////////////////////////////////////////////////////////////////////// Public

#region 텍스트 추출하기 - ExtractText(html)

/// <summary>

/// 텍스트 추출하기

/// </summary>

/// <param name="html">HTML</param>

/// <returns>텍스트</returns>

public static string ExtractText(string html)

{

HtmlDocument htmlDocument = new HtmlDocument();

htmlDocument.LoadHtml(html);

return htmlDocument.DocumentNode.InnerText;

}

#endregion

#region 문자열 정규화하기 - NormalizeString(sourceString)

/// <summary>

/// 문자열 정규화하기

/// </summary>

/// <param name="sourceString">소스 문자열</param>

/// <returns>정규화 문자열</returns>

/// <remarks>

/// 1. 각 줄의 문자열의 앞뒤 공백을 제거한다.

/// 2. 빈줄이 반복되는 경우 1개의 빈줄로 만든다.

/// </remarks>

public static string NormalizeString(string sourceString)

{

string[] sourceLineArray = sourceString.Split(new[] { "\r\n", "\r", "\n" }, StringSplitOptions.None);

string[] targetLineArray = sourceLineArray.Select(line => line.Trim()).ToArray();

string joinedString = string.Join(Environment.NewLine, targetLineArray);

string targetString = Regex.Replace(joinedString, @"(\r\n|\n){2,}", Environment.NewLine + Environment.NewLine);

return targetString;

}

#endregion

}

※ HtmlAgilityPack 누겟 패키지를 설치한다.

[C#/COMMON/HTMLAGILITYPACK/.NET6] RichEditControl 클래스 : HtmlText 속성에서 구한 HTML 문자열 파싱하기

■ RichEditControl 클래스의 HtmlText 속성에서 구한 HTML 문자열을 파싱하는 방법을 보여준다. ▶ Program.cs


using System.Text;
using System.Web;

using HtmlAgilityPack;

namespace TestProject;

/// <summary>
/// 프로그램
/// </summary>
class Program
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Static
    //////////////////////////////////////////////////////////////////////////////// Private

    #region 프로그램 시작하기 - Main()

    /// <summary>
    /// 프로그램 시작하기
    /// </summary>
    private static void Main()
    {
        HtmlDocument document = new HtmlDocument();

        document.Load("source.html", Encoding.UTF8);

        StringBuilder stringBuilder = new StringBuilder();

        HtmlNode bodyNode = document.DocumentNode.ChildNodes["html"].ChildNodes["body"];

        Parse(bodyNode, stringBuilder, 0);

        Console.WriteLine(stringBuilder.ToString());
    }

    #endregion
    #region 파싱하기 - Parse(parentNode, stringBuilder, nodeLevel)

    /// <summary>
    /// 파싱하기
    /// </summary>
    /// <param name="parentNode">부모 노드</param>
    /// <param name="stringBuilder">문자열 빌더</param>
    /// <param name="nodeLevel">노드 레벨</param>
    private static void Parse(HtmlNode parentNode, StringBuilder stringBuilder, int nodeLevel)
    {
        foreach(HtmlNode childNode in parentNode.ChildNodes)
        {
            if(childNode.Name == "#text")
            {
                continue;
            }

            if(nodeLevel > 0)
            {
                stringBuilder.Append(" ".PadRight(nodeLevel * 4));
            }

            int imageCount = 0;
            int tableCount = 0;

            if(childNode.Name == "p")
            {
                if(childNode.ChildNodes.Count > 0)
                {
                    if(childNode.ChildNodes[0].Name == "span")
                    {
                        if(childNode.ChildNodes[0].ChildNodes.Count > 0)
                        {
                            if(childNode.ChildNodes[0].ChildNodes[0].Name == "img")
                            {
                                imageCount++;

                                stringBuilder.AppendLine($"[이미지 {imageCount}]");
                            }
                            else
                            {
                                string text = childNode.InnerText.Trim();

                                if(string.IsNullOrEmpty(text))
                                {
                                    stringBuilder.AppendLine();
                                }
                                else
                                {
                                    stringBuilder.AppendLine($"[문단] {HttpUtility.HtmlDecode(text).Replace(" ", " ")}");
                                }
                            }
                        }

                        continue;
                    }

                    continue;
                }

                continue;
            }
            else if(childNode.Name == "table")
            {
                tableCount++;

                stringBuilder.AppendLine($"[표 {tableCount}]");
            }
        }
    }

    #endregion
}

100

101

102

103

104

105

106

107

108

109

110

111

112

using System.Text;

using System.Web;

using HtmlAgilityPack;

namespace TestProject;

/// <summary>

/// 프로그램

/// </summary>

class Program

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Static

//////////////////////////////////////////////////////////////////////////////// Private

#region 프로그램 시작하기 - Main()

/// <summary>

/// 프로그램 시작하기

/// </summary>

private static void Main()

{

HtmlDocument document = new HtmlDocument();

document.Load("source.html", Encoding.UTF8);

StringBuilder stringBuilder = new StringBuilder();

HtmlNode bodyNode = document.DocumentNode.ChildNodes["html"].ChildNodes["body"];

Parse(bodyNode, stringBuilder, 0);

Console.WriteLine(stringBuilder.ToString());

}

#endregion

#region 파싱하기 - Parse(parentNode, stringBuilder, nodeLevel)

/// <summary>

/// 파싱하기

/// </summary>

/// <param name="parentNode">부모 노드</param>

/// <param name="stringBuilder">문자열 빌더</param>

/// <param name="nodeLevel">노드 레벨</param>

private static void Parse(HtmlNode parentNode, StringBuilder stringBuilder, int nodeLevel)

{

foreach(HtmlNode childNode in parentNode.ChildNodes)

{

if(childNode.Name == "#text")

{

continue;

}

if(nodeLevel > 0)

{

stringBuilder.Append(" ".PadRight(nodeLevel * 4));

}

int imageCount = 0;

int tableCount = 0;

if(childNode.Name == "p")

{

if(childNode.ChildNodes.Count > 0)

{

if(childNode.ChildNodes[0].Name == "span")

{

if(childNode.ChildNodes[0].ChildNodes.Count > 0)

{

if(childNode.ChildNodes[0].ChildNodes[0].Name == "img")

{

imageCount++;

stringBuilder.AppendLine($"[이미지 {imageCount}]");

}

else

{

string text = childNode.InnerText.Trim();

if(string.IsNullOrEmpty(text))

{

stringBuilder.AppendLine();

}

else

{

stringBuilder.AppendLine($"[문단] {HttpUtility.HtmlDecode(text).Replace(" ", " ")}");

}

continue;

}

continue;

}

continue;

}

else if(childNode.Name == "table")

{

tableCount++;

stringBuilder.AppendLine($"[표 {tableCount}]");

}

#endregion

}

TestProject.zip

[C#/COMMON/HTMLAGILITYPACK/.NET6] HtmlDocument 클래스 : 문자열에서 HTML 태그 제거하기

■ HtmlDocument 클래스를 사용해 문자열에서 HTML 태그를 제거하는 방법을 보여준다. ▶ 예제 코드 (C#)


string html = "<html><body><p>테스트 문자열입니다.</p><p>테스트 문자열입니다.</p><p>테스트 문자열입니다.</p></body></html>";

HtmlDocument document = new HtmlDocument();

document.LoadHtml(html);

string text = document.DocumentNode.InnerText;

Console.WriteLine(text);

string html = "<html><body>테스트 문자열입니다.테스트 문자열입니다.테스트 문자열입니다.</body></html>";

HtmlDocument document = new HtmlDocument();

document.LoadHtml(html);

string text = document.DocumentNode.InnerText;

Console.WriteLine(text);

[C#/COMMON/HTMLAGILITYPACK/.NET5] HtmlAgilityPack 누겟 설치하기

■ HtmlAgilityPack 누겟을 설치하는 방법을 보여준다. 1. Visual Studio를 실행한다. 2. [도구] / [NuGet 패키지 관리자] / [패키지 관리자 콘솔] 메뉴를 실행한다.