ENCODING Archives - icodebroker

[PYTHON/LANGCHAIN] TextLoader 클래스 : 복수 텍스트 파일 문서 로드하기

■ TextLoader 클래스를 사용해 복수 텍스트 파일 문서를 로드하는 방법을 보여준다. ▶ 예제 코드 (PY)


from langchain_community.document_loaders import TextLoader

TextLoaderList = [
    TextLoader("paul_graham_essay.txt" , encoding = "utf-8"),
    TextLoader("state_of_the_union.txt", encoding = "utf-8")
]

documentList = []

for textLoader in TextLoaderList:
    documentList.extend(textLoader.load())

from langchain_community.document_loaders import TextLoader

TextLoaderList = [

TextLoader("paul_graham_essay.txt" , encoding = "utf-8"),

TextLoader("state_of_the_union.txt", encoding = "utf-8")

]

documentList = []

for textLoader in TextLoaderList:

documentList.extend(textLoader.load())

※ pip install langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] TextLoader 클래스 : 생성자에서 encoding 인자를 사용해 UTF-8 인코딩 파일 로드하기

■ TextLoader 클래스의 생성자에서 encoding 인자를 사용해 UTF-8 인코딩 파일을 로드하는 방법을 보여준다. ▶ 예제 코드 (PY)


from langchain_community.document_loaders import TextLoader

textLoader = TextLoader("paul_graham_essay.txt" , encoding = "utf-8")

from langchain_community.document_loaders import TextLoader

textLoader = TextLoader("paul_graham_essay.txt" , encoding = "utf-8")

※ pip install langchain-community

[C#/WPF/.NET8] Typeface 클래스 : Segoe UI Emoji 폰트를 사용해 이모지 문자 나열하기

■ Typeface 클래스에서 Segoe UI Emoji 폰트를 사용해 이모지 문자를 나열하는 방법을 보여준다. ▶ MainWindow.xaml


<Window x:Class="TestProject.MainWindow"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    Title="TestProject"
    Height="600"
    Width="800"
    FontFamily="나눔소딕코딩"
    FontSize="16">
    <Grid Margin="10">
        <Grid.RowDefinitions>
            <RowDefinition Height="*"    />
            <RowDefinition Height="Auto" />
        </Grid.RowDefinitions>
        <ListBox Name="listBox" Grid.Row="0"
            BorderThickness="1"
            BorderBrush="DarkGray"
            FontFamily="Segoe UI Emoji"
            FontSize="24">
            <ListBox.ItemsPanel>
                <ItemsPanelTemplate>
                    <WrapPanel
                        Orientation="Horizontal"
                        Width="{Binding ActualWidth, RelativeSource={RelativeSource AncestorType=ScrollContentPresenter}}"/>
                </ItemsPanelTemplate>
            </ListBox.ItemsPanel>
        </ListBox>
        <TextBlock Name="textBlock" Grid.Row="1"
            Margin="0 10 0 0" />
    </Grid>
</Window>

<Window x:Class="TestProject.MainWindow"

xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"

xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"

Title="TestProject"

Height="600"

Width="800"

FontFamily="나눔소딕코딩"

FontSize="16">

<Grid.RowDefinitions>

</Grid.RowDefinitions>

<ListBox Name="listBox" Grid.Row="0"

BorderThickness="1"

BorderBrush="DarkGray"

FontFamily="Segoe UI Emoji"

FontSize="24">

<ListBox.ItemsPanel>

<WrapPanel

Orientation="Horizontal"

Width="{Binding ActualWidth, RelativeSource={RelativeSource AncestorType=ScrollContentPresenter}}"/>

</ItemsPanelTemplate>

</ListBox.ItemsPanel>

</ListBox>

<TextBlock Name="textBlock" Grid.Row="1"

Margin="0 10 0 0" />

</Grid>

</Window>

▶ MainWindow.xaml.cs


using System.Collections.Generic;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Media;

namespace TestProject;

/// <summary>
/// 메인 윈도우
/// </summary>
public partial class MainWindow : Window
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 생성자 - MainWindow()

    /// <summary>
    /// 생성자
    /// </summary>
    public MainWindow()
    {
        InitializeComponent();

        Typeface emojiTypeface = new Typeface
        (
            new FontFamily("Segoe UI Emoji"),
            FontStyles.Normal,
            FontWeights.Normal,
            FontStretches.Normal
        );

        List<(int, int)> emojiRangeList = new List<(int, int)>
        {
            (0x1f300, 0x1f5ff), // Miscellaneous Symbols and Pictographs
            (0x1f600, 0x1f64f), // Emoticons
            (0x1f680, 0x1f6ff), // Transport and Map Symbols
            (0x1f900, 0x1f9ff), // Supplemental Symbols and Pictographs
            (0x1fa70, 0x1faff), // Symbols and Pictographs Extended-A
            (0x2600 , 0x26ff ), // Miscellaneous Symbols
            (0x2700 , 0x27bf )  // Dingbats
        };

        foreach((int start, int end) in emojiRangeList)
        {
            for(int i = start; i <= end; i++)
            {
                string emojiString = char.ConvertFromUtf32(i);

                if(HasGlyph(emojiTypeface, emojiString))
                {
                    this.listBox.Items.Add(emojiString);
                }
            }
        }

        this.listBox.SelectionChanged += listBox_SelectionChanged;
    }

    #endregion

    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Private
    //////////////////////////////////////////////////////////////////////////////// Event

    #region 리스트 박스 선택 변경시 처리하기 - listBox_SelectionChanged(sender, e)

    /// <summary>
    /// 리스트 박스 선택 변경시 처리하기
    /// </summary>
    /// <param name="sender">이벤트 발생자</param>
    /// <param name="e">이벤트 인자</param>
    private void listBox_SelectionChanged(object sender, SelectionChangedEventArgs e)
    {
        if(this.listBox.SelectedItem != null)
        {
            string emojiString = this.listBox.SelectedItem.ToString();

            int unicode = char.ConvertToUtf32(emojiString, 0);

            this.textBlock.Text = $"유니코드 : U+{unicode:X4}";
        }
    }

    #endregion

    //////////////////////////////////////////////////////////////////////////////// Function

    #region 글리프 소유 여부 구하기 - HasGlyph(typeface, source)

    /// <summary>
    /// 글리프 소유 여부 구하기
    /// </summary>
    /// <param name="typeface">타입 페이스</param>
    /// <param name="source">소스 문자열</param>
    /// <returns>글리프 소유 여부</returns>
    private bool HasGlyph(Typeface typeface, string source)
    {
        ushort glyphIndex;

        bool resultToGetGlyphTypeface = typeface.TryGetGlyphTypeface(out GlyphTypeface glyphTypeface);
        bool resultToGetGlyphIndex    = glyphTypeface.CharacterToGlyphMap.TryGetValue(char.ConvertToUtf32(source, 0), out glyphIndex);

        return resultToGetGlyphTypeface && resultToGetGlyphIndex && glyphIndex != 0;
    }

    #endregion
}

100

101

102

103

104

105

106

107

108

109

110

using System.Collections.Generic;

using System.Windows;

using System.Windows.Controls;

using System.Windows.Media;

namespace TestProject;

/// <summary>

/// 메인 윈도우

/// </summary>

public partial class MainWindow : Window

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Constructor

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 생성자 - MainWindow()

/// <summary>

/// 생성자

/// </summary>

public MainWindow()

{

InitializeComponent();

Typeface emojiTypeface = new Typeface

(

new FontFamily("Segoe UI Emoji"),

FontStyles.Normal,

FontWeights.Normal,

FontStretches.Normal

);

List<(int, int)> emojiRangeList = new List<(int, int)>

{

(0x1f300, 0x1f5ff), // Miscellaneous Symbols and Pictographs

(0x1f600, 0x1f64f), // Emoticons

(0x1f680, 0x1f6ff), // Transport and Map Symbols

(0x1f900, 0x1f9ff), // Supplemental Symbols and Pictographs

(0x1fa70, 0x1faff), // Symbols and Pictographs Extended-A

(0x2600 , 0x26ff ), // Miscellaneous Symbols

(0x2700 , 0x27bf ) // Dingbats

};

foreach((int start, int end) in emojiRangeList)

{

for(int i = start; i <= end; i++)

{

string emojiString = char.ConvertFromUtf32(i);

if(HasGlyph(emojiTypeface, emojiString))

{

this.listBox.Items.Add(emojiString);

}

this.listBox.SelectionChanged += listBox_SelectionChanged;

}

#endregion

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Private

//////////////////////////////////////////////////////////////////////////////// Event

#region 리스트 박스 선택 변경시 처리하기 - listBox_SelectionChanged(sender, e)

/// <summary>

/// 리스트 박스 선택 변경시 처리하기

/// </summary>

/// <param name="sender">이벤트 발생자</param>

/// <param name="e">이벤트 인자</param>

private void listBox_SelectionChanged(object sender, SelectionChangedEventArgs e)

{

if(this.listBox.SelectedItem != null)

{

string emojiString = this.listBox.SelectedItem.ToString();

int unicode = char.ConvertToUtf32(emojiString, 0);

this.textBlock.Text = $"유니코드 : U+{unicode:X4}";

}

#endregion

//////////////////////////////////////////////////////////////////////////////// Function

#region 글리프 소유 여부 구하기 - HasGlyph(typeface, source)

/// <summary>

/// 글리프 소유 여부 구하기

/// </summary>

/// <param name="typeface">타입 페이스</param>

/// <param name="source">소스 문자열</param>

/// <returns>글리프 소유 여부</returns>

private bool HasGlyph(Typeface typeface, string source)

{

ushort glyphIndex;

bool resultToGetGlyphTypeface = typeface.TryGetGlyphTypeface(out GlyphTypeface glyphTypeface);

bool resultToGetGlyphIndex = glyphTypeface.CharacterToGlyphMap.TryGetValue(char.ConvertToUtf32(source, 0), out glyphIndex);

return resultToGetGlyphTypeface && resultToGetGlyphIndex && glyphIndex != 0;

}

#endregion

}

TestProject.zip

[C#/COMMON/.NET8] Segoe UI Emoji 폰트에서 이모지 문자 여부 구하기

■ Segoe UI Emoji 폰트에서 이모지 문자 여부를 구하는 방법을 보여준다. ▶ Segoe UI Emoji 폰트에서 이모지 문자 여부 구하기 예제 (C#)

[C#/COMMON/.NET8] char 구조체 : ConvertToUtf32 정적 메소드를 사용해 이모지 문자에서 UTF-32 문자 코드 구하기

■ char 구조체의 ConvertToUtf32 정적 메소드를 사용해 이모지 문자에서 UTF-32 문자 코드를 구하는 방법을 보여준다. ▶ 예제 코드 (C#)


string smileString  = char.ConvertFromUtf32(0x1f600); // 반환값: "😀" (웃는 얼굴 이모지)
string dragonString = char.ConvertFromUtf32(0x1f409); // 반환값: "🐉" (용 이모지)

int smileCode  = char.ConvertToUtf32(smileString , 0);
int dragonCode = char.ConvertToUtf32(dragonString, 0);

Console.WriteLine($"0x{smileCode :x}");
Console.WriteLine($"0x{dragonCode:x}");

/*
0x1f600
0x1f409
*/

string smileString = char.ConvertFromUtf32(0x1f600); // 반환값: "😀" (웃는 얼굴 이모지)

string dragonString = char.ConvertFromUtf32(0x1f409); // 반환값: "🐉" (용 이모지)

int smileCode = char.ConvertToUtf32(smileString , 0);

int dragonCode = char.ConvertToUtf32(dragonString, 0);

Console.WriteLine($"0x{smileCode :x}");

Console.WriteLine($"0x{dragonCode:x}");

0x1f600

0x1f409

[C#/COMMON/.NET8] char 구조체 : ConvertFromUtf32 정적 메소드를 사용해 이모지 문자 구하기

■ char 구조체의 ConvertFromUtf32 정적 메소드를 사용해 이모지 문자를 구하는 방법을 보여준다. ▶ 예제 코드 (C#)


string smileString  = char.ConvertFromUtf32(0x1f600); // 반환값: "😀" (웃는 얼굴 이모지)
string dragonString = char.ConvertFromUtf32(0x1f409); // 반환값: "🐉" (용 이모지)

string smileString = char.ConvertFromUtf32(0x1f600); // 반환값: "😀" (웃는 얼굴 이모지)

string dragonString = char.ConvertFromUtf32(0x1f409); // 반환값: "🐉" (용 이모지)

[PYTHON/LANGCHAIN] DirectoryLoader 클래스 : 생성자에서 loader_kwargs 인자를 사용해 파일 인코딩 자동 감지하기

■ DirectoryLoader 클래스의 생성자에서 loader_kwargs 인자를 사용해 파일 인코딩을 자동 감지하는 방법을 보여준다. ▶ main.py


from langchain_community.document_loaders import TextLoader
from langchain_community.document_loaders import DirectoryLoader

directoryLoader = DirectoryLoader(".", glob = "*.txt", loader_cls = TextLoader, loader_kwargs = {"autodetect_encoding" : True})

documentList = directoryLoader.load()

for document in documentList:
    print(document)
    print()

"""
page_content='테스트 문자열입니다.' metadata={'source': 'test-non-utf8.txt'}

page_content='테스트 문자열입니다.' metadata={'source': 'text-utf8.txt'}
"""

from langchain_community.document_loaders import TextLoader

from langchain_community.document_loaders import DirectoryLoader

directoryLoader = DirectoryLoader(".", glob = "*.txt", loader_cls = TextLoader, loader_kwargs = {"autodetect_encoding" : True})

documentList = directoryLoader.load()

for document in documentList:

print(document)

print()

"""

page_content='테스트 문자열입니다.' metadata={'source': 'test-non-utf8.txt'}

page_content='테스트 문자열입니다.' metadata={'source': 'text-utf8.txt'}

"""

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
chardet==5.2.0
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

chardet==5.2.0

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install

[PYTHON/TIKTOKEN] get_encoding 함수 : O200K_BASE 인코딩 구하기

■ get_encoding 함수를 사용해 O200K_BASE 인코딩을 구하는 방법을 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("o200k_base")

import tiktoken

encoding = tiktoken.get_encoding("o200k_base")

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken 명령을 실행했다.

[PYTHON/TIKTOKEN] get_encoding 함수 : CL100K_BASE 인코딩 구하기

■ get_encoding 함수를 사용해 CL100K_BASE 인코딩을 구하는 방법을 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken 명령을 실행했다.

[PYTHON/CHARDET] detect 함수 : 텍스트 파일 인코딩 구하기

■ detect 함수를 사용해 텍스트 파일 인코딩을 구하는 방법을 보여준다. ▶ main.py


import chardet
import io
import os

def getEncoding(sourceFilePath):
    headerCount = min(32, os.path.getsize(sourceFilePath))

    sourceBufferedReader = open(sourceFilePath, "rb")

    headerBytes = sourceBufferedReader.read(headerCount)

    resultDictionary = chardet.detect(headerBytes)

    encoding = resultDictionary["encoding"]

    return encoding.lower()

print(getEncoding("source.txt"))
print(getEncoding("target.txt"))

"""
utf-8-sig
utf-8
"""

import chardet

import io

import os

def getEncoding(sourceFilePath):

headerCount = min(32, os.path.getsize(sourceFilePath))

sourceBufferedReader = open(sourceFilePath, "rb")

headerBytes = sourceBufferedReader.read(headerCount)

resultDictionary = chardet.detect(headerBytes)

encoding = resultDictionary["encoding"]

return encoding.lower()

print(getEncoding("source.txt"))

print(getEncoding("target.txt"))

"""

utf-8-sig

utf-8

"""

▶ requirements.txt


chardet==5.2.0

chardet==5.2.0

※ pip install chardet 명령을 실행했다.

[PYTHON/COMMON] 텍스트 인코딩 파일별 바이트 순서 표시(BOM, Byte Order Mark) 구하기

■ 텍스트 인코딩 파일별 바이트 순서 표시(BOM, Byte Order Mark)를 구하는 방법을 보여준다. ▶ 예제 코드 (PY)


import codecs

print("BOM          :", codecs.BOM         )
print("BOM_BE       :", codecs.BOM_BE      )
print("BOM_LE       :", codecs.BOM_LE      )
print("BOM32_BE     :", codecs.BOM32_BE    )
print("BOM32_LE     :", codecs.BOM32_LE    )
print("BOM64_LE     :", codecs.BOM64_LE    )
print("BOM64_LE     :", codecs.BOM64_LE    )
print("BOM_UTF8     :", codecs.BOM_UTF8    )
print("BOM_UTF16    :", codecs.BOM_UTF16   )
print("BOM_UTF16_BE :", codecs.BOM_UTF16_BE)
print("BOM_UTF16_LE :", codecs.BOM_UTF16_LE)
print("BOM_UTF32    :", codecs.BOM_UTF32   )
print("BOM_UTF32_BE :", codecs.BOM_UTF32_BE)
print("BOM_UTF32_LE :", codecs.BOM_UTF32_LE)

"""
BOM          : b'\xff\xfe'
BOM_BE       : b'\xfe\xff'
BOM_LE       : b'\xff\xfe'
BOM32_BE     : b'\xfe\xff'
BOM32_LE     : b'\xff\xfe'
BOM64_LE     : b'\xff\xfe\x00\x00'
BOM64_LE     : b'\xff\xfe\x00\x00'
BOM_UTF8     : b'\xef\xbb\xbf'
BOM_UTF16    : b'\xff\xfe'
BOM_UTF16_BE : b'\xfe\xff'
BOM_UTF16_LE : b'\xff\xfe'
BOM_UTF32    : b'\xff\xfe\x00\x00'
BOM_UTF32_BE : b'\x00\x00\xfe\xff'
BOM_UTF32_LE : b'\xff\xfe\x00\x00'
"""

import codecs

print("BOM :", codecs.BOM )

print("BOM_BE :", codecs.BOM_BE )

print("BOM_LE :", codecs.BOM_LE )

print("BOM32_BE :", codecs.BOM32_BE )

print("BOM32_LE :", codecs.BOM32_LE )

print("BOM64_LE :", codecs.BOM64_LE )

print("BOM_UTF8 :", codecs.BOM_UTF8 )

print("BOM_UTF16 :", codecs.BOM_UTF16 )

print("BOM_UTF16_BE :", codecs.BOM_UTF16_BE)

print("BOM_UTF16_LE :", codecs.BOM_UTF16_LE)

print("BOM_UTF32 :", codecs.BOM_UTF32 )

print("BOM_UTF32_BE :", codecs.BOM_UTF32_BE)

print("BOM_UTF32_LE :", codecs.BOM_UTF32_LE)

"""

BOM : b'\xff\xfe'

BOM_BE : b'\xfe\xff'

BOM_LE : b'\xff\xfe'

BOM32_BE : b'\xfe\xff'

BOM32_LE : b'\xff\xfe'

BOM64_LE : b'\xff\xfe\x00\x00'

BOM_UTF8 : b'\xef\xbb\xbf'

BOM_UTF16 : b'\xff\xfe'

BOM_UTF16_BE : b'\xfe\xff'

BOM_UTF16_LE : b'\xff\xfe'

BOM_UTF32 : b'\xff\xfe\x00\x00'

BOM_UTF32_BE : b'\x00\x00\xfe\xff'

BOM_UTF32_LE : b'\xff\xfe\x00\x00'

"""

[PYTHON/COMMON] chardet 패키지 설치하기

■ chardet 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령


pip install chardet

pip install chardet

[PYTHON/COMMON] bytes 클래스 : decode 메소드를 사용해 바이트 배열에서 UTF-32 문자열 구하기

■ bytes 클래스의 decode 메소드를 사용해 바이트 배열에서 UTF-32 문자열을 구하는 방법을 보여준다. ▶ 예제 코드 (PY)


utf32Bytes =  b'\xff\xfe\x00\x00A\x00\x00\x00B\x00\x00\x00C\x00\x00\x00D\x00\x00\x00E\x00\x00\x00'

text = utf32Bytes.decode("utf-32")

print(text)

"""
ABCDE
"""

utf32Bytes = b'\xff\xfe\x00\x00A\x00\x00\x00B\x00\x00\x00C\x00\x00\x00D\x00\x00\x00E\x00\x00\x00'

text = utf32Bytes.decode("utf-32")

print(text)

"""

ABCDE

"""

[PYTHON/TIKTOKEN] Encoding 클래스 : 한국어와 영어 토큰수 비교하기

■ Encoding 클래스를 사용해 한국어와 영어 토큰수를 비교한 결과를 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

englishTokenList       = encoding.encode("Hello, World!")
englishBinaryTokenList = encoding.decode_tokens_bytes(englishTokenList)
englishText            = encoding.decode(englishTokenList)

koreanTokenList       = encoding.encode("헬로우 월드!")
koreanBinaryTokenList = encoding.decode_tokens_bytes(koreanTokenList)
koreanText            = encoding.decode(koreanTokenList)

print( "[영어]")
print(f"    토큰 리스트 길이     : {len(englishTokenList) }")
print(f"    토큰 리스트          : {englishTokenList      }")
print(f"    바이너리 토큰 리스트 : {englishBinaryTokenList}")
print(f"    텍스트               : {englishText           }")

print( "[한국어]")
print(f"    토큰 리스트 길이     : {len(koreanTokenList) }")
print(f"    토큰 리스트          : {koreanTokenList      }")
print(f"    바이너리 토큰 리스트 : {koreanBinaryTokenList}")
print(f"    텍스트               : {koreanText           }")

"""
[영어]
    토큰 리스트 길이     : 4
    토큰 리스트          : [9906, 11, 4435, 0]
    바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!']
    텍스트               : Hello, World!
[한국어]
    토큰 리스트 길이     : 9
    토큰 리스트          : [169, 245, 105, 17835, 41381, 86513, 242, 30446, 0]
    바이너리 토큰 리스트 : [b'\xed', b'\x97', b'\xac', b'\xeb\xa1\x9c', b'\xec\x9a\xb0', b' \xec\x9b', b'\x94', b'\xeb\x93\x9c', b'!']
    텍스트               : 헬로우 월드!
"""

import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

englishTokenList = encoding.encode("Hello, World!")

englishBinaryTokenList = encoding.decode_tokens_bytes(englishTokenList)

englishText = encoding.decode(englishTokenList)

koreanTokenList = encoding.encode("헬로우 월드!")

koreanBinaryTokenList = encoding.decode_tokens_bytes(koreanTokenList)

koreanText = encoding.decode(koreanTokenList)

print( "[영어]")

print(f" 토큰 리스트 길이 : {len(englishTokenList) }")

print(f" 토큰 리스트 : {englishTokenList }")

print(f" 바이너리 토큰 리스트 : {englishBinaryTokenList}")

print(f" 텍스트 : {englishText }")

print( "[한국어]")

print(f" 토큰 리스트 길이 : {len(koreanTokenList) }")

print(f" 토큰 리스트 : {koreanTokenList }")

print(f" 바이너리 토큰 리스트 : {koreanBinaryTokenList}")

print(f" 텍스트 : {koreanText }")

"""

[영어]

토큰 리스트 길이 : 4

토큰 리스트 : [9906, 11, 4435, 0]

바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!']

텍스트 : Hello, World!

[한국어]

토큰 리스트 길이 : 9

토큰 리스트 : [169, 245, 105, 17835, 41381, 86513, 242, 30446, 0]

바이너리 토큰 리스트 : [b'\xed', b'\x97', b'\xac', b'\xeb\xa1\x9c', b'\xec\x9a\xb0', b' \xec\x9b', b'\x94', b'\xeb\x93\x9c', b'!']

텍스트 : 헬로우 월드!

"""

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken 명령을 실행했다.

[PYTHON/TIKTOKEN] Encoding 클래스 : decode_tokens_bytes 메소드를 사용해 바이트 형태 토큰 리스트 구하기

■ Encoding 클래스의 decode_tokens_bytes 메소드를 사용해 바이트 형태의 토큰 리스트를 구하는 방법을 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

binaryTokenList = encoding.decode_tokens_bytes(tokenList)

print(f"토큰 리스트 길이     : {len(tokenList) }")
print(f"토큰 리스트          : {tokenList      }")
print(f"바이너리 토큰 리스트 : {binaryTokenList}")

"""
토큰 리스트 길이     : 4
토큰 리스트          : [9906, 11, 4435, 0]
바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!']
"""

import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

binaryTokenList = encoding.decode_tokens_bytes(tokenList)

print(f"토큰 리스트 길이 : {len(tokenList) }")

print(f"토큰 리스트 : {tokenList }")

print(f"바이너리 토큰 리스트 : {binaryTokenList}")

"""

토큰 리스트 길이 : 4

토큰 리스트 : [9906, 11, 4435, 0]

바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!']

"""

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install

[PYTHON/TIKTOKEN] Encoding 클래스 : decode 메소드를 사용해 토큰 리스트에서 텍스트 구하기

■ Encoding 클래스의 decode 메소드를 사용해 토큰 리스트에서 텍스트를 구하는 방법을 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

text = encoding.decode(tokenList)

print(f"토큰 리스트 길이 : {len(tokenList)}")
print(f"토큰 리스트      : {tokenList     }")
print(f"디코딩 문자열    : {text          }")

"""
토큰 리스트 길이 : 4
토큰 리스트      : [9906, 11, 4435, 0]
디코딩 문자열    : Hello, World!
"""

import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

text = encoding.decode(tokenList)

print(f"토큰 리스트 길이 : {len(tokenList)}")

print(f"토큰 리스트 : {tokenList }")

print(f"디코딩 문자열 : {text }")

"""

토큰 리스트 길이 : 4

토큰 리스트 : [9906, 11, 4435, 0]

디코딩 문자열 : Hello, World!

"""

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

■ Encoding 클래스의 encode 메소드를 사용해 토큰 리스트를 구하는 방법을 보여준다. ▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

print(f"토큰 리스트 길이 : {len(tokenList)}")
print(f"토큰 리스트      : {tokenList     }")

"""
토큰 리스트 길이 : 4
토큰 리스트      : [9906, 11, 4435, 0]
"""

import tiktoken

encoding = tiktoken.get_encoding("cl100k_base")

tokenList = encoding.encode("Hello, World!")

print(f"토큰 리스트 길이 : {len(tokenList)}")

print(f"토큰 리스트 : {tokenList }")

"""

토큰 리스트 길이 : 4

토큰 리스트 : [9906, 11, 4435, 0]

"""

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken 명령을

[PYTHON/TIKTOKEN] get_encoding 함수 : 토크나이저 인코딩 객체 구하기

■ get_encoding 함수를 사용해 토크나이저의 인코딩 객체를 구하는 방법을 보여준다. • LLM의 인코딩은 텍스트가 토큰으로 분할되는 규칙이다. • 모델마다 사용하는 인코딩이 다르다.

[PYTHON/COMMON] tiktoken 패키지 설치하기

■ tiktoken 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령


pip install tiktoken

pip install tiktoken

[PYTHON/COMMON] open 함수 : encoding 인자를 사용해 UTF-8(BOM) 인코딩 텍스트 파일 열기

■ open 함수의 encoding 인자를 사용해 UTF-8(BOM) 인코딩 텍스트 파일을 여는 방법을 보여준다. ※ UTF-8(BOM) 인코딩 텍스트 파일은 \xef\xbb\xbf 값으로 시작한다. ▶

[PYTHON/COMMON] UTF-8 인코딩 텍스트 파일로 변환하기

■ UTF-8 인코딩 텍스트 파일로 변환하는 방법을 보여준다. ※ UTF-8 BOM 인코딩도 UTF-8 인코딩으로 변환한다. ▶ 예제 코드 (PY)


import os
import codecs
import chardet
import io

def convertToUTF8File(sourceFilePath, targetFilePath):
    sourceBufferedReader = open(sourceFilePath, "rb")

    byteCount = min(32, os.path.getsize(sourceFilePath))

    sourceContentBytes = sourceBufferedReader.read(byteCount)

    if sourceContentBytes.startswith(codecs.BOM_UTF8):
        encoding = "utf-8-sig"
    else:
        result   = chardet.detect(sourceContentBytes)
        encoding = result["encoding"]

    sourceTextIOWrapper = io.open(sourceFilePath, "r", encoding = encoding)

    sourceContentString = sourceTextIOWrapper.read()

    sourceTextIOWrapper.close()

    targetTextIOWrapper = open(targetFilePath, "w", encoding = "UTF8")

    targetTextIOWrapper.write(sourceContentString)

    targetTextIOWrapper.close()

    return targetFilePath

convertToUTF8File("./test1.txt", "./test2.txt")

import os

import codecs

import chardet

import io

def convertToUTF8File(sourceFilePath, targetFilePath):

sourceBufferedReader = open(sourceFilePath, "rb")

byteCount = min(32, os.path.getsize(sourceFilePath))

sourceContentBytes = sourceBufferedReader.read(byteCount)

if sourceContentBytes.startswith(codecs.BOM_UTF8):

encoding = "utf-8-sig"

else:

result = chardet.detect(sourceContentBytes)

encoding = result["encoding"]

sourceTextIOWrapper = io.open(sourceFilePath, "r", encoding = encoding)

sourceContentString = sourceTextIOWrapper.read()

sourceTextIOWrapper.close()

targetTextIOWrapper = open(targetFilePath, "w", encoding = "UTF8")

targetTextIOWrapper.write(sourceContentString)

targetTextIOWrapper.close()

return targetFilePath

convertToUTF8File("./test1.txt", "./test2.txt")

▶ requirements.txt

[PYTHON/COMMON] str 클래스 : 특정 인코딩 바이트 값에서 문자열 구하기

■ str 클래스를 사용해 특정 인코딩 바이트 값에서 문자열을 구하는 방법을 보여준다. ▶ 예제 코드 (PY)


sourceString = "테스트"

targetBytes = sourceString.encode(encoding = "UTF-32")

print(targetBytes)

targetString1 = str(targetBytes, encoding = "UTF-32")
targetString2 = str(b"\xff\xfe\x00\x00L\xd1\x00\x00\xa4\xc2\x00\x00\xb8\xd2\x00\x00", encoding = "UTF-32")

print(targetString1)
print(targetString2)

"""
테스트
테스트
"""

sourceString = "테스트"

targetBytes = sourceString.encode(encoding = "UTF-32")

print(targetBytes)

targetString1 = str(targetBytes, encoding = "UTF-32")

targetString2 = str(b"\xff\xfe\x00\x00L\xd1\x00\x00\xa4\xc2\x00\x00\xb8\xd2\x00\x00", encoding = "UTF-32")

print(targetString1)

print(targetString2)

"""

테스트

"""

[PYTHON/COMMON] str 클래스 : decode 메소드에서 encoding 인자 사용하기

■ str 클래스의 decode 메소드에서 encoding 인자를 사용하는 방법을 보여준다. ▶ 예제 코드 (PY)


sourceString = "테스트"

targetBytes = sourceString.encode(encoding = "UTF-32")

targetString = targetBytes.decode(encoding = "UTF-32")

print(targetString)

"""
테스트
"""

sourceString = "테스트"

targetBytes = sourceString.encode(encoding = "UTF-32")

targetString = targetBytes.decode(encoding = "UTF-32")

print(targetString)

"""

테스트

"""

[PYTHON/COMMON] str 클래스 : encode 메소드에서 encoding 인자 사용하기

■ str 클래스의 encode 메소드에서 encoding 인자를 사용해 인코딩 방식에 따라 변환한 바이트 값들을 구하는 방법을 보여준다. ▶ 예제 코드 (PY)


def printString(sourceString, encoding):
    targetBytes = sourceString.encode(encoding = encoding)

    print("소스 문자열 : %s" % sourceString)
    print("인코딩 타입 : %s" % encoding    )
    print("타겟 바이트 : %s" % targetBytes )
    print()

printString("ABCDE", "ASCII" )
printString("ABCDE", "CP949" )
printString("ABCDE", "EUC-KR")
printString("ABCDE", "UTF-8" )
printString("ABCDE", "UTF-16")
printString("ABCDE", "UTF-32")

"""
소스 문자열 : ABCDE
인코딩 타입 : ASCII
타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE
인코딩 타입 : CP949
타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE
인코딩 타입 : EUC-KR
타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE
인코딩 타입 : UTF-8
타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE
인코딩 타입 : UTF-16
타겟 바이트 : b'\xff\xfeA\x00B\x00C\x00D\x00E\x00'

소스 문자열 : ABCDE
인코딩 타입 : UTF-32
타겟 바이트 : b'\xff\xfe\x00\x00A\x00\x00\x00B\x00\x00\x00C\x00\x00\x00D\x00\x00\x00E\x00\x00\x00'
"""

def printString(sourceString, encoding):

targetBytes = sourceString.encode(encoding = encoding)

print("소스 문자열 : %s" % sourceString)

print("인코딩 타입 : %s" % encoding )

print("타겟 바이트 : %s" % targetBytes )

print()

printString("ABCDE", "ASCII" )

printString("ABCDE", "CP949" )

printString("ABCDE", "EUC-KR")

printString("ABCDE", "UTF-8" )

printString("ABCDE", "UTF-16")

printString("ABCDE", "UTF-32")

"""

소스 문자열 : ABCDE

인코딩 타입 : ASCII

타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE

인코딩 타입 : CP949

타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE

인코딩 타입 : EUC-KR

타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE

인코딩 타입 : UTF-8

타겟 바이트 : b'ABCDE'

소스 문자열 : ABCDE

인코딩 타입 : UTF-16

타겟 바이트 : b'\xff\xfeA\x00B\x00C\x00D\x00E\x00'

소스 문자열 : ABCDE

인코딩 타입 : UTF-32

타겟 바이트 : b'\xff\xfe\x00\x00A\x00\x00\x00B\x00\x00\x00C\x00\x00\x00D\x00\x00\x00E\x00\x00\x00'

"""

[PYTHON/COMMON] 에디터 작성 프로그램 실행시 오류 처리하기

■ 에디터에서 작성한 프로그램을 실행하는 경우 발생한 오류를 처리하는 방법을 보여준다. 만약 파이썬 2.7 버전을 사용한다면 소스 코드 가장 첫 번째 줄에