■ WebBaseLoader 클래스의 load 메소드를 사용해 웹 문서를 로드하는 방법을 보여준다. ▶ 예제 코드 (PY)
|
1 2 3 4 5 6 7 |
from langchain_community.document_loaders import WebBaseLoader webBaseLoader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/") documentList = webBaseLoader.load() |
■ WebBaseLoader 클래스를 사용해 웹 문서 로더를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)
|
1 2 3 4 5 |
from langchain_community.document_loaders import WebBaseLoader webBaseLoader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/") |
■ CharacterTextSplitter 클래스의 생성자에서 chunk_size/chunk_overlap 인자를 사용해 문자 텍스트 분할기를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)
|
1 2 3 4 5 |
from langchain_text_splitters import CharacterTextSplitter characterTextSplitter = CharacterTextSplitter(chunk_size = 1000, chunk_overlap = 0) |
■ TextLoader 클래스의 load 메소드를 사용해 텍스트 파일을 로드하는 방법을 보여준다. ▶ 예제 코드 (PY)
|
1 2 3 4 5 6 7 |
from langchain_community.document_loaders import TextLoader textLoader = TextLoader("state_of_the_union.txt") documentList = textLoader.load() |
■ TextLoader 클래스를 사용해 텍스트 로더를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)
|
1 2 3 4 5 |
from langchain_community.document_loaders import TextLoader textLoader = TextLoader("state_of_the_union.txt") |
■ FlowDocument 클래스에세 텍스트를 추출하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 |
using System.Windows.Documents; // ... FlowDocument flowDocument; // ... string text = FlowDocumentHelper.ExtractText(flowDocument); |
▶ FlowDocumentHelper.cs
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 |
using System; using System.Linq; using System.Text; using System.Windows.Documents; /// <summary> /// 플로우 문서 헬퍼 /// </summary> public static class FlowDocumentHelper { //////////////////////////////////////////////////////////////////////////////////////////////////// Method ////////////////////////////////////////////////////////////////////////////////////////// Static //////////////////////////////////////////////////////////////////////////////// Public #region 텍스트 추출하기 - ExtractText(flowDocument) /// <summary> /// 텍스트 추출하기 /// </summary> /// <param name="flowDocument">플로우 문서</param> /// <returns>텍스트</returns> public static string ExtractText(FlowDocument flowDocument) { if(flowDocument == null) { throw new ArgumentNullException(nameof(flowDocument)); } StringBuilder stringBuilder = new StringBuilder(); ExtractTextFromBlockCollection(flowDocument.Blocks, stringBuilder); return stringBuilder.ToString(); } #endregion //////////////////////////////////////////////////////////////////////////////// Private #region 인라인 컬렉션에서 텍스트 추출하기 - ExtractTextFromInlineCollection(inlineCollection, stringBuilder) /// <summary> /// 인라인 컬렉션에서 텍스트 추출하기 /// </summary> /// <param name="inlineCollection">인라인 컬렉션</param> /// <param name="stringBuilder">문자열 빌더</param> private static void ExtractTextFromInlineCollection(InlineCollection inlineCollection, StringBuilder stringBuilder) { foreach(Inline inline in inlineCollection) { if(inline is Run run) { stringBuilder.Append(run.Text); } else if(inline is LineBreak) { stringBuilder.AppendLine(); } else if(inline is Span span) { ExtractTextFromInlineCollection(span.Inlines, stringBuilder); } } } #endregion #region 테이블에서 텍스트 추출하기 - ExtractTextFromTable(table, stringBuilder) /// <summary> /// 테이블에서 텍스트 추출하기 /// </summary> /// <param name="table">테이블</param> /// <param name="stringBuilder">문자열 빌더</param> private static void ExtractTextFromTable(Table table, StringBuilder stringBuilder) { foreach(TableRow tableRow in table.RowGroups.SelectMany(group => group.Rows)) { foreach(TableCell tableCell in tableRow.Cells) { ExtractTextFromBlockCollection(tableCell.Blocks, stringBuilder); stringBuilder.Append("\t"); } stringBuilder.AppendLine(); } } #endregion #region 리스트에서 텍스트 추출하기 - ExtractTextFromList(list, stringBuilder) /// <summary> /// 리스트에서 텍스트 추출하기 /// </summary> /// <param name="list">리스트</param> /// <param name="stringBuilder">문자열 빌더</param> private static void ExtractTextFromList(List list, StringBuilder stringBuilder) { foreach(ListItem listItem in list.ListItems) { stringBuilder.Append("• "); ExtractTextFromBlockCollection(listItem.Blocks, stringBuilder); } } #endregion #region 블럭 컬렉션에서 텍스트 추출하기 - ExtractTextFromBlockCollection(blockCollection, stringBuilder) /// <summary> /// 블럭 컬렉션에서 텍스트 추출하기 /// </summary> /// <param name="blockCollection">블럭 컬렉션</param> /// <param name="stringBuilder">문자열 빌더</param> private static void ExtractTextFromBlockCollection(BlockCollection blockCollection, StringBuilder stringBuilder) { foreach(Block block in blockCollection) { if(block is Paragraph paragraph) { ExtractTextFromInlineCollection(paragraph.Inlines, stringBuilder); stringBuilder.AppendLine(); } else if(block is Section section) { ExtractTextFromBlockCollection(section.Blocks, stringBuilder); } else if(block is Table table) { ExtractTextFromTable(table, stringBuilder); } else if(block is List list) { ExtractTextFromList(list, stringBuilder); } } } #endregion } |
■ FlowDocumentScrollViewer 클래스에서 문서 끝까지 스크롤하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
using System.Windows.Controls; // ... FlowDocumentScrollViewer flowDocumentScrollViewer; // ... FlowDocumentScrollViewerHelper helper = new FlowDocumentScrollViewerHelper(flowDocumentScrollViewer); // ... helper.ScrollToEnd(); |
▶ FlowDocumentScrollViewerHelper.cs
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 |
using System.Windows; using System.Windows.Controls; using System.Windows.Media; /// <summary> /// 플로우 문서 스크롤 뷰어 헬퍼 /// </summary> public class FlowDocumentScrollViewerHelper { //////////////////////////////////////////////////////////////////////////////////////////////////// Field ////////////////////////////////////////////////////////////////////////////////////////// Private #region Field /// <summary> /// 플로우 문서 스크롤 뷰어 /// </summary> private FlowDocumentScrollViewer flowDocumentScrollViewer; /// <summary> /// 스크롤 뷰어 /// </summary> private ScrollViewer scrollViewer; #endregion //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor ////////////////////////////////////////////////////////////////////////////////////////// Public #region 생성자 - FlowDocumentScrollViewerHelper(flowDocumentScrollViewer) /// <summary> /// 생성자 /// </summary> /// <param name="flowDocumentScrollViewer">플로우 문서 스크롤 뷰어</param> public FlowDocumentScrollViewerHelper(FlowDocumentScrollViewer flowDocumentScrollViewer) { this.flowDocumentScrollViewer = flowDocumentScrollViewer; this.scrollViewer = GetScrollViewer(this.flowDocumentScrollViewer); } #endregion //////////////////////////////////////////////////////////////////////////////////////////////////// Method ////////////////////////////////////////////////////////////////////////////////////////// Public #region 끝까지 스크롤하기 - ScrollToEnd() /// <summary> /// 끝까지 스크롤하기 /// </summary> public void ScrollToEnd() { if(this.scrollViewer != null) { scrollViewer.ScrollToEnd(); } } #endregion ////////////////////////////////////////////////////////////////////////////////////////// Private #region 스크롤 뷰어 찾기 - GetScrollViewer(dependencyObject) /// <summary> /// 스크롤 뷰어 찾기 /// </summary> /// <param name="dependencyObject">의존 객체</param> /// <returns>스크롤 뷰어</returns> private ScrollViewer GetScrollViewer(DependencyObject dependencyObject) { if(dependencyObject is ScrollViewer scrollViewer) { return scrollViewer; } for(int i = 0; i < VisualTreeHelper.GetChildrenCount(dependencyObject); i++) { DependencyObject childDependencyObject = VisualTreeHelper.GetChild(dependencyObject, i); ScrollViewer targetScrollViewer = GetScrollViewer(childDependencyObject); if(targetScrollViewer != null) { return targetScrollViewer; } } return null; } #endregion } |
■ FlowDocumentReader 클래스에서 하단 컨트롤을 숨기는 방법을 보여준다. ▶ VisualHelper.cs
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 |
using System; using System.Windows; using System.Windows.Media; namespace TestProject; /// <summary> /// 비주얼 헬퍼 /// </summary> public static class VisualHelper { //////////////////////////////////////////////////////////////////////////////////////////////////// Method ////////////////////////////////////////////////////////////////////////////////////////// Static //////////////////////////////////////////////////////////////////////////////// Public #region 타입으로 자손 찾기 - FindDescendantByType(source, descendantType, specificTypeOnly) /// <summary> /// 타입으로 자손 찾기 /// </summary> /// <param name="source">소스 객체</param> /// <param name="descendantType">자손 타입</param> /// <param name="specificTypeOnly">특정 타입만 찾기 여부</param> /// <returns>자손 객체</returns> public static Visual FindDescendantByType(Visual source, Type descendantType, bool specificTypeOnly) { if(source == null) { return null; } if(specificTypeOnly ? (source.GetType() == descendantType) : (source.GetType() == descendantType) || (source.GetType().IsSubclassOf(descendantType))) { return source; } Visual target = null; if(source is FrameworkElement) { (source as FrameworkElement).ApplyTemplate(); } for(int i = 0; i < VisualTreeHelper.GetChildrenCount(source); i++) { Visual visual = VisualTreeHelper.GetChild(source, i) as Visual; target = FindDescendantByType(visual, descendantType, specificTypeOnly); if(target != null) { break; } } return target; } #endregion #region 타입으로 자손 찾기 - FindDescendantByType(source, descendantType) /// <summary> /// 타입으로 자손 찾기 /// </summary> /// <param name="source">소스 객체</param> /// <param name="descendantType">자손 타입</param> /// <returns>자손 객체</returns> public static Visual FindDescendantByType(Visual source, Type descendantType) { return FindDescendantByType(source, descendantType, true); } #endregion #region 타입으로 자손 찾기 - FindDescendantByType<TDescendant>(source) /// <summary> /// 타입으로 자손 찾기 /// </summary> /// <typeparam name="TDescendant">자손 타입</typeparam> /// <param name="source">소스 객체</param> /// <returns>자손 객체</returns> public static TDescendant FindDescendantByType<TDescendant>(Visual source) where TDescendant : Visual { Visual target = VisualHelper.FindDescendantByType(source, typeof(TDescendant)); return (TDescendant)target; } #endregion } |
▶ FlowDocumentExtension.cs
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 |
using System.Windows; using System.Windows.Controls; namespace TestProject; /// <summary> /// 플로우 문서 확장 /// </summary> public static class FlowDocumentExtension { //////////////////////////////////////////////////////////////////////////////////////////////////// Method ////////////////////////////////////////////////////////////////////////////////////////// Static //////////////////////////////////////////////////////////////////////////////// Public #region 컨트롤러 표시 여부 설정하기 - SetControllerVisibility(flowDocumentReader, visibility) /// <summary> /// 컨트롤러 표시 여부 설정하기 /// </summary> /// <param name="flowDocumentReader">플로우 문서 리더</param> /// <param name="visibility">표시 여부</param> public static void SetControllerVisibility(this FlowDocumentReader flowDocumentReader, Visibility visibility) { DockPanel childDockPanel = VisualHelper.FindDescendantByType<DockPanel>(flowDocumentReader); Grid grandChildGrid = VisualHelper.FindDescendantByType<Grid>(childDockPanel); Grid grandGrandChildGrid = VisualHelper.FindDescendantByType<Grid>(grandChildGrid); grandGrandChildGrid.Visibility = visibility; } #endregion } |
▶ MainWindow.xaml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 |
<Window x:Class="TestProject.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml" Width="800" Height="600" Title="TestProject" FontFamily="나눔고딕코딩" FontSize="16"> <Border Margin="10" BorderThickness="1" BorderBrush="DarkGray"> <FlowDocumentReader Name="flowDocumentReader" Padding="10"> <FlowDocument> <Paragraph> <Run>테스트 문자열 입니다.</Run> </Paragraph> <Paragraph> <Run>테스트 문자열 입니다.</Run> </Paragraph> <Paragraph> <Run>테스트 문자열 입니다.</Run> </Paragraph> <Paragraph> <Run>테스트 문자열 입니다.</Run> </Paragraph> <Paragraph> <Run>테스트 문자열 입니다.</Run> </Paragraph> </FlowDocument> </FlowDocumentReader> </Border> </Window> |
▶ MainWindow.xaml.cs
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
using System.Windows; namespace TestProject; /// <summary> /// 메인 윈도우 /// </summary> public partial class MainWindow : Window { //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor ////////////////////////////////////////////////////////////////////////////////////////// Public #region 생성자 - MainWindow() /// <summary> /// 생성자 /// </summary> public MainWindow() { InitializeComponent(); this.flowDocumentReader.SetControllerVisibility(Visibility.Collapsed); } #endregion } |
TestProject.zip
■ Hyperlink 엘리먼트의 NavigateUri 속성을 사용해 웹 사이트를 호출하는 방법을 보여준다. ※ 비주얼 스튜디오에서 TestProject(Unpackaged) 모드로 빌드한다. ※ TestProject.csproj 프로젝트 파일에서 WindowsPackageType
■ RichEditTextDocument 클래스의 SetText 메소드를 사용해 텍스트를 설정하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
using Microsoft.UI.Text; using Microsoft.UI.Xaml.Controls; // ... RichEditBox richEditBox; // ... RichEditTextDocument richEditTextDocument = richEditBox.Document; richEditTextDocument.SetText ( TextSetOptions.None, "Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam laoreet erat vel massa rutrum, eget mollis massa vulputate. Vivamus semper augue leo, eget faucibus nulla mattis nec. Donec scelerisque lacus at dui ultricies, eget auctor ipsum placerat. Integer aliquet libero sed nisi eleifend, nec rutrum arcu lacinia. Sed a sem et ante gravida congue sit amet ut augue. Donec quis pellentesque urna, non finibus metus. Proin sed ornare tellus. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Etiam laoreet erat vel massa rutrum, eget mollis massa vulputate. Vivamus semper augue leo, eget faucibus nulla mattis nec. Donec scelerisque lacus at dui ultricies, eget auctor ipsum placerat. Integer aliquet libero sed nisi eleifend, nec rutrum arcu lacinia. Sed a sem et ante gravida congue sit amet ut augue. Donec quis pellentesque urna, non finibus metus. Proin sed ornare tellus." ); |
■ ITextParagraphFormat 인터페이스의 Alignment 속성을 사용해 문단 정의을 설정하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
using Microsoft.UI.Text; using Microsoft.UI.Xaml.Controls; // ... RichEditBox richEditBox; // ... RichEditTextDocument richEditTextDocument = richEditBox.Document; ITextSelection textSelection = richEditTextDocument.Selection; ITextParagraphFormat textParagraphFormat = textSelection.ParagraphFormat; textParagraphFormat.Alignment = ParagraphAlignment.Left; |
■ ITextSelection 인터페이스의 ParagraphFormat 속성을 사용해 ITextParagraphFormat 객체를 구하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
using Microsoft.UI.Text; using Microsoft.UI.Xaml.Controls; // ... RichEditBox richEditBox; // ... RichEditTextDocument richEditTextDocument = richEditBox.Document; ITextSelection textSelection = richEditTextDocument.Selection; ITextParagraphFormat textParagraphFormat = textSelection.ParagraphFormat; |
■ RichEditTextDocument 클래스의 Selection 속성을 사용해 ITextSelection 객체를 구하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
using Microsoft.UI.Text; using Microsoft.UI.Xaml.Controls // ... RichEditBox richEditBox; // ... RichEditTextDocument richEditTextDocument = richEditBox.Document; ITextSelection textSelection = richEditTextDocument.Selection; |
■ RichEditBox 클래스의 Document 속성을 사용해 RichEditTextDocument 객체를 구하는 방법을 보여준다. ▶ 예제 코드 (C#)
|
1 2 3 4 5 6 7 8 9 10 11 12 |
using Microsoft.UI.Text; using Microsoft.UI.Xaml.Controls; // ... RichEditBox richEditBox; // ... RichEditTextDocument richEditTextDocument = richEditBox.Document; |
■ CharacterTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
from transformers import GPT2TokenizerFast from langchain_text_splitters import CharacterTextSplitter with open("sample.txt") as textIOWrapper: fileContent = textIOWrapper.read() gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2") characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0) stringList = characterTextSplitter.split_text(fileContent) for string in stringList: print(string) print() """ '잔느'는 귀족의 딸로 부모의 사랑을 받으며 어려움 없이 자란 소녀였다. 열일곱 살인 그녀는, 수녀원 부속 여학교를 졸업하고 행복에 대한 기대로 가득 차 있었다. 아버지인 '시몽 자크 르 페르튀 데 보' 남작은 선량하고 다정했고, 어머니는 따뜻했다. 다만 어머니는 심장비대증으로 고생 중이었는데, 로잘리가 잘 부축했다. 따뜻한 집안 분위기로 인해, 하녀인 '로잘리'는 둘째 딸 같은 대접을 받았다. 마을의 피코 신부는 이제 막 수녀원을 졸업한 잔느에게 한 청년을 소개해 주었다. 그는 '줄리앙 장 드 라마르' 자작으로, 검소하고 외모가 출중한 청년이었다. 줄리앙과 함께 소풍을 다녀온 잔느는 줄리앙을 사랑하게 되고, 결국 둘은 결혼을 한다. 그러나 결혼식 후, 그들의 첫날밤은 달콤하지 않았다. 잔느는 난폭하게 자신의 욕구만 채우고 잠든 줄리앙에게 심한 모욕감을 느낀다. 심지어 신혼여행 중 줄리앙은 잔느의 용돈 2천 프랑을 맡아준다며 가져가지만, 잔느가 쇼핑을 할 때마다 심한 눈치를 주었다. 결국 잔느는 쇼핑도 제대로 못하고, 줄리앙에게 자신의 용돈을 고스란히 빼앗기고 만다. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 filelock==3.15.4 fsspec==2024.6.1 huggingface-hub==0.23.4 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 numpy==1.26.4 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 safetensors==0.4.3 tenacity==8.4.2 tokenizers==0.19.1 tqdm==4.66.4 transformers==4.42.3 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ CharacterTextSplitter 클래스의 from_huggingface_tokenizer 메소드를 사용해 CharacterTextSplitter 객체를 만드는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 |
from transformers import GPT2TokenizerFast from langchain_text_splitters import CharacterTextSplitter gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2") characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0) |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 filelock==3.15.4 fsspec==2024.6.1 huggingface-hub==0.23.4 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 numpy==1.26.4 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 safetensors==0.4.3 tenacity==8.4.2 tokenizers==0.19.1 tqdm==4.66.4 transformers==4.42.3 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters transformers
■ KonlpyTextSplitter 클래스의 split_text 메소드를 사용해 한글 문자열에서 한글 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
from langchain_text_splitters import KonlpyTextSplitter with open("sample.txt") as textIOWrapper: fileContent = textIOWrapper.read() konlpyTextSplitter = KonlpyTextSplitter() stringList = konlpyTextSplitter.split_text(fileContent) for string in stringList[:3]: print(string) print() """ ' 잔느' 는 귀족의 딸로 부모의 사랑을 받으며 어려움 없이 자란 소녀였다. 열일곱 살인 그녀는, 수녀원 부속 여학교를 졸업하고 행복에 대한 기대로 가득 차 있었다. 아버지인 ' 시 몽 자크 르 페르튀 데 보' 남작은 선량하고 다정했고, 어머니는 따뜻했다. 다만 어머니는 심장 비대증으로 고생 중이었는데, 로잘리가 잘 부축했다. 따뜻한 집안 분위기로 인해, 하녀인 ' 로잘리' 는 둘째 딸 같은 대접을 받았다. 마을의 피코 신부는 이제 막 수녀원을 졸업한 잔느에게 한 청년을 소개해 주었다. 그는 ' 줄 리 앙 장 드 라 마르' 자작으로, 검소하고 외모가 출중한 청년이었다. 줄리앙과 함께 소풍을 다녀온 잔 느는 줄리앙을 사랑하게 되고, 결국 둘은 결혼을 한다. 그러나 결혼식 후, 그들의 첫날 밤은 달콤하지 않았다. 잔 느는 난폭하게 자신의 욕구만 채우고 잠든 줄리앙에게 심한 모욕감을 느낀다. 심지어 신혼여행 중 줄리앙은 잔느의 용돈 2천 프랑을 맡아 준다며 가져가지만, 잔느가 쇼핑을 할 때마다 심한 눈치를 주었다. 결국 잔 느는 쇼핑도 제대로 못하고, 줄리앙에게 자신의 용돈을 고스란히 빼앗기고 만다. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 JPype1==1.5.0 jsonpatch==1.33 jsonpointer==3.0.0 konlpy==0.6.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 lxml==5.2.2 numpy==2.0.0 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 requests==2.32.3 tenacity==8.4.2 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip
■ NLTKTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 |
from langchain_text_splitters import NLTKTextSplitter with open("state_of_the_union.txt") as textIOWrapper: fileContent = textIOWrapper.read() nltkTextSplitter = NLTKTextSplitter(chunk_size = 1000) strnigList = nltkTextSplitter.split_text(fileContent) print(strnigList[0]) """ Madam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and the Cabinet. Justices of the Supreme Court. My fellow Americans. Last year COVID-19 kept us apart. This year we are finally together again. Tonight, we meet as Democrats Republicans and Independents. But most importantly as Americans. With a duty to one another to the American people to the Constitution. And with an unwavering resolve that freedom will always triumph over tyranny. Six days ago, Russia’s Vladimir Putin sought to shake the foundations of the free world thinking he could make it bend to his menacing ways. But he badly miscalculated. He thought he could roll into Ukraine and the world would roll over. Instead he met a wall of strength he never imagined. He met the Ukrainian people. From President Zelenskyy to every Ukrainian, their fearlessness, their courage, their determination, inspires the world. Groups of citizens blocking tanks with their bodies. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 click==8.1.7 idna==3.7 joblib==1.4.2 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 nltk==3.8.1 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tqdm==4.66.4 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ SentenceTransformersTokenTextSplitter 클래스의 count_tokens 메소드를 사용해 토큰 수를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
from langchain_text_splitters import SentenceTransformersTokenTextSplitter with open("state_of_the_union.txt") as textIOWrapper: fileContent = textIOWrapper.read() sentenceTransformersTokenTextSplitter = SentenceTransformersTokenTextSplitter( model_name = "sentence-transformers/all-mpnet-base-v2", tokens_per_chunk = 384, chunk_overlap = 32 ) tokenCount = sentenceTransformersTokenTextSplitter.count_tokens(text = fileContent) print(tokenCount) """ 8093 """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 filelock==3.15.4 fsspec==2024.6.1 huggingface-hub==0.23.4 idna==3.7 Jinja2==3.1.4 joblib==1.4.2 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 MarkupSafe==2.1.5 mpmath==1.3.0 networkx==3.3 numpy==1.26.4 nvidia-cublas-cu12==12.1.3.1 nvidia-cuda-cupti-cu12==12.1.105 nvidia-cuda-nvrtc-cu12==12.1.105 nvidia-cuda-runtime-cu12==12.1.105 nvidia-cudnn-cu12==8.9.2.26 nvidia-cufft-cu12==11.0.2.54 nvidia-curand-cu12==10.3.2.106 nvidia-cusolver-cu12==11.4.5.107 nvidia-cusparse-cu12==12.1.0.106 nvidia-nccl-cu12==2.20.5 nvidia-nvjitlink-cu12==12.5.40 nvidia-nvtx-cu12==12.1.105 orjson==3.10.5 packaging==24.1 pillow==10.3.0 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 safetensors==0.4.3 scikit-learn==1.5.0 scipy==1.14.0 sentence-transformers==3.0.1 sympy==1.12.1 tenacity==8.4.2 threadpoolctl==3.5.0 tokenizers==0.19.1 torch==2.3.1 tqdm==4.66.4 transformers==4.42.3 triton==2.3.1 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters sentence-transformers
■ SentenceTransformersTokenTextSplitter 클래스를 사용해 문장 변환 토큰 텍스트 분리자를 만드는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 |
from langchain_text_splitters import SentenceTransformersTokenTextSplitter sentenceTransformersTokenTextSplitter = SentenceTransformersTokenTextSplitter( model_name = "sentence-transformers/all-mpnet-base-v2", tokens_per_chunk = 384, chunk_overlap = 32 ) |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 filelock==3.15.4 fsspec==2024.6.1 huggingface-hub==0.23.4 idna==3.7 Jinja2==3.1.4 joblib==1.4.2 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 MarkupSafe==2.1.5 mpmath==1.3.0 networkx==3.3 numpy==1.26.4 nvidia-cublas-cu12==12.1.3.1 nvidia-cuda-cupti-cu12==12.1.105 nvidia-cuda-nvrtc-cu12==12.1.105 nvidia-cuda-runtime-cu12==12.1.105 nvidia-cudnn-cu12==8.9.2.26 nvidia-cufft-cu12==11.0.2.54 nvidia-curand-cu12==10.3.2.106 nvidia-cusolver-cu12==11.4.5.107 nvidia-cusparse-cu12==12.1.0.106 nvidia-nccl-cu12==2.20.5 nvidia-nvjitlink-cu12==12.5.40 nvidia-nvtx-cu12==12.1.105 orjson==3.10.5 packaging==24.1 pillow==10.3.0 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 safetensors==0.4.3 scikit-learn==1.5.0 scipy==1.14.0 sentence-transformers==3.0.1 sympy==1.12.1 tenacity==8.4.2 threadpoolctl==3.5.0 tokenizers==0.19.1 torch==2.3.1 tqdm==4.66.4 transformers==4.42.3 triton==2.3.1 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ TokenTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
from langchain_text_splitters import TokenTextSplitter with open("state_of_the_union.txt") as textIOWrapper: fileContent = textIOWrapper.read() tokenTextSplitter = TokenTextSplitter(chunk_size = 10, chunk_overlap = 0) stringList = tokenTextSplitter.split_text(fileContent) for string in stringList[:3]: print(string) print() """ Madam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and the Cabinet. Justices of the Supreme Court. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tiktoken==0.7.0 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ RecursiveCharacterTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
from langchain_text_splitters import RecursiveCharacterTextSplitter with open("state_of_the_union.txt") as textIOWrapper: fileContent = textIOWrapper.read() recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder( model_name = "gpt-4", chunk_size = 100, chunk_overlap = 0 ) stringList = recursiveCharacterTextSplitter.split_text(fileContent) for string in stringList[:3]: print(string) print() """ Madam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and the Cabinet. Justices of the Supreme Court. My fellow Americans. Last year COVID-19 kept us apart. This year we are finally together again. Tonight, we meet as Democrats Republicans and Independents. But most importantly as Americans. With a duty to one another to the American people to the Constitution. And with an unwavering resolve that freedom will always triumph over tyranny. Six days ago, Russia’s Vladimir Putin sought to shake the foundations of the free world thinking he could make it bend to his menacing ways. But he badly miscalculated. He thought he could roll into Ukraine and the world would roll over. Instead he met a wall of strength he never imagined. He met the Ukrainian people. From President Zelenskyy to every Ukrainian, their fearlessness, their courage, their determination, inspires the world. Groups of citizens blocking tanks with their bodies. Everyone from students to retirees teachers turned soldiers defending their homeland. In this struggle as President Zelenskyy said in his speech to the European Parliament “Light will win over darkness.” The Ukrainian Ambassador to the United States is here tonight. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tiktoken==0.7.0 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ RecursiveCharacterTextSplitter 클래스의 from_tiktoken_encoder 메소드를 사용해 토큰 기준 분할용 RecursiveCharacterTextSplitter 객체를 만드는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 |
from langchain_text_splitters import RecursiveCharacterTextSplitter recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder( model_name = "gpt-4", chunk_size = 100, chunk_overlap = 0 ) |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tiktoken==0.7.0 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip
■ CharacterTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
from langchain_text_splitters import CharacterTextSplitter with open("state_of_the_union.txt") as textIOWrapper: fileContent = textIOWrapper.read() characterTextSplitter = CharacterTextSplitter.from_tiktoken_encoder(encoding_name = "cl100k_base", chunk_size = 100, chunk_overlap = 0) stringList = characterTextSplitter.split_text(fileContent) for string in stringList[:3]: print(string) print() |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tiktoken==0.7.0 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install langchain-text-splitters
■ CharacterTextSplitter 클래스의 from_tiktoken_encoder 메소드를 사용해 토큰 기준 분할용 CharacterTextSplitter 객체를 만드는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 |
from langchain_text_splitters import CharacterTextSplitter characterTextSplitter = CharacterTextSplitter.from_tiktoken_encoder(encoding_name = "cl100k_base", chunk_size = 100, chunk_overlap = 0) |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
annotated-types==0.7.0 certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.10 langchain-text-splitters==0.2.2 langsmith==0.1.82 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 tenacity==8.4.2 tiktoken==0.7.0 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip