HTML

超文本标记语言（HTML） (opens in a new tab) 是用于在Web浏览器中显示的文档的标准标记语言。

这部分涵盖了如何将HTML文档加载到我们可以在下游使用的文档格式中。

from langchain_community.document_loaders import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader("example_data/fake-content.html")

data = loader.load()

data

    [Document(page_content='My First Heading\n\nMy first paragraph.', lookup_str='', metadata={'source': 'example_data/fake-content.html'}, lookup_index=0)]

使用BeautifulSoup4加载HTML

我们还可以使用BeautifulSoup4来使用BSHTMLLoader加载HTML文档。这将把HTML中的文本提取到page_content中，将页面标题作为title提取到metadata中。

from langchain_community.document_loaders import BSHTMLLoader

loader = BSHTMLLoader("example_data/fake-content.html")
data = loader.load()
data

    [Document(page_content='\n\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n', metadata={'source': 'example_data/fake-content.html', 'title': 'Test Title'})]

使用AzureAIDocumentIntelligenceLoader加载HTML

Azure AI文档智能 (opens in a new tab)（以前称为Azure Form Recognizer）是基于机器学习的服务，用于从数字或扫描的PDF、图像、Office和HTML文件中提取文本（包括手写）、表、文档结构（例如标题、节标题等）和键值对。文档智能支持 PDF、JPEG/JPG、PNG、BMP、TIFF、HEIF、DOCX、XLSX、PPTX 和 HTML。

这个使用文档智能的当前实现 (opens in a new tab)可以逐页合并内容并将其转换为LangChain文档。默认的输出格式是markdown，可以轻松地与MarkdownHeaderTextSplitter链接以进行语义文档分块。您还可以使用mode="single"或mode="page"来返回纯文本，一个页面或根据页面拆分的文档。

先决条件

在3个预览区域之一拥有Azure AI文档智能资源：East US、West US2、West Europe - 如果没有，请参考此文档 (opens in a new tab) 创建一份。您将作为参数传递 <endpoint> 和 <key> 给加载器。

%pip install --upgrade --quiet langchain langchain-community azure-ai-documentintelligence
 
from langchain_community.document_loaders import AzureAIDocumentIntelligenceLoader
 
file_path = "<filepath>"
endpoint = "<endpoint>"
key = "<key>"
loader = AzureAIDocumentIntelligenceLoader(
    api_endpoint=endpoint, api_key=key, file_path=file_path, api_model="prebuilt-layout"
)
 
documents = loader.load()

文件目录（FileDirectory）JSON（Json）