关键词

节点后处理器模块。

KeywordNodePostprocessor

基类：BaseNodePostprocessor

基于关键词的节点处理器。

参数

名称	类型	描述	默认值
required_keywords	列表[str]	内置可变序列。 如果没有给出参数，构造函数会创建一个新的空列表。如果指定了参数，它必须是可迭代的。	<dynamic>
exclude_keywords	列表[str]	内置可变序列。 如果没有给出参数，构造函数会创建一个新的空列表。如果指定了参数，它必须是可迭代的。	<dynamic>
lang	str		'en'

源代码位于 llama-index-core/llama_index/core/postprocessor/node.py

class KeywordNodePostprocessor(BaseNodePostprocessor):
    """Keyword-based Node processor."""

    required_keywords: List[str] = Field(default_factory=list)
    exclude_keywords: List[str] = Field(default_factory=list)
    lang: str = Field(default="en")

    @classmethod
    def class_name(cls) -> str:
        return "KeywordNodePostprocessor"

    def _postprocess_nodes(
        self,
        nodes: List[NodeWithScore],
        query_bundle: Optional[QueryBundle] = None,
    ) -> List[NodeWithScore]:
        """Postprocess nodes."""
        try:
            import spacy
        except ImportError:
            raise ImportError(
                "Spacy is not installed, please install it with `pip install spacy`."
            )
        from spacy.matcher import PhraseMatcher

        nlp = spacy.blank(self.lang)
        required_matcher = PhraseMatcher(nlp.vocab)
        exclude_matcher = PhraseMatcher(nlp.vocab)
        required_matcher.add("RequiredKeywords", list(nlp.pipe(self.required_keywords)))
        exclude_matcher.add("ExcludeKeywords", list(nlp.pipe(self.exclude_keywords)))

        new_nodes = []
        for node_with_score in nodes:
            node = node_with_score.node
            doc = nlp(node.get_content())
            if self.required_keywords and not required_matcher(doc):
                continue
            if self.exclude_keywords and exclude_matcher(doc):
                continue
            new_nodes.append(node_with_score)

        return new_nodes