forked from explosion/spacy-course
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathsolution_03_07.py
31 lines (26 loc) · 1.15 KB
/
solution_03_07.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import spacy
from spacy.language import Language
from spacy.matcher import PhraseMatcher
from spacy.tokens import Span
nlp = spacy.load("ja_core_news_sm")
animals = ["ゴールデンレトリバー", "ネコ", "カメ", "ドブネズミ"]
animal_patterns = list(nlp.pipe(animals))
print("動物の一覧: ", animal_patterns)
matcher = PhraseMatcher(nlp.vocab)
matcher.add("ANIMAL", None, *animal_patterns)
# カスタムコンポーネントを定義
@Language.component("animal_component")
def animal_component_function(doc):
# matcherをdocに適用
matches = matcher(doc)
# マッチした結果に対してSpanを作り、"ANIMAL"のラベルを付ける
spans = [Span(doc, start, end, label="ANIMAL") for match_id, start, end in matches]
# doc.entsにマッチ結果のスパンを追加
doc.ents = spans
return doc
# 「ner」コンポーネントのあとに追加
nlp.add_pipe("animal_component", after="ner")
print(nlp.pipe_names)
# テキストを処理し、doc.entsの文字列とラベルを表示
doc = nlp("私はネコとゴールデンレトリバーを飼っている。")
print([(ent.text, ent.label_) for ent in doc.ents])