import requests
import string

APIURL = "https://www.wikidata.org/w/api.php"

def search(searchterm, lang):
    params = {
        'action': 'wbsearchentities',
        'format': 'json',
        'search': searchterm,
        'language': lang,
        'type': 'lexeme'}
    response = requests.get(APIURL, params=params).json()
    return response.get("search")

def process_text(text, lang):
    processed = []
    text = ''.join([i for i in text if not i.isdigit()])
    text = text.translate(text.maketrans('', '', string.punctuation))
    text = " ".join(text.splitlines())
    words = text.split(" ")
    for word in [x for x in words if len(x) > 1]:
        word = word.lower().strip()
        if word in processed:
            continue
        if not search(word, lang):
            print(word)
        processed.append(word)
text = """
Samerna ansågs inte ha hemortsrätt i Mellansverige och södra Norrland. Vid landstinget i Hälsingland 1645 ålades länsmännen att driva bort alla samer till fjälltrakterna, vilket följdes av flera liknande påbud under resten av 1600-talet. År 1720 utfärdades en kunglig förordning om att alla samer som uppehöll sig utanför Lappmarken skulle tvångsförvisas dit, men såvitt man vet förverkligades inte dessa planer. I stället vände sig bönderna i många socknar till sina landshövdingar och bad om att få behålla "en eller annan lapp såsom nödiga och bekvämliga till åtskilliga hushållstarvor och slöjder". Samerna i Dalarna vände sig också direkt till kungen 1730 och begärde att få stanna där "vi här tills vistande varit, som och att våra förfäders fäder härstädes äro födda och in till deras dödsdagar sitt uppehälle här haft". Detta ledde till ett kungligt beslut om att samerna fick bli kvar i Dalarna. Däremot skulle de fortfarande fördrivas från dåvarande Västernorrlands län, omfattande nuvarande Gävleborgs, Jämtlands och Västernorrlands län. År 1735 fick befolkningen i vissa socknar inom dåvarande Västernorrlands län kungligt tillstånd att "behålla 1 eller 2ne par lappfolk till att betjäna allmogen". Härigenom övergick de nomadiserande skogssamerna till fast bosättning och blev sockenlappar. En viktig del av deras verksamhet blev hästslakt och kastrering, som bönderna inte ville utföra själva
"""
process_text(text, "sv")
hemortsrätt
mellansverige
södra
hälsingland
ålades
länsmännen
fjälltrakterna
vilket
följdes
flera
påbud
uppehöll
lappmarken
tvångsförvisas
såvitt
landshövdingar
nödiga
bekvämliga
åtskilliga
hushållstarvor
slöjder
vistande
förfäders
härstädes
födda
kungligt
fördrivas
västernorrlands
gävleborgs
vissa
lappfolk
betjäna
allmogen
härigenom
nomadiserande
sockenlappar
hästslakt
kastrering
själva