import pywikibot
import csv
import re
import requests

from pywikibot import pagegenerators as pg

with open('VUgeheugen.rq', 'r') as query_file:
    QUERY = query_file.read()

wikidata_site = pywikibot.Site("wikidata", "wikidata")
generator = pg.WikidataSPARQLPageGenerator(QUERY, site=wikidata_site)

for item in generator:
    
    site = pywikibot.Site("wikidata", "wikidata")
    repo = site.data_repository()
    # item = pywikibot.ItemPage(repo, "Q362796")


    item_dict = item.get() #Get the item dictionary
    clm_dict = item_dict["claims"] # Get the claim dictionary
    clm_list = clm_dict["P5908"] #VUcode

    for clm in clm_list:
        clm_trgt = clm.getTarget()
        print(clm_trgt)
        url = " https://www.geheugenvandevu.nl/hoofdmenu/personen/" + clm_trgt
        print (url)

        r = requests.get(url)
        r.text
        # Geboren: </span>8 juli 1932</div>
        a = re.search('Geboren: </span>([^<]+)</div>', r.text) 
        b = re.search('Overleden: </span>([^<]+)</div>', r.text) 
        #<span class="ccm-block-page-attribute-display-title"></span>Hoogleraar Nieuwe Testament, 1975-1983 en 1990-1997</div>
        c = re.search('display-title"></span>([^<]+)</div>', r.text) 
            
        print ("RUN")
        geboren =""
        gestorven=""
        aanstelling=""
        if a:
            geboren = (a.group(1))
        if b:
            gestorven = (b.group(1))
        if c:
            aanstelling = (c.group(1))
    
        with open("output_VU.csv", "a", newline="", encoding='utf-8') as csvf:
            fields = ["qid", "VU", "geboren", "gestorven", "aanstelling"]
            writer = csv.DictWriter(csvf, fieldnames=fields)
#            writer.writeheader()
            writer.writerow({"qid":item, "VU":clm_trgt, "geboren":geboren, "gestorven":gestorven, "aanstelling":aanstelling})
#            website = x.group(1)
#            if website.find("wikipedia") == -1:
#                if website.find(" ") == -1:
#                    stringclaim = pywikibot.Claim(repo, u'P856')
#                    stringclaim.setTarget(website)
#                    item.addClaim(stringclaim, summary=u'Adding URL from RKD')

sebestyen-jeno
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sebestyen-jeno
RUN
fokkema-k
 https://www.geheugenvandevu.nl/hoofdmenu/personen/fokkema-k
RUN
berkouwer-gc
 https://www.geheugenvandevu.nl/hoofdmenu/personen/berkouwer-gc
RUN
bouman-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bouman-l
RUN
smit-mc
 https://www.geheugenvandevu.nl/hoofdmenu/personen/smit-mc
RUN
lever-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/lever-j
RUN
donner-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/donner-j
RUN
gaay-fortman-jp-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gaay-fortman-jp-de
RUN
dijk-pl
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dijk-pl
RUN
muiswinkel-fl-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/muiswinkel-fl-van
RUN
koksma-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/koksma-j
RUN
schalkwijk-wf
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schalkwijk-wf
RUN
savornin-lohman-f-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/savornin-lohman-f-de
RUN
rijnsdorp-c
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rijnsdorp-c
RUN
rutgers-hovy-mw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rutgers-hovy-mw
RUN
booij-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/booij-j
RUN
heemskerk
 https://www.geheugenvandevu.nl/hoofdmenu/personen/heemskerk
RUN
bavinck-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bavinck-h
RUN
coops-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/coops-j
RUN
colijn-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/colijn-h
RUN
zijlstra-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/zijlstra-j
RUN
rutgers-vh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rutgers-vh
RUN
algera-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/algera-j
RUN
onvlee-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/onvlee-l
RUN
oversteeg-j-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/oversteeg-j-van
RUN
beyers-naude-cf
 https://www.geheugenvandevu.nl/hoofdmenu/personen/beyers-naude-cf
RUN
jonker-cc
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jonker-cc
RUN
verkuyl-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verkuyl-j
RUN
savornin-lohman-wh-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/savornin-lohman-wh-de
RUN
kuyper-cme
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuyper-cme
RUN
jonckheer-e
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jonckheer-e
RUN
rutgers-fl
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rutgers-fl
RUN
hoek-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hoek-j
RUN
schneider-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schneider-j
RUN
buytendijk-fjj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/buytendijk-fjj
RUN
faassen-f
 https://www.geheugenvandevu.nl/hoofdmenu/personen/faassen-f
RUN
zevenbergen-chr
 https://www.geheugenvandevu.nl/hoofdmenu/personen/zevenbergen-chr
RUN
anema
 https://www.geheugenvandevu.nl/hoofdmenu/personen/anema
RUN
peursen-c-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/peursen-c-van
RUN
hovy-w
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hovy-w
RUN
borst-p
 https://www.geheugenvandevu.nl/hoofdmenu/personen/borst-p
RUN
tilanus
 https://www.geheugenvandevu.nl/hoofdmenu/personen/tilanus
RUN
breen-jc
 https://www.geheugenvandevu.nl/hoofdmenu/personen/breen-jc
RUN
lindeboom-g
 https://www.geheugenvandevu.nl/hoofdmenu/personen/lindeboom-g
RUN
oranje-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/oranje-j
RUN
horst-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/horst-l
RUN
thierry-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/thierry-h
RUN
gispen
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gispen
RUN
sillevis-smitt-pe
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sillevis-smitt-pe
RUN
neeve-pw-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/neeve-pw-de
RUN
gelderen-c-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gelderen-c-van
RUN
geesink-w
 https://www.geheugenvandevu.nl/hoofdmenu/personen/geesink-w
RUN
buskes-jj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/buskes-jj
RUN
lammens-gn
 https://www.geheugenvandevu.nl/hoofdmenu/personen/lammens-gn
RUN
algera-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/algera-l
RUN
waterink-j-1
 https://www.geheugenvandevu.nl/hoofdmenu/personen/waterink-j-1
RUN
rookmaker-hr
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rookmaker-hr
RUN
woltjer-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/woltjer-j
RUN
verheul-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verheul-h
RUN
molen-ghj-van-der
 https://www.geheugenvandevu.nl/hoofdmenu/personen/molen-ghj-van-der
RUN
haantjes-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/haantjes-j
RUN
jonker-gd
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jonker-gd
RUN
scheurer-jg
 https://www.geheugenvandevu.nl/hoofdmenu/personen/scheurer-jg
RUN
stolte-lm
 https://www.geheugenvandevu.nl/hoofdmenu/personen/stolte-lm
RUN
diepenhorst-p
 https://www.geheugenvandevu.nl/hoofdmenu/personen/diepenhorst-p
RUN
biesterveld-p
 https://www.geheugenvandevu.nl/hoofdmenu/personen/biesterveld-p
RUN
vandenberghe-gpv
 https://www.geheugenvandevu.nl/hoofdmenu/personen/vandenberghe-gpv
RUN
brinkman-hj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/brinkman-hj
RUN
kooy-tp-van-der
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kooy-tp-van-der
RUN
wiggers-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/wiggers-j
RUN
frei-rw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/frei-rw
RUN
yap-thiam-hien
 https://www.geheugenvandevu.nl/hoofdmenu/personen/yap-thiam-hien
RUN
zylstra-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/zylstra-h
RUN
brillenburg-wurth-g
 https://www.geheugenvandevu.nl/hoofdmenu/personen/brillenburg-wurth-g
RUN
nauta-wth
 https://www.geheugenvandevu.nl/hoofdmenu/personen/nauta-wth
RUN
nes-k-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/nes-k-van
RUN
dooyeweerd-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dooyeweerd-h
RUN
dekker-ringnalda
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dekker-ringnalda
RUN
aalders-gjd
 https://www.geheugenvandevu.nl/hoofdmenu/personen/aalders-gjd
RUN
rutgers-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rutgers-l
RUN
toppen-wh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/toppen-wh
RUN
bos-kzn-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bos-kzn-h
RUN
drogendijk-c
 https://www.geheugenvandevu.nl/hoofdmenu/personen/drogendijk-c
RUN
scholten
 https://www.geheugenvandevu.nl/hoofdmenu/personen/scholten
RUN
verdam-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verdam-j
RUN
attema-ds
 https://www.geheugenvandevu.nl/hoofdmenu/personen/attema-ds
RUN
wille-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/wille-j
RUN
stamenkovic-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/stamenkovic-l
RUN
kuyper
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuyper
RUN
okma-n
 https://www.geheugenvandevu.nl/hoofdmenu/personen/okma-n
RUN
vollenhoven-dhth
 https://www.geheugenvandevu.nl/hoofdmenu/personen/vollenhoven-dhth
RUN
hartog-h-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hartog-h-de
RUN
caron-wjh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/caron-wjh
RUN
schelven-b-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schelven-b-van
RUN
goslinga
 https://www.geheugenvandevu.nl/hoofdmenu/personen/goslinga
RUN
howeler-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/howeler-h
RUN
smitskamp-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/smitskamp-h
RUN
sintmaartensdijk-lw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sintmaartensdijk-lw
RUN
tazelaar-c
 https://www.geheugenvandevu.nl/hoofdmenu/personen/tazelaar-c
RUN
diepenhorst-i
 https://www.geheugenvandevu.nl/hoofdmenu/personen/diepenhorst-i
RUN
geschiedde-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/geschiedde-l
RUN
janse-de-jonge-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/janse-de-jonge-l
RUN
gerbrandy-s
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gerbrandy-s
RUN
nathans-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/nathans-j
RUN
roos-f-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/roos-f-de
RUN
grosheide
 https://www.geheugenvandevu.nl/hoofdmenu/personen/grosheide
RUN
woltjer-rh-1
 https://www.geheugenvandevu.nl/hoofdmenu/personen/woltjer-rh-1
RUN
begemann-w
 https://www.geheugenvandevu.nl/hoofdmenu/personen/begemann-w
RUN
sizoo-1
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sizoo-1
RUN
oosterhuis-e
 https://www.geheugenvandevu.nl/hoofdmenu/personen/oosterhuis-e
RUN
zuidema-su
 https://www.geheugenvandevu.nl/hoofdmenu/personen/zuidema-su
RUN
ingen-schenau-gj-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/ingen-schenau-gj-van
RUN
grosheide-fw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/grosheide-fw
RUN
hoedemaker-phj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hoedemaker-phj
RUN
dalen-e-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dalen-e-van
RUN
blok-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/blok-j
RUN
folkerts-jf
 https://www.geheugenvandevu.nl/hoofdmenu/personen/folkerts-jf
RUN
ferwerda-t
 https://www.geheugenvandevu.nl/hoofdmenu/personen/ferwerda-t
RUN
halsema-jdf-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/halsema-jdf-van
RUN
verdam-okma-s
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verdam-okma-s
RUN
wielenga-g
 https://www.geheugenvandevu.nl/hoofdmenu/personen/wielenga-g
RUN
schelven-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schelven-van
RUN
diemer-e
 https://www.geheugenvandevu.nl/hoofdmenu/personen/diemer-e
RUN
eeghen-th-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/eeghen-th-van
RUN
dijk-r-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dijk-r-van
RUN
sneller-zw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sneller-zw
RUN
kuiper-g
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuiper-g
RUN
rooy-joh-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rooy-joh-van
RUN
nauta-d
 https://www.geheugenvandevu.nl/hoofdmenu/personen/nauta-d
RUN
schippers-r
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schippers-r
RUN
thijs-jd
 https://www.geheugenvandevu.nl/hoofdmenu/personen/thijs-jd
RUN
dijk-jjc-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dijk-jjc-van
RUN
krap-joh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/krap-joh
RUN
aalders-gch
 https://www.geheugenvandevu.nl/hoofdmenu/personen/aalders-gch
RUN
groen-p
 https://www.geheugenvandevu.nl/hoofdmenu/personen/groen-p
RUN
ridderbos-nh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/ridderbos-nh
RUN
klein-wassink-hjw
 https://www.geheugenvandevu.nl/hoofdmenu/personen/klein-wassink-hjw
RUN
hepp-v
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hepp-v
RUN
michael-pr
 https://www.geheugenvandevu.nl/hoofdmenu/personen/michael-pr
RUN
jonge-j-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jonge-j-de
RUN
idenburg-wf
 https://www.geheugenvandevu.nl/hoofdmenu/personen/idenburg-wf
RUN
algra-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/algra-h
RUN
kuiper-fzn-d
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuiper-fzn-d
RUN
mulia-tsg
 https://www.geheugenvandevu.nl/hoofdmenu/personen/mulia-tsg
RUN
hellema
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hellema
RUN
roelink-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/roelink-j
RUN
kuyper-hh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuyper-hh
RUN
kuypers
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuypers
RUN
namen-h-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/namen-h-van
RUN
sizoo
 https://www.geheugenvandevu.nl/hoofdmenu/personen/sizoo
RUN
verleur-jd
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verleur-jd
RUN
hooykaas-r
 https://www.geheugenvandevu.nl/hoofdmenu/personen/hooykaas-r
RUN
gerbrandy-ps
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gerbrandy-ps
RUN
donner-r
 https://www.geheugenvandevu.nl/hoofdmenu/personen/donner-r
RUN
king-ml
 https://www.geheugenvandevu.nl/hoofdmenu/personen/king-ml
RUN
vries-gj-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/vries-gj-de
RUN
gaay-fortman-wf-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/gaay-fortman-wf-de
RUN
kuiper-jp
 https://www.geheugenvandevu.nl/hoofdmenu/personen/kuiper-jp
RUN
veen-s-van-der
 https://www.geheugenvandevu.nl/hoofdmenu/personen/veen-s-van-der
RUN
diemer-lindeboom-ft
 https://www.geheugenvandevu.nl/hoofdmenu/personen/diemer-lindeboom-ft
RUN
zevenbergen-w
 https://www.geheugenvandevu.nl/hoofdmenu/personen/zevenbergen-w
RUN
mullender-p
 https://www.geheugenvandevu.nl/hoofdmenu/personen/mullender-p
RUN
scholte-pjl
 https://www.geheugenvandevu.nl/hoofdmenu/personen/scholte-pjl
RUN
mar
 https://www.geheugenvandevu.nl/hoofdmenu/personen/mar
RUN
schreuder-h
 https://www.geheugenvandevu.nl/hoofdmenu/personen/schreuder-h
RUN
jong-jj-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jong-jj-de
RUN
dijk-k
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dijk-k
RUN
strengholt-l
 https://www.geheugenvandevu.nl/hoofdmenu/personen/strengholt-l
RUN
eikema-hommes-hj-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/eikema-hommes-hj-van
RUN
wijk-hd-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/wijk-hd-van
RUN
baarda-tj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/baarda-tj
RUN
rooijen-jp-van
 https://www.geheugenvandevu.nl/hoofdmenu/personen/rooijen-jp-van
RUN
jong-g-de
 https://www.geheugenvandevu.nl/hoofdmenu/personen/jong-g-de
RUN
versteeg-thh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/versteeg-thh
RUN
oranje-van-der-meulen-mj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/oranje-van-der-meulen-mj
RUN
verdam-pj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/verdam-pj
RUN
bohatec-j
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bohatec-j
RUN
notohamidjojo-o
 https://www.geheugenvandevu.nl/hoofdmenu/personen/notohamidjojo-o
RUN
fabius-dpd
 https://www.geheugenvandevu.nl/hoofdmenu/personen/fabius-dpd
RUN
bavinck-jh
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bavinck-jh
RUN
bakker-dm
 https://www.geheugenvandevu.nl/hoofdmenu/personen/bakker-dm
RUN
pos-hj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/pos-hj
RUN
dilloo-fwj
 https://www.geheugenvandevu.nl/hoofdmenu/personen/dilloo-fwj
RUN