from bs4 import BeautifulSoup
import requests
import csv
import time

getUrl= 'https://ta.wikipedia.org/wiki/அசாவீரன்குடிக்காடு ஊராட்சி'
url = getUrl
content = requests.get(url).content
soup = BeautifulSoup(content,'lxml')
#extracting page title
firstHeading = soup.find('h1',{'class' : 'firstHeading'})
print(firstHeading.text +'~')
அசாவீரன்குடிக்காடு ஊராட்சி~
!pip install wikipedia
Requirement already satisfied: wikipedia in /srv/paws/lib/python3.4/site-packages
Requirement already satisfied: beautifulsoup4 in /srv/paws/lib/python3.4/site-packages (from wikipedia)
Requirement already satisfied: requests<3.0.0,>=2.0.0 in /srv/paws/lib/python3.4/site-packages (from wikipedia)
import wikipedia
import re
wikipedia.set_lang('ta')
TitleWithaSentence = wikipedia.summary('அசாவீரன்குடிக்காடு ஊராட்சி', sentences=1)
#print (TitleWithaSentence)
re.search('(?<=\().*?(?=\))', TitleWithaSentence).group()
'Asaveerankudikadu Gram Panchayat'
QNumberData = soup.find(id='t-wikibase')
print(QNumberData)
<li id="t-wikibase"><a accesskey="g" href="https://www.wikidata.org/wiki/Special:EntityPage/Q23732287" title="Link to connected data repository item [g]">விக்கித்தரவுஉருப்படி</a></li>
QNumberOnly=(str(QNumber).split("EntityPage")[1].split('" title')[0].strip("/"))
print(QNumberOnly)
Q23732287
print(firstHeading.text +'~'+re.search('(?<=\().*?(?=\))', TitleWithaSentence).group() +'~'+QNumberOnly)
அசாவீரன்குடிக்காடு ஊராட்சி~Asaveerankudikadu Gram Panchayat~Q23732287
QCategoryLink = soup.find(id='mw-normal-catlinks')
print(QCategoryLink)
<div class="mw-normal-catlinks" id="mw-normal-catlinks"><a href="/wiki/%E0%AE%9A%E0%AE%BF%E0%AE%B1%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AF%81:Categories" title="சிறப்பு:Categories">பகுப்பு</a>: <ul><li><a href="/wiki/%E0%AE%AA%E0%AE%95%E0%AF%81%E0%AE%AA%E0%AF%8D%E0%AE%AA%E0%AF%81:%E0%AE%85%E0%AE%B0%E0%AE%BF%E0%AE%AF%E0%AE%B2%E0%AF%82%E0%AE%B0%E0%AF%8D_%E0%AE%AE%E0%AE%BE%E0%AE%B5%E0%AE%9F%E0%AF%8D%E0%AE%9F_%E0%AE%8A%E0%AE%B0%E0%AE%BE%E0%AE%9F%E0%AF%8D%E0%AE%9A%E0%AE%BF%E0%AE%95%E0%AE%B3%E0%AF%8D" title="பகுப்பு:அரியலூர் மாவட்ட ஊராட்சிகள்">அரியலூர் மாவட்ட ஊராட்சிகள்</a></li></ul></div>
QCategoryOnly=(str(QCategoryLink).split("பகுப்பு:")[1].split(' மாவட்ட ஊராட்சிகள்')[0])
print(QCategoryOnly)
அரியலூர்
print('இது தமிழகத்தின் '+ QCategoryOnly +' மாவட்டத்தில் உள்ளது')
இது தமிழகத்தின் அரியலூர் மாவட்டத்தில் உள்ளது
print(firstHeading.text +'~'+re.search('(?<=\().*?(?=\))', TitleWithaSentence).group() +'~'+QNumberOnly +'~'+'இது தமிழகத்தின் '+ QCategoryOnly +' மாவட்டத்தில் உள்ளது')
அசாவீரன்குடிக்காடு ஊராட்சி~Asaveerankudikadu Gram Panchayat~Q23732287~இது தமிழகத்தின் அரியலூர் மாவட்டத்தில் உள்ளது
print(QNumberOnly +'~'+'இது தமிழகத்தின் '+ QCategoryOnly +' மாவட்டத்தில் உள்ளது''~'+re.search('(?<=\().*?(?=\))', TitleWithaSentence).group() +'~'+firstHeading.text)
Q23732287~இது தமிழகத்தின் அரியலூர் மாவட்டத்தில் உள்ளது~Asaveerankudikadu Gram Panchayat~அசாவீரன்குடிக்காடு ஊராட்சி