import mwxml
import gzip
import dateutil
import glob
import csv
import json
import os.path
import bz2
import itertools
file = '/public/dumps/public/ukwiki/20180701/ukwiki-20180701-pages-meta-current.xml.bz2'
f = bz2.open(file)
 
def clean(pages, _):
    for page in pages:
        yield dict(id=page.id, title=page.title, text=text(page))

with open('texts.json', 'w') as o:
    for row in mwxml.map(clean, [file]):
        o.write(json.dumps(row) + '\n')
import mwparserfromhell
stop_words = ('.', '.', ',', '•', ' ', '\n')
def text(page):
    parsed = mwparserfromhell.parse(list(page)[0].text)
    return parsed.strip_code().replace('\n', ' ')
print(rows[100])
(709, 'Глазовий Павло Прокопович', 'Павло Прокопович Глазовий (* 30 серпня 1922, Новоскелюватка\xa0— † 29 жовтня 2004, Київ)\xa0— український поет-гуморист і сатирик. Автор поеми «Слався, Вітчизно моя!», 13 книжок сатири та гумору, 8 книжок для дітей.   Життєпис  Народився 30 серпня 1922 року в селі Новоскелюватка (нині Казанківського району, Миколаївської області) в сім\'ї хлібороба. Вчився у Новомосковській педагогічній школі на Дніпропетровщині. Після закінчення педагогічної школи у 1940\xa0році був призваний служити в армії. Учасник німецько-радянської війни.  Після війни навчався в Криворізькому педагогічному інституті, де його запримітив Остап Вишня. Письменник почав опікуватися подальшою долею талановитого юнака, подбав про те, щоб його перевели навчатися у Київ. 1950 року закінчив філологічний факультет Київського педагогічного інституту імені О.\xa0М.\xa0Горького. У 1950–1961\xa0роках\xa0— заступник головного редактора журналу «Перець», згодом заступник головного редактора журналу «Мистецтво».  міні|200пкс|Могила Павла Глазового Жив у Києві на вулиці Льва Толстого, 25. Помер 29 жовтня 2004 року. Похований в Києві на Байковому кладовищі (ділянка №\xa049б).   Твори    Поеми   «Слався, Вітчизно моя!» (1958)  «Куміада» (1969)   Поетичні збірки сатири та гумору   «Великі цяці» (1956)  «Карикатури з натури» (1963)  «Коротко і ясно» (1965)  «Щоб вам весело було» (1967)  «Усмішки» (1971)  «Смійтесь, друзі, на здоров\'я» (1973)  «Байки та усмішки» (1975)  «Весела розмова»(1979)  «Хай вам буде весело» (1981)  «Сміхологія» (1982)  «Вибрані усмішки» (1992)  «Веселий світ і Чорна книга» (1996)  збірка «Сміхослов» (1997)  «Сміхологія, вибране» (2003) thumb|250px|Сміхологія (вибране)  «Архетипи. Гумор. Сатира.» (2003)  Видання за ініціативи сина поета Олекси у видавництві ФОП Стебеляк:  «Сміхологія, видання третє доповнене» (2007)  «Сміхологія, видання четверте» (2007)  «Байкографія, видання третє» (2008)  «Архетипи, видання друге» (2009)  «Куміада. Для дітей і дорослих.» (2009)  «Веселі гуморески» (2010)  «Школярикам. Гуморески. Баєчки.» (2011)  «Сміхологія» (2013)  «Дорослі гуморески» (2013)  «Про Пончика, Батончика та Білого Слоника. Славнийвоїн Печериця» (2013)   Книжки для дітей   «Пушок і Дружок» (1957) в співавторстві з Ф. Маківчуком  «Старі друзі» (1959), в співавторстві з Ф. Маківчуком  «Про відважного Барвінка та Коника-Дзвоника» (1958)\xa0— у співавторстві з Б. Чалим,  «Іванець-Бігунець» (1963)  «Як сторінка, то й картинка» (1964)  «Про Сергійка-Нежалійка та клоуна Бобу» (1965)  «Перченя» (1966)  «Школярикам. Гуморески. Баєчки.» (2011)  «Про Пончика, Батончика та Білого Слоника. Славнийвоїн Печериця» (2013)   Інші твори   Двомовний кум («Архетипи» 2009)  Кум-президент («Архетипи»2009)  Соловки, соловки…  Ображена Сара  Очманілий ребе  Бородате чудо  Клани і гетьмани  Маланці  Дядько їсти хоче  Заморські гості  Заноза  Красотульки  Кто шумєл?  Мова величава  Не в своїй тарілці  Серед темної ночі  Спілкування  Турок   Нагороди   Лауреат премії імені Остапа Вишні (1988; року за книжку «Сміхологія»);  Перший лауреат премії імені Петра Сагайдачного (1996);  Літературна премія імені Наталі Забіли;  Орден «За заслуги» 3 ступеня (1997; за вагомий внесок в українську літературу);  Почесне звання «Заслужений діяч мистецтв України»;  Медаль Міжнародного доброчинного фонду «Українська хата»\xa0— «За доброчинність».   Вшанування пам\'яті  міні|200пкс|праворуч|меморіальна дошка У місті Білій Церкві створено Міжнародний благодійний фонд імені Павла Глазового.  8 листопада 2011 року в Києві, на будинку по вулиці Льва Толстого, 25, де з 1951 по 2004 рік жив і творив поет-гуморист, встановлено гранітну меморіальну дошку.  В 2016 році у місті Кривий Ріг на честь письменика була названа вулиця.   Література   Глазовий Павло Прокопович // \xa0— С.\xa078.  Рудаков\xa0М.\xa0І. Автографи майстрів. - Київ: МДФ «Українська хата». - 2005. - 126 с., ISBN 966-7025-05-5, с. 25-26.   Посилання   П.П. Глазовий на сайтi "Николаев литературный"  Гумореска Павла Глазового  Біографія та твори Павла Глазового.  Біографія Павла Глазового на сайті «Гордість України!»  Сміхологія, Павло Глазовий  Твори Павла Глазового  Сайт присвячений письменнику  Категорія:Лауреати Літературної премії імені Остапа Вишні Категорія:Лауреати літературно-мистецької премії імені Івана Нечуя-Левицького Категорія:Лауреати літературної премії імені Наталі Забіли Категорія:Заслужені діячі мистецтв України Категорія:Уродженці Казанківського району Категорія:Радянські поети Категорія:Сатирики СРСР Категорія:Українські поети Категорія:Українські сатирики Категорія:Поети XXI століття Категорія:Сатирики XXI століття Категорія:Учасники Другої світової війни Категорія:Випускники Київського педагогічного інституту Категорія:Померли в Києві Категорія:Поховані на Байковому кладовищі Категорія:Люди, на честь яких названі вулиці')