transition_prob_matrix.py

# -!- coding: utf-8 -!-
import numpy as np

def transition_matrix(transitions):
    words = set(list(transitions))
    n = 1 + len(words)
    w2id = dict(zip(words, range(n)))

    M = [[0] * n for _ in range(n)]

    for i, j in zip(transitions, transitions[1:]):
        M[w2id[i]][w2id[j]] += 1

    for row in M:
        s = sum(row)
        if s > 0:
            row[:] = [f/s for f in row]
    return M, w2id


text = '''第一百回　径回东土　五圣成真
且不言他四众脱身，随金刚驾风而起，却说陈家庄救生寺内多人，天晓起来，仍治果肴来献，至楼下，不见了唐僧。这个也来问，那个也来寻，俱慌慌张张，莫知所措，叫苦连天的道：
“清清把个活佛放去了！”一会家无计，将办来的品物，俱抬在楼上祭祀烧纸。以后每年四大祭，二十四小祭。还有那告病的，保安的，求亲许愿，求财求子的，无时无日不来烧香祭赛，真个是金炉不断千年火，玉盏常明万载灯，不题。
却说八大金刚使第二阵香风，把他四众，不一日送至东土，渐渐望见长安。原来那太宗自贞观十三年九月望前三日送唐僧出城，至十六年，即差工部官在西安关外起建了望经楼接经，太宗年年亲至其地。恰好那一日出驾复到楼上，忽见正西方满天瑞霭，阵阵香风，金刚停在空中叫道：“圣僧，此间乃长安城了。我们不好下去，这里人伶俐，恐泄漏吾像。孙大圣三位也不消去，汝自去传了经与汝主，即便回来。我在霄汉中等你，与你一同缴旨。”大圣道：“尊者之言虽当，但吾师如何挑得经担？如何牵得这马？须得我等同去一送。烦你在空少等，谅不敢误。”金刚道：“前日观音菩萨启过如来，往来只在八日，方完藏数。今已经四日有余，只怕八戒贪图富贵，误了期限。”八戒笑道：“师父成佛，我也望成佛，岂有贪图之理！泼大粗人！都在此等我，待交了经，就来与你回向也。”呆子挑着担，沙僧牵着马，行者领着圣僧，都按下云头，落于望经楼边。太宗同多官一齐见了，即下楼相迎道：“御弟来也？”唐僧即倒身下拜，太宗搀起，又问：“此三者何人？”唐僧道：“是途中收的徒弟。”太宗大喜，即命侍官：“将朕御车马扣背，请御弟上马，同朕回朝。”
唐僧谢了恩，骑上马，大圣轮金箍棒紧随，八戒、沙僧俱扶马挑担，随驾后共入长安。真个是：当年清宴乐升平，文武安然显俊英。水陆场中僧演法，金銮殿上主差卿。关文敕赐唐三藏，经卷原因配五行。苦炼凶魔种种灭，功成今喜上朝京。
唐僧四众，随驾入朝，满城中无一不知是取经人来了。却说那长安唐僧旧住的洪福寺大小僧人，看见几株松树一颗颗头俱向东，惊讶道：“怪哉！怪哉！今夜未曾刮风，如何这树头都扭过来了？”内有三藏的旧徒道：“快拿衣服来！取经的老师父来了！”众僧问道：“你何以知之？”旧徒曰：“当年师父去时，曾有言道：‘我去之后，或三五年，或六七年，但看松树枝头若是东向，我即回矣。’我师父佛口圣言，故此知之。”急披衣而出，至西街时，早已有人传播说：“取经的人适才方到，万岁爷爷接入城来了。”众僧听说，又急急跑来，却就遇着，一见大驾，不敢近前，随后跟至朝门之外。唐僧下马，同众进朝。唐僧将龙马与经担，同行者、八戒、沙僧，站在玉阶之下。太宗传宣：
“御弟上殿。”赐坐，唐僧又谢恩坐了，教把经卷抬来。行者等取出，近侍官传上。太宗又问：“多少经数？怎生取来？”三藏道：
“臣僧到了灵山，参见佛祖，蒙差阿傩、伽叶二尊者先引至珍楼内赐斋，次到宝阁内传经。那尊者需索人事，因未曾备得，不曾送他，他遂以经与了。当谢佛祖之恩东行，忽被妖风抢了经去，幸小徒有些神通赶夺，却俱抛掷散漫。因展看，皆是无字空本。
臣等着惊，复去拜告恳求，佛祖道：‘此经成就之时，有比丘圣僧将下山与舍卫国赵长者家看诵了一遍，保祐他家生者安全，亡者超脱，止讨了他三斗三升米粒黄金，意思还嫌卖贱了，后来子孙没钱使用。’我等知二尊者需索人事，佛祖明知，只得将钦赐紫金钵盂送他，方传了有字真经。此经有三十五部，各部中检了几卷传来，共计五千零四十八卷，此数盖合一藏也。”太宗更喜，教：“光禄寺设宴，开东阁酬谢。”忽见他三徒立在阶下，容貌异常，便问：“高徒果外国人耶？”长老俯伏道：“大徒弟姓孙，法名悟空，臣又呼他为孙行者。他出身原是东胜神洲傲来国花果山水帘洞人氏，因五百年前大闹天宫，被佛祖困压在西番两界山石匣之内，蒙观音菩萨劝善，情愿皈依，是臣到彼救出，甚亏此徒保护。二徒弟姓猪，法名悟能，臣又呼他为猪八戒。他出身原是福陵山云栈洞人氏，因在乌斯藏高老庄上作怪，即蒙菩萨劝善，亏行者收之，一路上挑担有力，涉水有功。
三徒弟姓沙，法名悟净，臣又呼他为沙和尚。他出身原是流沙河作怪者，也蒙菩萨劝善，秉教沙门。那匹马不是主公所赐者。”太宗道：“毛片相同，如何不是？”三藏道：“臣到蛇盘山鹰愁涧涉水，原马被此马吞之，亏行者请菩萨问此马来历，原是西海龙王之了，因有罪，也蒙菩萨救解，教他与臣作脚力。当时变作原马，毛片相同。幸亏他登山越岭，跋涉崎岖，去时骑坐，来时驮经，亦甚赖其力也。”太宗闻言，称赞不已，又问：“远涉西方，端的路程多少？”三藏道：“总记菩萨之言，有十万八千里之远。途中未曾记数，只知经过了一十四遍寒暑。日日山，日日岭，遇林不小，遇水宽洪。还经几座国王，俱有照验印信。”
叫：“徒弟，将通关文牒取上来，对主公缴纳。”当时递上。太宗看了，乃贞观一十三年九月望前三日给。太宗笑道：“久劳远涉，今已贞观二十七年矣。”牒文上有宝象国印，乌鸡国印，车迟国印，西梁女国印，祭赛国印，朱紫国印，狮驼国印，比丘国印，灭法国印；又有凤仙郡印，玉华州印，金平府印。太宗览毕，收了。
早有当驾官请宴，即下殿携手而行，又问：“高徒能礼貌乎？”三藏道：“小徒俱是山村旷野之妖身，未谙中华圣朝之礼数，万望主公赦罪。”太宗笑道：“不罪他，不罪他，都同请东阁赴宴去也。”三藏又谢了恩，招呼他三众，都到阁内观看。果是中华大国，比寻常不同。你看那：门悬彩绣，地衬红毡。异香馥郁，奇品新鲜。琥珀杯，玻璃盏，镶金点翠；黄金盘，白玉碗，嵌锦花缠。烂煮蔓菁，糖浇香芋。蘑菇甜美，海菜清奇。几次添来姜辣笋，数番办上蜜调葵。面筋椿树叶，木耳豆腐皮。石花仙菜，蕨粉干薇。花椒煮莱菔，芥末拌瓜丝。几盘素品还犹可，数种奇稀果夺魁。核桃柿饼，龙眼荔枝。宣州茧栗山东枣，江南银杏兔头梨。榛松莲肉葡萄大，榧子瓜仁菱米齐。橄榄林檎，苹婆沙果。慈菇嫩藕，脆李杨梅。无般不备，无件不齐。还有些蒸酥蜜食兼嘉馔，更有那美酒香茶与异奇。说不尽百味珍馐真上品，果然是中华大国异西夷。师徒四众与文武多官俱侍列左右，太宗皇帝仍正坐当中，歌舞吹弹，整齐严肃，遂尽乐一日。正是：君王嘉会赛唐虞，取得真经福有余。千古流传千古盛，佛光普照帝王居。当日天晚，谢恩宴散。太宗回宫，多官回宅，唐僧等归于洪福寺，只见寺僧磕头迎接。方进山门，众僧报道：“师父，这树头儿今早俱忽然向东。我们记得师父之言，遂出城来接，果然到了！”长老喜之不胜，遂入方丈。此时八戒也不嚷茶饭，也不弄喧头，行者、沙僧个个稳重。只因道果完成，自然安静。当晚睡了。
次早，太宗升朝，对群臣言曰：“朕思御弟之功，至深至大，无以为酬。一夜无寐，口占几句俚谈，权表谢意，但未曾写出。”
叫：“中书官来，朕念与你，你一一写之。”其文云：“盖闻二仪有象，显覆载以含生；四时无形，潜寒暑以化物。是以窥天鉴地，庸愚皆识其端；明阴洞阳，贤哲罕穷其数。然天地包乎阴阳，而易识者，以其有象也；阴阳处乎天地，而难穷者，以其无形也。
故知象显可征，虽愚不惑；形潜莫睹，在智犹迷。况乎佛道崇虚，乘幽控寂。弘济万品，典御十方。举威灵而无上，抑神力而无下；大之则弥于宇宙，细之则摄于毫厘。无灭无生，历千劫而亘古；若隐若显，运百福而长今。妙道凝玄，遵之莫知其际；法流湛寂，挹之莫测其源。故知蠢蠢凡愚，区区庸鄙，投其旨趣，能无疑惑者哉！然则大教之兴，基乎西土。腾汉庭而皎梦，照东域而流慈。古者分形分迹之时，言未驰而成化；当常见常隐之世，民仰德而知遵。及乎晦影归真，迁移越世，金容掩色，不镜三千之光；丽象开图，空端四八之相。于是微言广被，拯禽类于三途；遗训遐宣，导群生于十地。佛有经，能分大小之乘，更有法，传讹邪正之术。我僧玄奘法师者，法门之领袖也。幼怀慎敏，早悟三空之功；长契神清，先包四忍之行。松风水月，未足比其清华；仙露明珠，讵能方其朗润！故以智通无累，神测未形。超六尘而迥出，使千古而传芳。凝心内境，悲正法之陵迟；
栖虑玄门，慨深文之讹谬。思欲分条振理，广彼前闻；截伪续真，开兹后学。是以翘心净土，法游西域。乘危远迈，策杖孤征。
积雪晨飞，途间失地；惊沙夕起，空外迷天。万里山川，拨烟霞而进步；百重寒暑，蹑霜雨而前踪。诚重劳轻，求深欲达。周游西宇，十有四年。穷历异邦，询求正教。双林八水，味道餐风；
鹿苑鹫峰，瞻奇仰异。承至言于先圣，受真教于上贤。探赜妙门，精穷奥业。三乘六律之道，驰骤于心田；一藏百箧之文，波涛于海口。爰自所历之国无涯，求取之经有数。总得大乘要文，凡三十五部，计五千四十八卷，译布中华，宣扬胜业。引慈云于西极，注法雨于东陲。圣教缺而复全，苍生罪而还福。湿火宅之干焰，共拔迷途；朗金水之昏波，同臻彼岸。是知恶因业坠，善以缘升。升坠之端，惟人自作。譬之桂生高岭，云露方得泫其花；莲出绿波，飞尘不能染其叶。非莲性自洁而桂质本贞，良由所附者高，则微物不能累；所凭者净，则浊类不能沾。夫以卉木无知，犹资善而成善，矧乎人伦有识，宁不缘庆而成庆？方冀真经传布，并日月而无穷；景福遐敷，与乾坤而永大也欤！”写毕，即召圣僧。此时长老已在朝门外候谢，闻宣急入，行俯伏之礼。太宗传请上殿，将文字递与长老览遍。复下谢恩，奏道：
“主公文辞高古，理趣渊微，但不知是何名目。”太宗道：“朕夜口占，答谢御弟之意，名曰圣教序，不知好否。”长老叩头，称谢不已。太宗又曰：“朕才愧圭璋，言惭金石。至于内典，尤所未闻。口占叙文，诚为鄙拙。秽翰墨于金简，标瓦砾于珠林。循躬省虑，靦面恧心。甚不足称，虚劳致谢。”
当时多官齐贺，顶礼圣教御文，遍传内外。太宗道：“御弟将真经演诵一番，何如？”长老道：“主公，若演真经，须寻佛地，宝殿非可诵之处。”太宗甚喜，即问当驾官：“长安城寺，有那座寺院洁净？”班中闪上大学士萧瑀奏道：“城中有一雁塔寺洁净。”太宗即令多官：“把真经各虔捧几卷，同朕到雁塔寺，请御弟谈经去来。”多官遂各各捧着，随太宗驾幸寺中，搭起高台，铺设齐整。长老仍命：“八戒沙僧牵龙马，理行囊，行者在我左右。”又向太宗道：“主公欲将真经传流天下，须当誉录副本，方可布散。原本还当珍藏，不可轻亵。”太宗又笑道：“御弟之言甚当！甚当！”随召翰林院及中书科各官誉写真经。又建一寺，在城之东，名曰誊黄寺。
长老捧几卷登台，方欲讽诵，忽闻得香风缭绕，半空中有八大金刚现身高叫道：“诵经的，放下经卷，跟我回西去也。”这底下行者三人，连白马平地而起，长老亦将经卷丢下，也从台上起于九霄，相随腾空而去，慌得那太宗与多官望空下拜。这正是：圣僧努力取经编，西宇周流十四年。苦历程途遭患难，多经山水受迍邅。功完八九还加九，行满三千及大千。大觉妙文回上国，至今东土永留传。太宗与多官拜毕，即选高僧，就于雁塔寺里，修建水陆大会，看诵《大藏真经》，超脱幽冥孽鬼，普施善庆，将誊录过经文，传布天下不题。
却说八大金刚，驾香风，引着长老四众，连马五口，复转灵山，连去连来，适在八日之内。此时灵山诸神，都在佛前听讲。
八金刚引他师徒进去，对如来道：“弟子前奉金旨，驾送圣僧等，已到唐国，将经交纳，今特缴旨。”遂叫唐僧等近前受职。如来道：“圣僧，汝前世原是我之二徒，名唤金蝉子。因为汝不听说法，轻慢我之大教，故贬汝之真灵，转生东土。今喜皈依，秉我迦持，又乘吾教，取去真经，甚有功果，加升大职正果，汝为旃檀功德佛。孙悟空，汝因大闹天宫，吾以甚深法力，压在五行山下，幸天灾满足，归于释教，且喜汝隐恶扬善，在途中炼魔降怪有功，全终全始，加升大职正果，汝为斗战胜佛。猪悟能，汝本天河水神，天蓬元帅，为汝蟠桃会上酗酒戏了仙娥，贬汝下界投胎，身如畜类，幸汝记爱人身，在福陵山云栈洞造孽，喜归大教，入吾沙门，保圣僧在路，却又有顽心，色情未泯，因汝挑担有功，加升汝职正果，做净坛使者。”八戒口中嚷道：“他们都成佛，如何把我做个净坛使者？”如来道：“因汝口壮身慵，食肠宽大。盖天下四大部洲，瞻仰吾教者甚多，凡诸佛事，教汝净坛，乃是个有受用的品级，如何不好！沙悟净，汝本是卷帘大将，先因蟠桃会上打碎玻璃盏，贬汝下界，汝落于流沙河，伤生吃人造孽，幸皈吾教，诚敬迦持、保护圣僧，登山牵马有功，加升大职正果，为金身罗汉。”又叫那白马：“汝本是西洋大海广晋龙王之子，因汝违逆父命，犯了不孝之罪，幸得皈身皈法，皈我沙门，每日家亏你驮负圣僧来西，又亏你驮负圣经去东，亦有功者，加升汝职正果，为八部天龙马。”长老四众，俱各叩头谢恩。马亦谢恩讫，仍命揭谛引了马下灵山后崖化龙池边，将马推入池中。须臾间，那马打个展身，即退了毛皮，换了头角，浑身上长起金鳞，腮颔下生出银须，一身瑞气，四爪祥云，飞出化龙池，盘绕在山门里擎天华表柱上，诸佛赞扬如来的大法。
孙行者却又对唐僧道：“师父，此时我已成佛，与你一般，莫成还戴金箍儿，你还念甚么《紧箍咒》儿掯勒我？趁早儿念个松箍儿咒，脱下来，打得粉碎，切莫叫那甚么菩萨再去捉弄他人。唐僧道：“当时只为你难管，故以此法制之。今已成佛，自然去矣，岂有还在你头上之理！你试摸摸看。”行者举手去摸一摸，果然无之。此时旃檀佛、斗战佛、净坛使者、金身罗汉，俱正果了本位，天龙马亦自归真。有诗为证，诗曰：一体真如转落尘，合和四相复修身。五行论色空还寂，百怪虚名总莫论。正果旃檀皈大觉，完成品职脱沉沦。经传天下恩光阔，五圣高居不二门。
五圣果位之时，诸众佛祖、菩萨、圣僧、罗汉、揭谛、比丘、优婆夷塞，各山各洞的神仙、大神、丁甲、功曹、伽蓝、土地，一切得道的师仙，始初俱来听讲，至此各归方位。你看那：灵鹫峰头聚霞彩，极乐世界集祥云。金龙稳卧，玉虎安然。乌兔任随来往，龟蛇凭汝盘旋。丹凤青鸾情爽爽，玄猿白鹿意怡怡。八节奇花，四时仙果。乔松古桧，翠柏修篁。五色梅时开时结，万年桃时熟时新。千果千花争秀，一天瑞霭纷纭。大众合掌皈依，都念：南无燃灯上古佛。南无药师琉璃光王佛。南无释迦牟尼佛。南无过去未来现在佛。南无清净喜佛。南无毗卢尸佛。南无宝幢王佛。南无弥勒尊佛。南无阿弥陀佛。南无无量寿佛。
南无接引归真佛。南无金刚不坏佛。南无宝光佛。南无龙尊王佛。南无精进善佛。南无宝月光佛。南无现无愚佛。南无婆留那佛。南无那罗延佛。南无功德华佛。南无才功德佛。南无善游步佛。南无旃檀光佛。南无摩尼幢佛。南无慧炬照佛。
南无海德光明佛。南无大慈光佛。南无慈力王佛。南无贤善首佛。南无广主严佛。南无金华光佛。南无才光明佛。南无智慧胜佛。南无世静光佛。南无日月光佛。南无日月珠光佛。
南无慧幢胜王佛。南无妙音声佛。南无常光幢佛。南无观世灯佛。南无法胜王佛。南无须弥光佛。南无大慧力王佛。南无金海光佛。南无大通光佛。南无才光佛。南无旃檀功德佛。
南无斗战胜佛。南无观世音菩萨。南无大势至菩萨。南无文殊菩萨。南无普贤菩萨。南无清净大海众菩萨。南无莲池海会佛菩萨。南无西天极乐诸菩萨。南无三千揭谛大菩萨。南无五百阿罗大菩萨。南无比丘夷塞尼菩萨。南无无边无量法菩萨。南无金刚大士圣菩萨。南无净坛使者菩萨。南无八宝金身罗汉菩萨。南无八部天龙广力菩萨。如是等一切世界诸佛，愿以此功德，庄严佛净土。上报四重恩，下济三途苦。若有见闻者，悉发菩提心。同生极乐国，尽报此一身。十方三世一切佛，诸尊菩萨摩诃萨，摩诃般若波罗密。”《西游记》至此终。'''
with open('../data/west_journey.txt', 'r', encoding='utf-8') as file:
    text = file.read()

matrix, wordmap = transition_matrix(text)

id2word = dict(zip(wordmap.values(), wordmap.keys()))


def most_prob_follow(char, transit, char2id, id2char):
    id = char2id[char]
    topn = np.argpartition(transit[id], -10)[-10:]
    prob = [transit[id][i] for i in topn]
    prob = np.array(prob) / sum(prob)
    next_word = id2char[np.random.choice(topn, p=prob)]
    return next_word


word = '大'
result = [word]
for i in range(20):
    word = most_prob_follow(word, matrix, wordmap, id2word)
    result.append(word)
print(result)