{ "cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "# Long Text Abstractive Summarization" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "This tutorial is available as an IPython notebook at [Malaya/example/long-text-abstractive](https://github.com/huseinzol05/Malaya/tree/master/example/long-text-abstractive).\n", " \n", "
" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "This module only trained on standard language structure, so it is not save to use it for local language structure.\n", " \n", "
" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "
\n", "\n", "This module trained heavily on news structure.\n", " \n", "
" ] }, { "cell_type": "code", "execution_count": 1, "metadata": {}, "outputs": [], "source": [ "import logging\n", "\n", "logging.basicConfig(level=logging.INFO)" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "INFO:numexpr.utils:NumExpr defaulting to 8 threads.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "CPU times: user 5.06 s, sys: 727 ms, total: 5.79 s\n", "Wall time: 5.38 s\n" ] } ], "source": [ "%%time\n", "import malaya\n", "from pprint import pprint" ] }, { "cell_type": "code", "execution_count": 2, "metadata": {}, "outputs": [], "source": [ "import re\n", "\n", "# minimum cleaning, just simply to remove newlines.\n", "def cleaning(string):\n", " string = string.replace('\\n', ' ')\n", " string = re.sub(r'[ ]+', ' ', string).strip()\n", " return string" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### List available Transformer models" ] }, { "cell_type": "code", "execution_count": 3, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "INFO:malaya.summarization.abstractive:tested on translated 12k CNN + DailyNews test set at https://github.com/huseinzol05/malay-dataset/tree/master/summarization\n" ] }, { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
Size (MB)Quantized Size (MB)ROUGE-1ROUGE-2ROUGE-LSuggested length
t51250.0481.00.3717400.1847140.258272512.0
small-t5355.6195.00.3669700.1773300.254670512.0
tiny-t5208.0103.00.3026760.1193210.202918512.0
pegasus894.0225.00.2510930.0667890.155907512.0
small-pegasus293.074.20.2901230.1187880.192322512.0
bigbird910.0230.00.2673460.0723910.1613261536.0
small-bigbird303.077.30.2462030.0589610.1515901536.0
\n", "
" ], "text/plain": [ " Size (MB) Quantized Size (MB) ROUGE-1 ROUGE-2 ROUGE-L \\\n", "t5 1250.0 481.0 0.371740 0.184714 0.258272 \n", "small-t5 355.6 195.0 0.366970 0.177330 0.254670 \n", "tiny-t5 208.0 103.0 0.302676 0.119321 0.202918 \n", "pegasus 894.0 225.0 0.251093 0.066789 0.155907 \n", "small-pegasus 293.0 74.2 0.290123 0.118788 0.192322 \n", "bigbird 910.0 230.0 0.267346 0.072391 0.161326 \n", "small-bigbird 303.0 77.3 0.246203 0.058961 0.151590 \n", "\n", " Suggested length \n", "t5 512.0 \n", "small-t5 512.0 \n", "tiny-t5 512.0 \n", "pegasus 512.0 \n", "small-pegasus 512.0 \n", "bigbird 1536.0 \n", "small-bigbird 1536.0 " ] }, "execution_count": 3, "metadata": {}, "output_type": "execute_result" } ], "source": [ "malaya.summarization.abstractive.available_transformer()" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "If you look at `Suggested length`, bigbird 3x longer than T5 and PEGASUS models." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "Below is an example I combined 3 news become 1 string." ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [], "source": [ "# https://www.astroawani.com/berita-malaysia/lagipun-kalau-isu-yang-berlaku-198788-najib-boleh-ingat-dia-nak-mandikan-keris-dengan-darah-tun-m-282301\n", "# https://www.bharian.com.my/berita/nasional/2021/02/785400/kabinet-tidak-pernah-bangkitkan-isu-konflik-kepentingan-najib\n", "# https://www.astroawani.com/berita-malaysia/laporan-audit-1mdb-najib-gagal-gugurkan-sri-ram-daripada-pasukan-pendakwaan-283003\n", "# https://www.astroawani.com/berita-politik/tun-m-menyesal-lantik-tommy-thomas-sebagai-peguam-negara-281460\n", "# https://www.astroawani.com/berita-malaysia/tun-mahathir-mahu-saya-letak-jawatan-kerana-tentangan-orang-melayu-tommy-thomas-280066\n", "\n", "string = \"\"\"\n", "Perseteruan antara dua bekas Perdana Menteri, Tun Dr Mahathir Mohamad dan Datuk Seri Najib Tun Razak belum ada penghujungnya dengan masing-masing berbalas kenyataan di media sosial.\n", "Selepas Najib menyanggah kenyataan tidak campur tangan dalam badan kehakiman negara dan mentertawakannya, Dr Mahathir membalasnya dengan meminta Ahli Parlimen Pekan itu memberi perhatian kepada kes 1Malaysia Development Berhad (1MDB).\n", "Dr Mahathir juga secara sinis berkata, jika Najib boleh mengingati isu yang berlaku pada 1987 dan 1988 - isu pemilihan UMNO dan pengharaman parti itu, Najib juga boleh mengingati peristiwa dia ingin mandikan keris dengan darah.\n", "\"Saya rasa Najib tak payah campur tangan dengan tuduhan terhadap saya. Dia harus fokus kes curi duit rakyat berbilion-bilion dalam 1MDB.\n", "\"Dia juga perlu bagi perhatian saman Tommy Thomas yang kait dia dengan pembunuhan Altantuya. Lagipun, kalau isu yang berlaku 1987/88, Najib boleh ingat (peristiwa) yang dia 'hunus' keris,\" kata Dr Mahathir.\n", "Sebelum ini, Najib menyanggah dakwaan Dr Mahathir yang mendakwa pembatalan pendaftaran UMNO pada 1998 sebagai bukti tidak campur tangan dalam badan kehakiman negara.\n", "Menyokong hujahnya, Najib berkongsi apa yang berlaku pada tahun tersebut hingga menyebabkan UMNO diharamkan dan tertubuhnya UMNO baharu.\n", "\n", "Mahkamah Tinggi di sini, hari ini, diberitahu Kabinet tidak pernah membangkitkan isu mengenai konflik kepentingan Datuk Seri Najib Razak dalam 1Malaysia Development Berhad (1MDB).\n", "\n", "Menurut Kod Etika Bagi Anggota Pentadbiran dan Ahli Parlimen adalah menjadi amalan ahli Kabinet untuk mengisytiharkan konflik kepentingan sekiranya mempunyai pembabitan di dalam hal yang dibincangkan dalam Mesyuarat Jemaah Menteri.\n", "\n", "Perkara itu dimaklumkan bekas Timbalan Ketua Setiausaha (Kabinet) Bahagian Kabinet Perlembagaan dan Perhubungan Jabatan Perdana Menteri (JPM), Tan Sri Mazidah Abdul Majid, dalam keterangannya pada perbicaraan kes 1MDB yang dihadapi Najib.\n", "\n", "Kod etika itu antara lain turut menyatakan bahawa ahli Kabinet yang mempunyai kepentingan peribadi dan bercanggah dengan kepentingan kerajaan, atau membabitkan ahli keluarga, perlu meninggalkan mesyuarat dan merekodkan ketidakhadiran mereka.\n", "\n", "Di dalam 1MDB, Najib memegang tiga jawatan iaitu Perdana Menteri, Menteri Kewangan dan Pengerusi Pengerusi Badan Penasihat 1MDB\n", "\n", "Menjawab soalan peguam Tan Sri Muhammad Shafee Abdullah, sama ada terdapat ahli Kabinet yang membangkitkan isu bahawa Menteri Kewangan tidak seharusnya membabitkan diri dalam perbincangan itu kerana konflik kepentingan, Maziah menjawab: \"Tiada.\"\n", "\n", "Muhammad Shafee: Ada sesiapa yang membangkitkan perkara berhubung hal 1MBD dengan Najib?\n", "\n", "Maziah: Tidak\n", "\n", "Muhammad Shafee: Timbalan Perdana Menteri (ketika itu) adalah Tan Sri Muhyiddin Yassin, manakala Datuk Seri Ahmad Husni Hanadzlah adalah bekas Menteri Kewangan II. Mereka juga tidak pernah membangkitkan hal konflik kepentingan?\n", "\n", "Mazidah: Ya, tidak pernah.\n", "\n", "Sementara itu, menjawab soalan Timbalan Pendakwa Raya, Ahmad Akram Gharib sama ada beliau mengetahui bahawa Najib mempunyai kepentingan peribadi dalam 1MDB, Mazidah berkata: \"Tidak\"\n", "\n", "Ahmad Akram: Adakah anda mengetahui bahawa Najib secara peribadi menerima duit daripada 1MDB?\n", "\n", "Maziah: Tidak\n", "\n", "Ahmad Akram: Sekiranya Najib secara peribadi menerima wang daripada 1MDB adakah itu konflik kepentingan dan melanggar Kod Etika Bagi Anggota Pentadbiran dan Ahli Parlimen.\n", "\n", "Maziah: Menurut pandangan peribadi saya, ya, namun kerana ia membabitkan menteri dan perdana menteri, saya cadangkan untuk dapatkan pandangan Peguam Negara.\n", "\n", "Terdahulu, di awal prosiding, Maziah turut memberitahu mahkamah bahawa Najib tidak pernah menyebut nama ahli perniagaan dalam buruan, Low Taek Jho atau Jho Low pada mesyuarat Kabinet sebagai individu yang membantu beliau mendapatkan sumbangan daripada kerabat diraja Arab Saudi.\n", "\n", "\"Sekiranya perkara itu dimaklumkan kepada Kabinet, maka, ia akan dicatat dalam minit mesyuarat,\" katanya.\n", "\n", "Tambah Maziah, beliau hanya mendengar dan mengetahui mengenai nama Jho Low selepas timbul isu membabitkan 1MDB.\n", "\n", "Najib, 68, menghadapi empat pertuduhan menggunakan kedudukannya untuk memperoleh suapan berjumlah RM2.3 bilion daripada dana 1MDB dan 21 pertuduhan pengubahan wang haram membabitkan jumlah wang yang sama.\n", "\n", "Perbicaraan di hadapan Hakim Collin Lawrence Sequerah bersambung Isnin ini.\n", "\n", "Datuk Seri Najib Tun Razak hari ini gagal dalam satu lagi cubaannya untuk menggugurkan bekas Hakim Mahkamah Persekutuan Datuk Seri Gopal Sri Ram daripada mengetuai pasukan pendakwaan dalam kes meminda laporan audit 1Malaysia Development Berhad (1MDB) melibatkan bekas perdana menteri itu.\n", "Ini merupakan cubaan kali ketiga Najib untuk menggugurkan Sri Ram sebagai pendakwa dalam kes jenayah berkaitan 1MDB itu. Sebelum ini, satu permohonan difailkan dalam satu lagi kes 1MDB di hadapan hakim berbeza dan cubaan kedua menerusi prosiding sivil.\n", "Ketika menolak permohonan Ahli Parlimen Pekan itu, Hakim Mahkamah Tinggi Mohamed Zaini Mazlan berkata dakwaan Najib bahawa Sri Ram terlibat dalam siasatan terhadapnya sebagai tidak ada merit.\n", "“Tidak ada bukti kukuh untuk menyokong dakwaan pemohon dan kekal sebagai hipotesis semata-mata. Isu ini telah disiasat oleh pihak pendakwaan selaku responden semasa permohonan pemohon (Najib) yang terdahulu.\n", "“Isu ini sudah dibincangkan dan diputuskan. Keputusan oleh mahkamah lain sebelum ini kekal dan tidak boleh diterbalikkan,” kata hakim.\n", "Mohamed Zaini ketika memberi alasan penolakan berkata pemohon, antara lain, menjadikan komunikasi di antara bekas Peguam Negara Tan Sri Mohamed Apandi Ali dan Sri Ram sebagai bukti berat sebelah Sri Ram terhadap pemohon dan kebimbangan pemohon berhubung perkara itu adalah tidak berasas.\n", "“Seperti juga individu lain, Sri Ram berhak mempunyai pandangan peribadi. Itu sahaja. Namun, pertimbangan berbeza akan dibuat jika beliau menunjukkan sikap berat sebelah semasa melaksanakan tugas sebagai pendakwa raya kanan. Pandangan peribadi beliau tidak boleh dianggap akan menghalang tanggungjawab beliau sebagai pendakwa raya kanan.\n", "“Tambahan pula, kejadian itu, seperti yang dikemukakan oleh responden, berlaku ketika sebelum pelantikan Sri Ram sebagai pendakwa raya kanan. Turut penting ialah pemohon tidak membuat sebarang aduan mengenai tindak-tanduk Sri Ram ketika menjalankan perbicaraan melibatkan pemohon. Ini mengukuhkan hujah responden bahawa Sri Ram bersikap terbuka semasa menjalankan tugas sebagai pendakwa raya kanan,” kata hakim.\n", "Mohamed Zaini seterusnya berkata pada akhirnya, mahkamah bertanggungjawab memastikan sesebuah perbicaraan dilaksanakan secara adil demi mendapatkan keadilan.\n", "“Mahkamah akan membantu mana-mana pihak yang dilayan secara tidak adil, jika perkara tersebut berlaku. Sehubunggan itu, permohonan pemohon ditolak,” katanya.\n", "Perbicaraan kes laporan audit 1MDB itu akan bersambung pada 22 Feb ini.\n", "Pada prosiding hari ini, Timbalan Pendakwa Raya Ahmad Akram Gharib bertindak bagi pihak pendakwaan, manakala Najib diwakili peguam Nur Syahirah Hanapiah.\n", "Najib, 67, dan bekas Ketua Pegawai Eksekutif 1MDB Arul Kanda Kandasamy, 45, dibicarakan atas tuduhan meminda laporan audit 1MDB.\n", "Ahli Parlimen Pekan itu dituduh menggunakan kedudukannya untuk mengarahkan pindaan ke atas laporan audit akhir 1MDB sebelum dibentangkan kepada Jawatankuasa Kira-Kira Wang Negara bagi mengelakkan sebarang tindakan diambil terhadapnya, sementara Arul Kanda didakwa bersubahat dengan Najib dalam membuat pindaan ke atas laporan tersebut bagi melindungi Najib daripada dikenakan tindakan.\n", "\"\"\"\n", "\n", "string = cleaning(string)" ] }, { "cell_type": "code", "execution_count": 5, "metadata": {}, "outputs": [ { "data": { "text/plain": [ "1020" ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "len(string.split())" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "### Load Transformer model\n", "\n", "```python\n", "def transformer(model: str = 'small-t5', quantized: bool = False, **kwargs):\n", " \"\"\"\n", " Load Malaya transformer encoder-decoder model to generate a summary given a string.\n", "\n", " Parameters\n", " ----------\n", " model : str, optional (default='t2t')\n", " Model architecture supported. Allowed values:\n", "\n", " * ``'t5'`` - T5 BASE parameters.\n", " * ``'small-t5'`` - T5 SMALL parameters.\n", " * ``'tiny-t5'`` - T5 TINY parameters.\n", " * ``'pegasus'`` - Pegasus BASE parameters.\n", " * ``'small-pegasus'`` - Pegasus SMALL parameters.\n", " * ``'bigbird'`` - BigBird + Pegasus BASE parameters.\n", " * ``'small-bigbird'`` - BigBird + Pegasus SMALL parameters.\n", "\n", " quantized : bool, optional (default=False)\n", " if True, will load 8-bit quantized model.\n", " Quantized model not necessary faster, totally depends on the machine.\n", "\n", " Returns\n", " -------\n", " result: model\n", " List of model classes:\n", "\n", " * if `t5` in model, will return `malaya.model.t5.Summarization`.\n", " * if `bigbird` in model, will return `malaya.model.bigbird.Summarization`.\n", " * if `pegasus` in model, will return `malaya.model.pegasus.Summarization`.\n", " \"\"\"\n", "```" ] }, { "cell_type": "code", "execution_count": 4, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "INFO:root:running abstractive-summarization-v2/bigbird using device /device:CPU:0\n", "INFO:root:running abstractive-summarization-v2/small-bigbird using device /device:CPU:0\n" ] } ], "source": [ "bigbird = malaya.summarization.abstractive.transformer(model = 'bigbird')\n", "bigbird_small = malaya.summarization.abstractive.transformer(model = 'small-bigbird')" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Predict using greedy decoder\n", "\n", "```python\n", "def greedy_decoder(\n", " self,\n", " strings: List[str],\n", " postprocess: bool = False,\n", " **kwargs,\n", "):\n", " \"\"\"\n", " Summarize strings using greedy decoder.\n", "\n", " Parameters\n", " ----------\n", " strings: List[str]\n", " postprocess: bool, optional (default=Falsse)\n", " If True, will filter sentence generated using ROUGE score and removed international news publisher.\n", "\n", " Returns\n", " -------\n", " result: List[str]\n", " \"\"\"\n", "```" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['Perdana Menteri, Dr Mahathir membalas dengan meminta Najib untuk memberi '\n", " 'perhatian kepada kes 1MDB. Mahkamah Tinggi diberitahu Kabinet tidak pernah '\n", " 'membangkitkan isu konflik kepentingan Najib. Hakim menolak permintaan Najib '\n", " 'untuk menggugurkan Hakim Mahkamah Persekutuan Gopal Sri Ram. Ini adalah '\n", " 'percubaan ketiga Najib untuk menggugurkan Sri Ram sebagai pendakwa dalam kes '\n", " '1MDB.']\n" ] } ], "source": [ "pprint(t5.greedy_decoder([string], mode = 'ringkasan'))" ] }, { "cell_type": "code", "execution_count": 7, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['Bekas Perdana Menteri , Datuk Seri Najib Razak tidak akan memberi keterangan '\n", " 'di hadapan mahkamah berhubung kes berkenaan . Seorang lagi responden '\n", " 'menyatakan jika perbicaraan kes terhadap Najib Razak telah diadakan , beliau '\n", " 'akan didakwa secara peribadi . Pendakwa raya menyatakan Najib Razak tidak '\n", " 'mempunyai bukti seberat sebelah dalam kes tersebut . Bekas Perdana Menteri , '\n", " 'Najib Razak tidak mempunyai pandangan mengenai perkara ini .']\n" ] } ], "source": [ "pprint(bigbird.greedy_decoder([string]))" ] }, { "cell_type": "code", "execution_count": 8, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['BARU : Seri Najib berkata , beliau tidak pernah secara peribadi meminta '\n", " 'untuk menggugurkan nama Serie - A dalam kes tersebut . Dia berkata bahawa '\n", " 'dia tidak pernah secara peribadi menyentuh perkara itu sebelum ini . Russell '\n", " 'Maziah berkata , beliau tidak pernah secara peribadi meminta untuk '\n", " 'menggugurkan nama Serie A . S .']\n" ] } ], "source": [ "pprint(bigbird_small.greedy_decoder([string]))" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ "#### Predict using nucleus decoder\n", "\n", "```python\n", "def nucleus_decoder(\n", " self,\n", " strings: List[str],\n", " top_p: float = 0.7,\n", " temperature: float = 0.2,\n", " postprocess: bool = False,\n", " **kwargs,\n", "):\n", " \"\"\"\n", " Summarize strings using nucleus decoder.\n", "\n", " Parameters\n", " ----------\n", " strings: List[str]\n", " top_p: float, (default=0.7)\n", " cumulative distribution and cut off as soon as the CDF exceeds `top_p`.\n", " temperature: float, (default=0.3)\n", " logits * -log(random.uniform) * temperature.\n", " postprocess: bool, optional (default=False)\n", " If True, will filter sentence generated using ROUGE score and removed international news publisher.\n", "\n", " Returns\n", " -------\n", " result: List[str]\n", " \"\"\"\n", "```" ] }, { "cell_type": "code", "execution_count": 9, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['Bekas Perdana Menteri , Datuk Seri Najib Razak tidak akan memberi keterangan '\n", " 'di hadapan mahkamah berhubung kes berkenaan . Seorang lagi responden '\n", " 'menyatakan sama ada Najib Razak menyertai parti politik yang dikaitkan '\n", " 'dengan pembunuhan tokoh - tokoh penting negara . Pendakwa raya menyatakan '\n", " 'Peguam Negara tidak akan membuat pindaan terhadap kes yang sedang dihadapi .']\n" ] } ], "source": [ "pprint(bigbird.nucleus_decoder([string]))" ] }, { "cell_type": "code", "execution_count": 10, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['BARU : Seri Najib berkata , beliau masih belum mendedahkan pandangan ahli '\n", " 'Kabinet . Mahathir Mohamad awas dakwaan konflik interestsome tidak pernah '\n", " 'dibincangkan sebelum ini . Beliau berkata , pegawai istana yang dinaikinya '\n", " 'itu berkata , mereka tidak pernah secara peribadi merupakan perkara yang '\n", " 'betul untuk dilakukan .']\n" ] } ], "source": [ "pprint(bigbird_small.nucleus_decoder([string]))" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.7.7" }, "varInspector": { "cols": { "lenName": 16, "lenType": 16, "lenVar": 40 }, "kernels_config": { "python": { "delete_cmd_postfix": "", "delete_cmd_prefix": "del ", "library": "var_list.py", "varRefreshCmd": "print(var_dic_list())" }, "r": { "delete_cmd_postfix": ") ", "delete_cmd_prefix": "rm(", "library": "var_list.r", "varRefreshCmd": "cat(var_dic_list()) " } }, "types_to_exclude": [ "module", "function", "builtin_function_or_method", "instance", "_Feature" ], "window_display": false } }, "nbformat": 4, "nbformat_minor": 5 }