Abstractive
Contents
Abstractive#
This tutorial is available as an IPython notebook at Malaya/example/abstractive-summarization.
This module only trained on standard language structure, so it is not save to use it for local language structure.
This module trained heavily on news and articles structure.
Results generated using stochastic methods.
[1]:
import os
os.environ['CUDA_VISIBLE_DEVICES'] = ''
[2]:
import logging
logging.basicConfig(level=logging.INFO)
[3]:
%%time
import malaya
from pprint import pprint
/home/husein/.local/lib/python3.8/site-packages/bitsandbytes/cextension.py:34: UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
warn("The installed version of bitsandbytes was compiled without GPU support. "
/home/husein/.local/lib/python3.8/site-packages/bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cadam32bit_grad_fp32
INFO:torch.distributed.nn.jit.instantiator:Created a temporary directory at /tmp/tmphbvdchu5
INFO:torch.distributed.nn.jit.instantiator:Writing /tmp/tmphbvdchu5/_remote_module_non_scriptable.py
CPU times: user 2.84 s, sys: 3 s, total: 5.84 s
Wall time: 2.19 s
/home/husein/dev/malaya/malaya/tokenizer.py:214: FutureWarning: Possible nested set at position 3397
self.tok = re.compile(r'({})'.format('|'.join(pipeline)))
/home/husein/dev/malaya/malaya/tokenizer.py:214: FutureWarning: Possible nested set at position 3927
self.tok = re.compile(r'({})'.format('|'.join(pipeline)))
link: https://www.hmetro.com.my/mutakhir/2020/05/580438/peletakan-jawatan-tun-m-ditolak-bukan-lagi-isu
Title: Peletakan jawatan Tun M ditolak, bukan lagi isu.
Body: PELETAKAN jawatan Tun Dr Mahathir Mohamad sebagai Pengerusi Parti Pribumi Bersatu Malaysia (Bersatu) ditolak di dalam mesyuarat khas Majlis Pimpinan Tertinggi (MPT) pada 24 Februari lalu.
Justeru, tidak timbul soal peletakan jawatan itu sah atau tidak kerana ia sudah pun diputuskan pada peringkat parti yang dipersetujui semua termasuk Presiden, Tan Sri Muhyiddin Yassin.
Bekas Setiausaha Agung Bersatu Datuk Marzuki Yahya berkata, pada mesyuarat itu MPT sebulat suara menolak peletakan jawatan Dr Mahathir.
“Jadi ini agak berlawanan dengan keputusan yang kita sudah buat. Saya tak faham bagaimana Jabatan Pendaftar Pertubuhan Malaysia (JPPM) kata peletakan jawatan itu sah sedangkan kita sudah buat keputusan di dalam mesyuarat, bukan seorang dua yang buat keputusan.
“Semua keputusan mesti dibuat melalui parti. Walau apa juga perbincangan dibuat di luar daripada keputusan mesyuarat, ini bukan keputusan parti.
“Apa locus standy yang ada pada Setiausaha Kerja untuk membawa perkara ini kepada JPPM. Seharusnya ia dibawa kepada Setiausaha Agung sebagai pentadbir kepada parti,” katanya kepada Harian Metro.
Beliau mengulas laporan media tempatan hari ini mengenai pengesahan JPPM bahawa Dr Mahathir tidak lagi menjadi Pengerusi Bersatu berikutan peletakan jawatannya di tengah-tengah pergolakan politik pada akhir Februari adalah sah.
Laporan itu juga menyatakan, kedudukan Muhyiddin Yassin memangku jawatan itu juga sah.
Menurutnya, memang betul Dr Mahathir menghantar surat peletakan jawatan, tetapi ditolak oleh MPT.
“Fasal yang disebut itu terpakai sekiranya berhenti atau diberhentikan, tetapi ini mesyuarat sudah menolak,” katanya.
Marzuki turut mempersoal kenyataan media yang dibuat beberapa pimpinan parti itu hari ini yang menyatakan sokongan kepada Perikatan Nasional.
“Kenyataan media bukanlah keputusan rasmi. Walaupun kita buat 1,000 kenyataan sekali pun ia tetap tidak merubah keputusan yang sudah dibuat di dalam mesyuarat. Kita catat di dalam minit apa yang berlaku di dalam mesyuarat,” katanya.
[5]:
string = """
PELETAKAN jawatan Tun Dr Mahathir Mohamad sebagai Pengerusi Parti Pribumi Bersatu Malaysia (Bersatu) ditolak di dalam mesyuarat khas Majlis Pimpinan Tertinggi (MPT) pada 24 Februari lalu.
Justeru, tidak timbul soal peletakan jawatan itu sah atau tidak kerana ia sudah pun diputuskan pada peringkat parti yang dipersetujui semua termasuk Presiden, Tan Sri Muhyiddin Yassin.
Bekas Setiausaha Agung Bersatu Datuk Marzuki Yahya berkata, pada mesyuarat itu MPT sebulat suara menolak peletakan jawatan Dr Mahathir.
"Jadi ini agak berlawanan dengan keputusan yang kita sudah buat. Saya tak faham bagaimana Jabatan Pendaftar Pertubuhan Malaysia (JPPM) kata peletakan jawatan itu sah sedangkan kita sudah buat keputusan di dalam mesyuarat, bukan seorang dua yang buat keputusan.
"Semua keputusan mesti dibuat melalui parti. Walau apa juga perbincangan dibuat di luar daripada keputusan mesyuarat, ini bukan keputusan parti.
"Apa locus standy yang ada pada Setiausaha Kerja untuk membawa perkara ini kepada JPPM. Seharusnya ia dibawa kepada Setiausaha Agung sebagai pentadbir kepada parti," katanya kepada Harian Metro.
Beliau mengulas laporan media tempatan hari ini mengenai pengesahan JPPM bahawa Dr Mahathir tidak lagi menjadi Pengerusi Bersatu berikutan peletakan jawatannya di tengah-tengah pergolakan politik pada akhir Februari adalah sah.
Laporan itu juga menyatakan, kedudukan Muhyiddin Yassin memangku jawatan itu juga sah.
Menurutnya, memang betul Dr Mahathir menghantar surat peletakan jawatan, tetapi ditolak oleh MPT.
"Fasal yang disebut itu terpakai sekiranya berhenti atau diberhentikan, tetapi ini mesyuarat sudah menolak," katanya.
Marzuki turut mempersoal kenyataan media yang dibuat beberapa pimpinan parti itu hari ini yang menyatakan sokongan kepada Perikatan Nasional.
"Kenyataan media bukanlah keputusan rasmi. Walaupun kita buat 1,000 kenyataan sekali pun ia tetap tidak merubah keputusan yang sudah dibuat di dalam mesyuarat. Kita catat di dalam minit apa yang berlaku di dalam mesyuarat," katanya.
"""
string = cleaning(string)
Link: https://www.malaysiakini.com/news/525953
Title: Mahathir jangan hipokrit isu kes mahkamah Riza, kata Takiyuddin
Body: Menteri undang-undang Takiyuddin Hassan berkata kerajaan berharap Dr Mahathir Mohamad tidak bersikap hipokrit dengan mengatakan beliau tertanya-tanya dan tidak faham dengan keputusan mahkamah melepas tanpa membebaskan (DNAA) Riza Aziz, anak tiri bekas perdana menteri Najib Razak, dalam kes pengubahan wang haram membabitkan dana 1MDB.
Pemimpin PAS itu berkata ini kerana keputusan itu dibuat oleh peguam negara dan dilaksanakan oleh timbalan pendakwa raya yang mengendalikan kes tersebut pada akhir 2019.
“Saya merujuk kepada kenyataan Dr Mahathir tentang tindakan Mahkamah Sesyen memberikan pelepasan tanpa pembebasan (discharge not amounting to acquittal) kepada Riza Aziz baru-baru ini.
“Kerajaan berharap Dr Mahathir tidak bersikap hipokrit dengan mengatakan beliau ‘tertanya-tanya’, keliru dan tidak faham terhadap suatu keputusan yang dibuat oleh Peguam Negara dan dilaksanakan oleh Timbalan Pendakwa Raya yang mengendalikan kes ini pada akhir tahun 2019,” katanya dalam satu kenyataan hari ini.
Riza pada Khamis dilepas tanpa dibebaskan daripada lima pertuduhan pengubahan wang berjumlah AS$248 juta (RM1.08 bilion).
Dalam persetujuan yang dicapai antara pihak Riza dan pendakwaan, beliau dilepas tanpa dibebaskan atas pertuduhan itu dengan syarat memulangkan semula aset dari luar negara dengan nilai anggaran AS$107.3 juta (RM465.3 juta).
Ekoran itu, Mahathir antara lain menyuarakan kekhuatirannya berkenaan persetujuan itu dan mempersoalkan jika pihak yang didakwa atas tuduhan mencuri boleh terlepas daripada tindakan jika memulangkan semula apa yang dicurinya.
“Dia curi berbilion-bilion…Dia bagi balik kepada kerajaan. Dia kata kepada kerajaan, ‘Nah, duit yang aku curi. Sekarang ini, jangan ambil tindakan terhadap aku.’ Kita pun kata, ‘Sudah bagi balik duit okey lah’,” katanya.
Menjelaskan bahawa beliau tidak mempersoalkan keputusan mahkamah, Mahathir pada masa sama berkata ia menunjukkan undang-undang mungkin perlu dipinda.
Mengulas lanjut, Takiyuddin yang juga setiausaha agung PAS berkata kenyataan Mahathir tidak munasabah sebagai bekas perdana menteri.
“Kerajaan berharap Dr Mahathir tidak terus bertindak mengelirukan rakyat dengan mengatakan beliau ‘keliru’.
“Kerajaan PN akan terus bertindak mengikut undang-undang dan berpegang kepada prinsip kebebasan badan kehakiman dan proses perundangan yang sah,” katanya.
[6]:
string2 = """
Menteri undang-undang Takiyuddin Hassan berkata kerajaan berharap Dr Mahathir Mohamad tidak bersikap hipokrit dengan mengatakan beliau tertanya-tanya dan tidak faham dengan keputusan mahkamah melepas tanpa membebaskan (DNAA) Riza Aziz, anak tiri bekas perdana menteri Najib Razak, dalam kes pengubahan wang haram membabitkan dana 1MDB.
Pemimpin PAS itu berkata ini kerana keputusan itu dibuat oleh peguam negara dan dilaksanakan oleh timbalan pendakwa raya yang mengendalikan kes tersebut pada akhir 2019.
“Saya merujuk kepada kenyataan Dr Mahathir tentang tindakan Mahkamah Sesyen memberikan pelepasan tanpa pembebasan (discharge not amounting to acquittal) kepada Riza Aziz baru-baru ini.
“Kerajaan berharap Dr Mahathir tidak bersikap hipokrit dengan mengatakan beliau ‘tertanya-tanya’, keliru dan tidak faham terhadap suatu keputusan yang dibuat oleh Peguam Negara dan dilaksanakan oleh Timbalan Pendakwa Raya yang mengendalikan kes ini pada akhir tahun 2019,” katanya dalam satu kenyataan hari ini.
Riza pada Khamis dilepas tanpa dibebaskan daripada lima pertuduhan pengubahan wang berjumlah AS$248 juta (RM1.08 bilion).
Dalam persetujuan yang dicapai antara pihak Riza dan pendakwaan, beliau dilepas tanpa dibebaskan atas pertuduhan itu dengan syarat memulangkan semula aset dari luar negara dengan nilai anggaran AS$107.3 juta (RM465.3 juta).
Ekoran itu, Mahathir antara lain menyuarakan kekhuatirannya berkenaan persetujuan itu dan mempersoalkan jika pihak yang didakwa atas tuduhan mencuri boleh terlepas daripada tindakan jika memulangkan semula apa yang dicurinya.
"Dia curi berbilion-bilion...Dia bagi balik kepada kerajaan. Dia kata kepada kerajaan, 'Nah, duit yang aku curi. Sekarang ini, jangan ambil tindakan terhadap aku.' Kita pun kata, 'Sudah bagi balik duit okey lah'," katanya.
Menjelaskan bahawa beliau tidak mempersoalkan keputusan mahkamah, Mahathir pada masa sama berkata ia menunjukkan undang-undang mungkin perlu dipinda.
Mengulas lanjut, Takiyuddin yang juga setiausaha agung PAS berkata
kenyataan Mahathir tidak munasabah sebagai bekas perdana menteri.
"Kerajaan berharap Dr Mahathir tidak terus bertindak mengelirukan rakyat dengan mengatakan beliau ‘keliru’.
“Kerajaan PN akan terus bertindak mengikut undang-undang dan berpegang kepada prinsip kebebasan badan kehakiman dan proses perundangan yang sah,” katanya.
"""
string2 = cleaning(string2)
[7]:
string3 = """
The future looks bleak for Gerakan Tanah Air (GTA), as the possibility of building alliances with other political coalitions slowly withers.
Experts believe the unofficial pact is in for a dismal showing and may end up being "buried" in the 15th General Election (GE15).
They said GTA, which aims to contest more than 120 seats, might end up securing only five seats at most despite having a notable figure — former prime minister Tun Dr Mahathir Mohamad — as its chairman.
Associate Professor Dr Awang Azman Awang Pawi said when Dr Mahathir headed Parti Pribumi Bersatu Malaysia (Bersatu) in the previous general election, the party secured only 13 seats.
"Dr Mahathir won only 13 when he was with Bersatu. It is likely that he will do much less under GTA.
"GTA's political future will likely be buried sooner than it thinks," he told the New Sunday Times yesterday.
The political analyst from Universiti Malaya said GTA's plan to contest 120 seats would be an obstacle for the pact, as the political coalition would find it hard to find worthy and acceptable candidates.
GTA is made up of Parti Pejuang Tanah Air (Pejuang), Parti Bumiputera Perkasa Malaysia, Barisan Jemaah Islamiah Se-Malaysia and Parti Ikatan India Muslim Nasional.
GTA had previously courted Perikatan Nasional (PN) and Pakatan Harapan (PH) in the run-up to the election.
Dr Mahathir had earlier last week said he was willing to "set his ego aside" to unite the opposition parties to offer a strong challenge against Barisan Nasional (BN).
Last Thursday, PN shut its doors to any cooperation with GTA for GE15, saying it would move ahead with its component parties.
So far, GTA has announced eight candidates for GE15: Dr Mahathir for the Langkawi parliamentary seat, Datuk Seri Mukhriz Mahathir for Jerlun, Datuk Amiruddin Hamzah for Kubang Pasu, Datin Che Asmah Ibrahim for Sepang, Mior Nor Haidir Suhaimi for Tapah, Harumaini Omar for Hulu Selangor, Mohd Shaid Rosli for Kuala Selangor and Datuk Seri Khairuddin Abu Hassan for Titiwangsa.
Another political analyst, Azmi Hassan, predicted that GTA would have to go it alone, and did not see any chance that Pakatan Harapan (PH) would accept the pact into its fold.
He said GTA had little to offer to PH.
"They (GTA) have nothing to add to PH, unlike the Malaysian United Democratic Alliance.
"GTA has no political history, and its performance in the Johor election showed how weak Pejuang's influence is."
He said GTA should concentrate in areas that it could perform well, such as Kedah where Dr Mahathir and Mukhriz would defend their seats.
"""
string3 = cleaning(string3)
List available HuggingFace models#
[8]:
malaya.summarization.abstractive.available_huggingface
[8]:
{'mesolitica/finetune-summarization-t5-small-standard-bahasa-cased': {'Size (MB)': 242,
'ROUGE-1': 0.75721802,
'ROUGE-2': 0.496729027,
'ROUGE-L': 0.304021823,
'Suggested length': 1024},
'mesolitica/finetune-summarization-t5-base-standard-bahasa-cased': {'Size (MB)': 892,
'ROUGE-1': 0.7132268255,
'ROUGE-2': 0.470135011,
'ROUGE-L': 0.366797009,
'Suggested length': 1024},
'mesolitica/finetune-summarization-ms-t5-small-standard-bahasa-cased': {'Size (MB)': 242,
'ROUGE-1': 0.742572468,
'ROUGE-2': 0.50196339,
'ROUGE-L': 0.3741226432,
'Suggested length': 1024},
'mesolitica/finetune-summarization-ms-t5-base-standard-bahasa-cased': {'Size (MB)': 892,
'ROUGE-1': 0.728116529,
'ROUGE-2': 0.49656772621,
'ROUGE-L': 0.376577199,
'Suggested length': 1024}}
[10]:
print(malaya.summarization.abstractive.info)
tested on translated validation set CNN Daily Mail, https://huggingface.co/datasets/mesolitica/translated-cnn-dailymail
tested on translated test set Xwikis, https://huggingface.co/datasets/mesolitica/translated-xwikis
Load HuggingFace model#
def huggingface(
model: str = 'mesolitica/finetune-summarization-t5-small-standard-bahasa-cased',
force_check: bool = True,
**kwargs,
):
"""
Load HuggingFace model to abstractive summarization.
Parameters
----------
model: str, optional (default='mesolitica/finetune-summarization-t5-small-standard-bahasa-cased')
Check available models at `malaya.summarization.abstractive.available_huggingface`.
force_check: bool, optional (default=True)
Force check model one of malaya model.
Set to False if you have your own huggingface model.
Returns
-------
result: malaya.torch_model.huggingface.Summarization
"""
[28]:
model = malaya.summarization.abstractive.huggingface()
[27]:
model_base = malaya.summarization.abstractive.huggingface(model = 'mesolitica/finetune-summarization-t5-base-standard-bahasa-cased')
Summarize#
def generate(
self,
strings: List[str],
postprocess: bool = True,
n: int = 2,
threshold: float = 0.1,
reject_similarity: float = 0.85,
**kwargs,
):
"""
Generate texts from the input.
Parameters
----------
strings : List[str]
postprocess: bool, optional (default=False)
If True, will filter sentence generated using ROUGE score and removed biased generated international news publisher.
n: int, optional (default=2)
N size of rouge to filter
threshold: float, optional (default=0.1)
minimum threshold for N rouge score to select a sentence.
reject_similarity: float, optional (default=0.85)
reject similar sentences while maintain position.
**kwargs: vector arguments pass to huggingface `generate` method.
Read more at https://huggingface.co/docs/transformers/main_classes/text_generation
Returns
-------
result: List[str]
"""
[13]:
%%time
pprint(model.generate([string, string2], max_length = 256, temperature = 0.5))
/home/husein/.local/lib/python3.8/site-packages/transformers/generation/configuration_utils.py:362: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0.5` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.
warnings.warn(
spaces_between_special_tokens is deprecated and will be removed in transformers v5. It was adding spaces between `added_tokens`, not special tokens, and does not exist in our fast implementation. Future tokenizers will handle the decoding process on a per-model rule.
['Tun Dr Mahathir Mohamad telah menjadi Pengerusi Parti Pribumi Bersatu '
'Malaysia. Ia ditolak di dalam mesyuarat Majlis Pimpinan Tertinggi pada 24 '
'Februari lalu. Ahli Parlimen sebulat suara menolak peletakan jawatan itu '
'sebagai sah.',
'Menteri undang-undang Takiyuddin Hassan mengatakan bahawa kerajaan berharap '
'Dr Mahathir tidak bersikap hipokrit. Riza Aziz, anak tiri Najib Razak, '
'dibebaskan tanpa pembebasan. Riza dilepas tanpa dibebaskan dari lima tuduhan '
'pengubahan wang haram berjumlah AS $ 248 juta (RM1.08 bilion).']
CPU times: user 9.36 s, sys: 0 ns, total: 9.36 s
Wall time: 836 ms
[14]:
%%time
pprint(model_base.generate([string, string2], max_length = 256, temperature = 0.5))
['Bekas Setiausaha Agung Bersatu Marzuki Yahya mengatakan peletakan jawatan '
"itu sah. Marzuki mengatakan bahawa ia 'agak bertentangan dengan keputusan "
"yang kita buat'.",
'Riza Aziz dibebaskan dari lima tuduhan pengubahan wang haram berjumlah AS $ '
'248 juta (RM1.08 bilion) Riza pada hari Khamis dibebaskan tanpa dibebaskan '
'dari lima tuduhan pengubahan wang haram berjumlah AS $ 248 juta (RM1.08 '
'bilion) Riza pada hari Khamis dibebaskan tanpa dibebaskan dari lima tuduhan '
'pengubahan wang haram berjumlah AS $ 248 juta (RM1.08 bilion). Menteri '
'undang-undang Takiyuddin Hassan mengatakan bahawa dia tertanya-tanya dan '
'tidak faham dengan keputusan mahkamah.']
CPU times: user 46.5 s, sys: 17.8 ms, total: 46.5 s
Wall time: 3.99 s
Good thing about HuggingFace#
In generate method, you can do greedy, beam, sampling, nucleus decoder and so much more, read it at https://huggingface.co/blog/how-to-generate
[15]:
%%time
pprint(model.generate([string],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3))
['Anggota Parlimen menolak peletakan jawatan Dr M Mohamad pada mesyuarat awal '
'Februari. Setiausaha Agung Bersatu Datuk Marzuki Yahya mengatakan jawatan '
'itu sah. Semalam menuduh laporan media tempatan bahawa Dr Mahathir tidak '
'lagi menjadi Pengerusi Bersatu.',
'Dr Mahathir Mohamad telah diberhentikan sebagai Pengerusi Parti Pribumi '
'Bersatu Malaysia. Pada mesyuarat khas Majlis Pimpinan Tertinggi (MPT) dia '
'menolak peletakan jawatannya. Namun, tidak ada persoalan berapa banyak '
'peletakan jawatan itu perlu dilakukan.',
'PM sudah melakukan laporan mengenai pengunduran dirinya sebagai Pengerusi '
'Bersatu Malaysia. Tun Mahathir Mohamad adalah Pengerusi Parti Pribumi '
'Bersatu Malaysia (Bersatu) yang, menurut laporan itu, enggan di hadapan '
'Majlis Pimpinan Tertinggi yang membubarkan jawatankuasa itu.']
CPU times: user 8.18 s, sys: 14.9 ms, total: 8.19 s
Wall time: 707 ms
[16]:
pprint(model_base.generate([string],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3))
['Datuk Marzuki Yahya mengatakan peletakan jawatan itu sah pada 24 Februari. '
'Bekas Setiausaha Agung Bersatu Marzuki berkata, peletakan jawatan itu juga '
'sah.',
'MB Malaysia Mohamad mengatakan peletakan jawatan itu sama sekali tidak sah. '
'Kepujian itu dibuat pada peringkat parti yang dipersetujui dengan semua '
'termasuk PM. Bekas Setiausaha Agung Bersatu Marzuki Yahya mengatakan semua '
'keputusan mesti dibuat melalui parti.',
'Dr Mahathir Mohamad terus duduk sebagai ketua parti pada Februari lalu. '
'Tetapi Anwar Ibrahim mengatakan ia telah ditolak oleh MPT. Datuk Marzuki '
"Yahya berkata, peletakan jawatan itu sah. Marzuki berkata, ia 'agak "
"bertentangan dengan keputusan yang kita buat'."]
[17]:
%%time
pprint(model.generate([string2],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3))
['Dr Mahathir Mohamad melepaskan tanpa dibebaskan dari lima pertuduhan '
'pengubahan wang haram. Riza Aziz, anak tiri Najib Razak, dituduh membunuh '
'1MDB.',
'Menteri undang-undang Takiyuddin Hassan berkata, kerajaan berharap Dr '
"Mahathir tidak bersikap hipokrit dengan berkata beliau 'terkejut' dan tidak "
'faham dengan keputusan mahkamah mengeluarkan lesen daripada Riza Aziz.',
'Menteri mengatakan kerajaan berharap Dr Mahathir tidak bersikap hipokrit. '
"Kata dia 'tertanya-tanya' dan tidak faham dengan keputusan mahkamah. Riza "
'Aziz dibebaskan tanpa dibebaskan dari lima tuduhan pengubahan wang haram.']
CPU times: user 8.8 s, sys: 0 ns, total: 8.8 s
Wall time: 756 ms
[18]:
%%time
pprint(model_base.generate([string2],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3))
['Riza Aziz telah berada di mahkamah menyelesaikan pengubahan wang haram 1MDB. '
'Pihaknya mengeluarkannya tanpa dibebaskan atas tuduhan pengubahan wang '
'haram. Rampage dihentikan atas tuduhan yang boleh dibatalkan oleh pelakunya. '
'Takiyuddin Hassan mengatakan bahawa dia tidak pernah mempersoalkan keputusan '
"mahkamah. Beliau berkata: 'Kerajaan berharap Dr Mahathir tidak bersikap "
"hipokrit... kata dia 'keliru'.",
'Riza Aziz diberi pelepasan tanpa pembebasan dalam kes rasuah 1MDB. Dia '
'dibebaskan tanpa dibebaskan daripada tuduhan pengubahan wang haram. Bekas '
'perdana menteri Najib Razak ketika itu melanggar perjanjian yang menelan '
'belanja AS $ 243 juta (PS 1.08 bilion) Parlimen PAS mengatakan bahawa '
'pengisytiharan itu tidak boleh diterima oleh semua rakyat yang mempersoalkan '
'mengapa dia menjadi PM.',
'Riza Aziz dituduh diceraikan dari kes 1MDB di Seksyen 4 Perlembagaan. Riza '
'didakwa atas lima tuduhan pengubahan wang haram bernilai AS $ 248 juta '
'(RM1.08 bilion) Perdana Menteri Takiyuddin Hassan mengatakan keputusan '
"mahkamah telah dilaksanakan oleh Timbalan Pendakwa raya. Dia berkata: 'Dr "
'Mahathir bertanya-tanya, keliru dan tidak faham terhadap keputusan yang '
"dibuat oleh Peguam Negara'."]
CPU times: user 37.9 s, sys: 40.1 ms, total: 38 s
Wall time: 3.22 s
able to infer for mixed MS and EN#
Make sure to set threshold=0.0 if postprocess=True or else postprocess function will return an error.
[19]:
%%time
pprint(model.generate([string3],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3, threshold = 0.0))
['Ahli politik mengatakan perjanjian tidak rasmi adalah cara yang baik untuk '
'menjalankan parlimen. Mereka mengatakan GTA akan bertanding lebih daripada '
'120 kerusi tetapi hanya dapat memperoleh lima kerusi. GTA sebelum ini '
'mengancam Perikatan Nasional dan Pakatan Harapan.',
'Gerakan Tanah Air telah melancarkan lapan calon untuk kerusi Parlimen '
'Langkawi. Parti itu telah berjanji untuk menjadi pesaing yang lebih baik '
'daripada pakatan lain. Perdana Menteri Dr Mahathir Mohamad adalah ketua GTA '
'yang dan Mohamed Ramm.',
'Gerakan Tanah Air, di hadapan PN, Pakatan Harapan (PH), akan datang. Akan '
'menang dalam pilihan raya umum ke-15. Sebilangan besar kesepakatan tidak '
'rasmi dimenangi oleh Dr. Mahathir, walaupun hanya memperoleh lima kerusi. '
'GTA dibentuk daripada parti Pejuang Tanah Air, Parti Bumiputera Perkasa '
'Malaysia, Barisan Jemaah Islamiah Se-Malaysia dan Parti Ikatan India Muslim '
'Nasional.']
CPU times: user 16.1 s, sys: 12 ms, total: 16.1 s
Wall time: 1.38 s
[20]:
%%time
pprint(model_base.generate([string3],
do_sample=True,
max_length=256,
top_p=0.92,
top_k=0,
num_return_sequences=3, threshold = 0.0))
['GTA (Perancis: "Menjejaskan undi kepada sayap kanan pembangkang") mungkin '
'"diberkati" pada Pilihan Raya Umum ke-15 (GE15) Penganalisis mengatakan '
'rancangan GTA untuk bersaing 120 kerusi akan menjadi penghalang. Dr Mahathir '
'hanya memperoleh 13 kerusi berbanding Bersatu.',
'GTA sedang bersiap untuk mengadakan pilihan raya umum ke-15 pada hari '
'Khamis. Keputusan akan mengejutkan orang ramai, kata para penganalisis. Dr '
'Mahathir hanya memperoleh 13 daripada 111 kerusi ketika dia memimpin '
'Bersatu.',
'Gerakan Tanah Air (GTA) merancang untuk bertanding di lebih 120 kerusi. '
'Pakar percaya perjanjian tidak rasmi sedang berlangsung, dan mungkin '
'"dikebumikan" pada GE15. GTA yang dibentuk oleh pemimpin Tun Dr Mahathir '
'Mohamad (Bersatu) dapat menyelesaikan setelah Dr Mahathir memenangi 13 '
'kerusi. GTA telah mengumumkan lapan calon untuk pilihan raya baru-baru ini: '
'PM Kedah, Kedah, Putrajaya.']
CPU times: user 44 s, sys: 32.1 ms, total: 44 s
Wall time: 3.71 s
Problem with mixed model#
[21]:
s = """
PERDANA Menteri Datuk Seri Anwar Ibrahim sekali lagi mencuri tumpuan netizen selepas gambar-gambarnya menghadiri mesyuarat bersama Ketua Setiausaha Negara, Tan Sri Mohd Zuki Ali viral di media sosial.
Menerusi satu ciapan di Twitter, beliau memuat naik beberapa keping foto yang memperlihatkan dirinya menggayakan persalinan baju Melayu berona ungu, lengkap dengan samping dan songkok.
Selain itu, beliau turut menyarungkan sepasang capal ketika menghadiri mesyuarat berkenaan.
Bagaimanapun, menerusi salah satu gambar, Anwar dilihat membuka capalnya ketika sedang bermesyuarat dan hal itu mencetus perbincangan dalam kalangan netizen.
“Dah la pakai selipar, masa meeting boleh tanggal camtu aje,” ujar seorang netizen.
Namun, ciapan tersebut dibalas oleh seorang lagi pengguna Twitter.
“Untuk makluman bersama, capal dibenarkan untuk dipakai bersama baju Melayu bersamping. Aku pun baru tahu,” katanya.
Selain itu, ada juga antara pengguna media sosial yang memberitahu yang martabat capal lebih tinggi berbanding selipar dan kasut-kasut lain.
“Capal actually salah satu pakaian Melayu tradisional. Dipakai bangsawan dan para pahlawan pada zaman dulu kala. Jadi, martabat capal tu lebih tinggi dari selipar dan kasut-kasut lain,” katanya.
"""
s = cleaning(s)
[22]:
%%time
pprint(model.generate([s], max_length = 256, temperature = 0.5))
['Anwar Ibrahim dilihat membuka capalnya ketika bermesyuarat. Foto-foto itu '
'dibalas oleh seorang lagi pengguna Twitter. Anwar juga dilihat memakai '
'sepasang baju Melayu berona ungu.']
CPU times: user 4.35 s, sys: 168 µs, total: 4.35 s
Wall time: 366 ms
[23]:
%%time
pprint(model_base.generate([s], max_length = 256, temperature = 0.5))
['Datuk Seri Anwar Ibrahim menyiarkan gambar dirinya memakai baju Melayu. Dia '
'juga memakai sepasang topial ketika menghadiri mesyuarat. Tetapi, seorang '
"pengguna Twitter membalas dengan mengatakan bahawa itu adalah'masa pertemuan "
"boleh tanggal camtu aje'."]
CPU times: user 14.4 s, sys: 8.45 ms, total: 14.5 s
Wall time: 1.21 s
As you can see, model_base generated topial word, inferred from capal -> cap, an -> topi, al.
Any malay words derived from english or any malay subwords are subset of english, this can confused the model.
[26]:
model_base_ms = malaya.summarization.abstractive.huggingface(model = 'mesolitica/finetune-summarization-ms-t5-base-standard-bahasa-cased')
[25]:
%%time
pprint(model_base_ms.generate([s], max_length = 256, temperature = 0.5))
['Perdana Menteri Anwar Ibrahim memuat naik gambar di Twitter. Dia memakai '
'baju Melayu berona ungu dan memakai selipar. Tetapi dia dilihat membuka '
'capalnya ketika sedang bermesyuarat.']
CPU times: user 15.2 s, sys: 15.4 ms, total: 15.2 s
Wall time: 1.27 s