Isi Penting Generator news style#

Generate a long text with news style given isi penting (important facts).

This tutorial is available as an IPython notebook at Malaya/example/isi-penting-generator-news-style.

Results generated using stochastic methods.

[1]:

%%time
import malaya
from pprint import pprint

CPU times: user 2.77 s, sys: 3.95 s, total: 6.72 s
Wall time: 1.98 s

/home/husein/dev/malaya/malaya/tokenizer.py:214: FutureWarning: Possible nested set at position 3397
  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))
/home/husein/dev/malaya/malaya/tokenizer.py:214: FutureWarning: Possible nested set at position 3927
  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))

List available HuggingFace#

[2]:

malaya.generator.isi_penting.available_huggingface

[2]:

{'mesolitica/finetune-isi-penting-generator-t5-small-standard-bahasa-cased': {'Size (MB)': 242,
  'ROUGE-1': 0.24620333,
  'ROUGE-2': 0.05896076,
  'ROUGE-L': 0.15158954,
  'Suggested length': 1024},
 'mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased': {'Size (MB)': 892,
  'ROUGE-1': 0.24620333,
  'ROUGE-2': 0.05896076,
  'ROUGE-L': 0.15158954,
  'Suggested length': 1024}}

Load HuggingFace#

Transformer Generator in Malaya is quite unique, most of the text generative model we found on the internet like GPT2 or Markov, simply just continue prefix input from user, but not for Transformer Generator. We want to generate an article or karangan like high school when the users give ‘isi penting’.

def huggingface(
    model: str = 'mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased',
    force_check: bool = True,
    **kwargs,
):
    """
    Load HuggingFace model to generate text based on isi penting.

    Parameters
    ----------
    model: str, optional (default='mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased')
        Check available models at `malaya.generator.isi_penting.available_huggingface`.
    force_check: bool, optional (default=True)
        Force check model one of malaya model.
        Set to False if you have your own huggingface model.

    Returns
    -------
    result: malaya.torch_model.huggingface.IsiPentingGenerator
    """

[3]:

model = malaya.generator.isi_penting.huggingface()

Loading the tokenizer from the `special_tokens_map.json` and the `added_tokens.json` will be removed in `transformers 5`,  it is kept for forward compatibility, but it is recommended to update your `tokenizer_config.json` by uploading it again. You will see the new `added_tokens_decoder` attribute that will store the relevant information.
You are using the default legacy behaviour of the <class 'transformers.models.t5.tokenization_t5.T5Tokenizer'>. If you see this, DO NOT PANIC! This is expected, and simply means that the `legacy` (previous) behavior will be used so nothing changes for you. If you want to use the new behaviour, set `legacy=False`. This should only be set if you understand what it means, and thouroughly read the reason why this was added as explained in https://github.com/huggingface/transformers/pull/24565

generate#

def generate(
    self,
    strings: List[str],
    mode: str = 'surat-khabar',
    **kwargs,
):
    """
    generate a long text given a isi penting.

    Parameters
    ----------
    strings : List[str]
    mode: str, optional (default='surat-khabar')
        Mode supported. Allowed values:

        * ``'surat-khabar'`` - news style writing.
        * ``'tajuk-surat-khabar'`` - headline news style writing.
        * ``'artikel'`` - article style writing.
        * ``'penerangan-produk'`` - product description style writing.
        * ``'karangan'`` - karangan sekolah style writing.

    **kwargs: vector arguments pass to huggingface `generate` method.
        Read more at https://huggingface.co/docs/transformers/main_classes/text_generation

    Returns
    -------
    result: List[str]
    """

Good thing about HuggingFace#

In generate method, you can do greedy, beam, sampling, nucleus decoder and so much more, read it at https://huggingface.co/blog/how-to-generate

And recently, huggingface released https://huggingface.co/blog/introducing-csearch

[4]:

isi_penting = ['Dr M perlu dikekalkan sebagai perdana menteri',
              'Muhyiddin perlulah menolong Dr M',
              'rakyat perlu menolong Muhyiddin']

[5]:

pprint(model.generate(isi_penting, mode = 'surat-khabar',
    do_sample=True,
    max_length=256,
    top_k=50,
    top_p=0.95,))

spaces_between_special_tokens is deprecated and will be removed in transformers v5. It was adding spaces between `added_tokens`, not special tokens, and does not exist in our fast implementation. Future tokenizers will handle the decoding process on a per-model rule.

['TAN Sri Muhyiddin Yassin perlu dikekalkan sebagai perdana menteri berikutan '
 'pengunduran Datuk Seri Dr Wan Azizah Wan Ismail daripada jawatan timbalan '
 'perdana menteri pada 24 Februari lalu. Dalam satu kenyataan hari ini, '
 'Setiausaha Agung DAP, Lim Guan Eng berkata ini kerana Muhyiddin merupakan '
 'salah seorang pemimpin kanan Pakatan Harapan (PH) yang sedang berdepan '
 'cabaran. "Sebagai \'pemimpin kiri\', Dr Wan Azizah adalah pilihan pertama '
 'dalam sejarah negara untuk menjawat jawatan timbalan perdana menteri. "Oleh '
 'itu, Dr Wan Azizah wajib dikekalkan sebagai timbalan perdana menteri sebagai '
 'tanggungjawab yang perlu dilaksanakan oleh Muhyiddin," katanya. Guan Eng '
 'berkata, Dr Mahathir tidak sepatutnya meletak jawatan, sebaliknya beliau '
 'perlu menggalas tanggungjawab tersebut bagi memastikan kesejahteraan dan '
 'kemakmuran rakyat dapat dirasai. "Dalam keadaan negara sedang dalam '
 'pemulihan, keadaan sekarang adalah masa terbaik untuk Dr Mahathir, dan dalam '
 'masa sama, meneruskan agendanya dan memberi tumpuan kepada usaha '
 'membangunkan ekonomi negara. "Oleh yang demikian, tidak ada apa yang harus '
 'dibimbangkan bahawa Dr Mahathir akan mengkhianatinya untuk memastikan '
 'kestabilan politik negara dan rakyat," katanya. Beliau juga mempersoalkan '
 'keabsahan kepimpinan Dr Mahathir yang dianggapnya gagal. Menurutnya, Dr '
 'Mahathir juga gagal mengawal kerajaan PN secara teratur. "Dengan cara ini, '
 'Dr Mahathir tidak akan boleh menjadi PM yang sah temperatures, sekali']

[6]:

pprint(model.generate(isi_penting, mode = 'surat-khabar',
    do_sample=True,
    max_length=256,
    penalty_alpha=0.8, top_k=4,))

['Perdana Menteri maritimes, Muhyiddin Yassin harus mengekalkan jawatan '
 'sebagai Perdana Menteri sehingga pilihan raya umum ke-15 (PRU15), kata bekas '
 'timbalannya, Dr Wan Ahmad Fayhsal Wan Ahmad Kamal. Menurut beliau, ini '
 'kerana rakyat perlu membantu Muhyiddin dalam usaha memulihkan ekonomi '
 'negara. "Kalau kita nak bantu (kestabilan negara dan ekonomi), kita kena '
 'jagalah. "Jadi, kita kena bantu (kestabilan negara dan ekonomi). Kalau nak '
 'bantu (kestabilan), kita kena jagalah," katanya kepada media selepas program '
 "'Jom Jumpa Kasih #JomJibur' di sini, hari ini. Beliau mengulas mengenai "
 'kenyataan Presiden PKR, Anwar Ibrahim yang mahu Dr Mahathir dikekalkan '
 'sebagai perdana menteri sehingga PRU15. Anwar dilaporkan berkata, perkara '
 'itu perlu dibincangkan dengan pemimpin parti dalam Pakatan Harapan (PH).']

[7]:

isi_penting = ['Neelofa tetap dengan keputusan untuk berkahwin akhir tahun ini',
              'Long Tiger sanggup membantu Neelofa',
              'Tiba-tiba Long Tiger bergaduh dengan Husein Zolkepli']

We also can give any isi penting even does not make any sense.

[8]:

pprint(model.generate(isi_penting, do_sample=True,
    max_length=256,
    top_k=50,
    top_p=0.9, ))

['PEMINAT drama bersiri, Gegar Vaganza 2 (GV2), Neelofa tetap dengan keputusan '
 'untuk berkahwin akhir tahun ini meskipun pernah diburu oleh aktor terkenal, '
 'Yusry Abdul Halim. Namun, apabila menerima khabar duka duka dari teman '
 'rapatnya, aktres cantik dan juga pengacara popular, Datuk Husein Zolkepli, '
 'Long Tiger sanggup membantu Neelofa. Tiba-tiba Long Tiger bergaduh dengan '
 'Husein. Menerusi video yang dikongsikan di media sosial, Husein turut '
 'kelihatan berbual mesra dengan Neelofa. BACA: "Ikut perancangan, saya nak '
 'jadi orang ketiga" - Neelofa BACA: "Saya dah lama bergaduh dengan wanita '
 'cantik" - Husein Zolkepli \'panas\'..." - Neelofa \'panas\'..." - Datuk '
 'Husein Zolkepli \'panas\'..." - Neelofa \'panas\'..." - Datuk Husein '
 'Zolkepli \'panas\'..." - Datuk Husein Zolkepli \'panas\'...']

[9]:

pprint(model.generate(isi_penting, mode = 'surat-khabar',
    do_sample=True,
    max_length=256,
    penalty_alpha=0.8, top_k=4,))

['PELAKON dan pengacara, Neelofa tetap dengan keputusannya untuk berkahwin '
 'akhir tahun ini. Menerusi entri di Instagram (IG), Neelofa menjelaskan dia '
 'masih lagi dalam proses untuk mendapatkan jodoh. "Semalam saya sudah kahwin '
 'dengan seorang wanita bernama Husein Zolkepli," tulisnya ringkas. Tiba-tiba '
 'Long Tiger bergaduh dengan Husein. Long Tiger yang sedang bergaduh dengan '
 'Husein. #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya '
 '#salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya '
 '#salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya '
 '#salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya #salamsaya '
 '#salamsaya #salamsaya #salamsaya #salamsaya #salamsaya']

Isi Penting Generator news style

Contents

Isi Penting Generator news style#

List available HuggingFace#

Load HuggingFace#

generate#

Good thing about HuggingFace#