{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Isi Penting Generator HuggingFace product description style"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Generate a long text with product description style given isi penting (important facts)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-info\">\n",
    "\n",
    "This tutorial is available as an IPython notebook at [Malaya/example/isi-penting-generator-huggingface-product-description-style](https://github.com/huseinzol05/Malaya/tree/master/example/isi-penting-generator-huggingface-product-description-style).\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-warning\">\n",
    "\n",
    "Results generated using stochastic methods.\n",
    "    \n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/husein/dev/malaya/malaya/tokenizer.py:208: FutureWarning: Possible nested set at position 3386\n",
      "  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))\n",
      "/home/husein/dev/malaya/malaya/tokenizer.py:208: FutureWarning: Possible nested set at position 3904\n",
      "  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3.34 s, sys: 3.29 s, total: 6.63 s\n",
      "Wall time: 2.57 s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "import malaya\n",
    "from pprint import pprint"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### List available HuggingFace"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Size (MB)</th>\n",
       "      <th>ROUGE-1</th>\n",
       "      <th>ROUGE-2</th>\n",
       "      <th>ROUGE-L</th>\n",
       "      <th>Suggested length</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>mesolitica/finetune-isi-penting-generator-t5-small-standard-bahasa-cased</th>\n",
       "      <td>242.0</td>\n",
       "      <td>0.246203</td>\n",
       "      <td>0.058961</td>\n",
       "      <td>0.15159</td>\n",
       "      <td>1024.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased</th>\n",
       "      <td>892.0</td>\n",
       "      <td>0.246203</td>\n",
       "      <td>0.058961</td>\n",
       "      <td>0.15159</td>\n",
       "      <td>1024.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    Size (MB)   ROUGE-1  \\\n",
       "mesolitica/finetune-isi-penting-generator-t5-sm...      242.0  0.246203   \n",
       "mesolitica/finetune-isi-penting-generator-t5-ba...      892.0  0.246203   \n",
       "\n",
       "                                                     ROUGE-2  ROUGE-L  \\\n",
       "mesolitica/finetune-isi-penting-generator-t5-sm...  0.058961  0.15159   \n",
       "mesolitica/finetune-isi-penting-generator-t5-ba...  0.058961  0.15159   \n",
       "\n",
       "                                                    Suggested length  \n",
       "mesolitica/finetune-isi-penting-generator-t5-sm...            1024.0  \n",
       "mesolitica/finetune-isi-penting-generator-t5-ba...            1024.0  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "malaya.generator.isi_penting.available_huggingface()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Load HuggingFace\n",
    "\n",
    "Transformer Generator in Malaya is quite unique, most of the text generative model we found on the internet like GPT2 or Markov, simply just continue prefix input from user, but not for Transformer Generator. We want to generate an article or karangan like high school when the users give 'isi penting'.\n",
    "\n",
    "```python\n",
    "def huggingface(model: str = 'mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased', **kwargs):\n",
    "    \"\"\"\n",
    "    Load HuggingFace model to generate text based on isi penting.\n",
    "\n",
    "    Parameters\n",
    "    ----------\n",
    "    model: str, optional (default='mesolitica/finetune-isi-penting-generator-t5-base-standard-bahasa-cased')\n",
    "        Check available models at `malaya.generator.isi_penting.available_huggingface()`.\n",
    "\n",
    "    Returns\n",
    "    -------\n",
    "    result: malaya.torch_model.huggingface.IsiPentingGenerator\n",
    "    \"\"\"\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6cd9efd4b7d64d23b71703d2f3a89fe2",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/822 [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6bc69f21042448318eb6a83225cfd66d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Downloading:   0%|          | 0.00/892M [00:00<?, ?B/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "model = malaya.generator.isi_penting.huggingface()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### generate\n",
    "\n",
    "```python\n",
    "def generate(\n",
    "    self,\n",
    "    strings: List[str],\n",
    "    mode: str = 'surat-khabar',\n",
    "    **kwargs,\n",
    "):\n",
    "    \"\"\"\n",
    "    generate a long text given a isi penting.\n",
    "\n",
    "    Parameters\n",
    "    ----------\n",
    "    strings : List[str]\n",
    "    mode: str, optional (default='surat-khabar')\n",
    "        Mode supported. Allowed values:\n",
    "\n",
    "        * ``'surat-khabar'`` - news style writing.\n",
    "        * ``'tajuk-surat-khabar'`` - headline news style writing.\n",
    "        * ``'artikel'`` - article style writing.\n",
    "        * ``'penerangan-produk'`` - product description style writing.\n",
    "        * ``'karangan'`` - karangan sekolah style writing.\n",
    "\n",
    "    **kwargs: vector arguments pass to huggingface `generate` method.\n",
    "        Read more at https://huggingface.co/docs/transformers/main_classes/text_generation\n",
    "\n",
    "    Returns\n",
    "    -------\n",
    "    result: List[str]\n",
    "    \"\"\"\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Good thing about HuggingFace\n",
    "\n",
    "In `generate` method, you can do greedy, beam, sampling, nucleus decoder and so much more, read it at https://huggingface.co/blog/how-to-generate\n",
    "\n",
    "And recently, huggingface released https://huggingface.co/blog/introducing-csearch"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "isi_penting = ['ayam yang sihat dan sejahtera', 'nasi ayam yang sedap dan lazat', 'kedai bernama Husein Nasi Ayam']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "You're using a T5TokenizerFast tokenizer. Please note that with a fast tokenizer, using the `__call__` method is faster than using a method to encode the text followed by a call to the `pad` method to get a padded encoding.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Husein Nasi Ayam yang lazat adalah nasi ayam yang lazat dengan kicap dan '\n",
      " 'rasa yang luar biasa. Dijual dalam paket (6.5 ons), ia adalah makanan yang '\n",
      " 'boleh anda gunakan untuk berseronok, menikmati masa terawat anda dan juga '\n",
      " 'memberikan rasa ayam yang lazat kepada keluarga anda. Husein mempunyai '\n",
      " 'rangkaian kedai bernama Husein Nasi Ayam. Setiap nasi yang kami buat di '\n",
      " 'rumah, perniagaan (dan kemudian menjual), dilengkapi dengan ayam yang sihat '\n",
      " 'dan sejahtera dan merupakan sumber protein dan serat yang sangat baik. Ia '\n",
      " 'mempunyai bahan semula jadi, seperti madu, barli dan bayam yang berfungsi '\n",
      " 'sebagai pengisi dan juga tauhu, menjadikan Husein sebagai makanan yang '\n",
      " 'menyeronokkan. Sama ada anda memulakan hari dengan makanan ringan seperti '\n",
      " 'nasi ayam, atau makan sandwic yang hebat seperti nasi ayam, makanan kami '\n",
      " 'adalah bahagian yang paling beraroma dan sangat sedap untuk makan dalam '\n",
      " 'keluarga anda.']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, mode = 'penerangan-produk',\n",
    "    do_sample=True, \n",
    "    max_length=256, \n",
    "    top_k=50, \n",
    "    top_p=0.95,))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Husein Nasi Ayam (1.5oz, 5.5oz) adalah makanan yang lazat, sihat dan '\n",
      " 'sejahtera untuk anjing dan kucing. \"Nasi yang enak dan enak ini adalah '\n",
      " 'makanan yang lazat yang dibuat dengan ayam yang sihat dan sejahtera. Kami '\n",
      " 'mempunyai nasi ayam yang sedap dan lazat yang boleh didapati di kedai '\n",
      " 'bernama Husein Nasi Ayam.\"']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, mode = 'penerangan-produk',\n",
    "    do_sample=True, \n",
    "    max_length=256, \n",
    "    penalty_alpha=0.8, top_k=4,))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "isi_penting = ['sabun lembut untuk kulit anda', \n",
    "               'sabun bebas dari DNA babi',\n",
    "               '44 herba dipetik oleh ibu tunggal yang cantik lagi ayu',\n",
    "               'sabun bebas dari kes rasuah SPRM',]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['IKUTI SETIAP STICKES KINTIFULS (R): Ini adalah formulasi lengkap tanpa sabun '\n",
      " 'lembut, bebas gula dan peluntur. * IKUTI SETIAP STICKES KINTIFULS (R): Ini '\n",
      " 'adalah sabun bebas dari DNA babi dan 44 herba dipetik oleh ibu tunggal yang '\n",
      " 'cantik lagi ayu, yang mengandungi protein yang penting untuk tubuh dan '\n",
      " 'badan.']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, do_sample=True, mode = 'penerangan-produk',\n",
    "    max_length=256,\n",
    "    top_k=50, \n",
    "    top_p=0.95, ))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['\"Sesiapa yang mempunyai kulit yang sangat sensitif akan melihat sabun lembut '\n",
      " 'untuk kulit anda. Ini adalah sabun bebas dari DNA babi, dan 44 herba dipetik '\n",
      " 'oleh ibu tunggal yang cantik lagi ayu. Ia adalah sabun semula jadi dan bebas '\n",
      " 'dari kes rasuah SPRM. \"']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, mode = 'penerangan-produk',\n",
    "    do_sample=True, \n",
    "    max_length=256, \n",
    "    penalty_alpha=0.8, top_k=4,))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "If you give better isi penting, the results will be much better."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# https://ms.wikipedia.org/wiki/Burger_Ramly\n",
    "isi_penting = ['Penubuhan Makma Mikrobiologi',\n",
    "               'mengawal kualiti produk',\n",
    "               'memastikan produknya adalah suci',\n",
    "               'satu tempat penyelidikan dan pembangunan produk',\n",
    "              'peralatan teknologi tinggi']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Penubuhan Makma Mikrobiologi adalah satu langkah ke depan untuk memastikan '\n",
      " 'produknya adalah suci. Dalam masa beberapa tahun, beberapa teknologi telah '\n",
      " 'mendapat pengiktirafan antarabangsa dan telah menjadi sumber utama kepada '\n",
      " 'banyak industri seperti farmaseutikal, kesihatan, keselamatan makanan dan '\n",
      " 'sebagainya. Penubuhan Makma Mikrobiologi adalah satu langkah di dalam '\n",
      " 'memastikan produknya adalah suci. Inovasi dan peralatan teknologi tinggi '\n",
      " 'dalam dunia pembuatan telah menyumbang kepada perkembangan mereka selama '\n",
      " 'lebih dari satu abad. Sebagai satu venue penyelidikan dan pembangunan '\n",
      " 'produk, kami telah memberikan banyak sokongan dalam menentukan inovasi dan '\n",
      " 'cabaran dengan teliti. Sebagai satu pasukan kami melakukan ini untuk '\n",
      " 'memastikan penyelesaian dan peraturan kami dapat dilaksanakan dengan '\n",
      " 'berkesan dengan cara yang yang tepat, sambil masih mempunyai semua inovasi '\n",
      " 'yang harus dilakukan. Kami komited untuk menyediakan sumber yang luar biasa '\n",
      " 'dan di pasaran untuk menjadikan teknologi kami menjadi standard industri.']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, do_sample=True, mode = 'penerangan-produk',\n",
    "    max_length=256,\n",
    "    top_k=50, \n",
    "    top_p=0.95, ))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Penubuhan Makma Mikrobiologi adalah untuk menyediakan penyelesaian untuk '\n",
      " 'masalah yang berkaitan dengan patogen, mikroorganisma, kulat, kulat, virus '\n",
      " 'dan penyakit yang berkaitan dengan penggunaan dan penggunaannya. Ia '\n",
      " 'bertujuan untuk mengawal kualiti produk yang digunakan, memastikan produknya '\n",
      " 'adalah suci dan selamat untuk digunakan. Ia juga bertujuan untuk memastikan '\n",
      " 'produknya adalah produk yang selamat dan bersih untuk digunakan dan juga '\n",
      " 'untuk digunakan dengan peralatan teknologi tinggi yang lain. Penubuhan Makma '\n",
      " 'Mikrobiologi adalah untuk menyediakan penyelesaian untuk masalah yang '\n",
      " 'berkaitan dengan patogen, mikroorganisma, kulat, kulat, virus dan penyakit '\n",
      " 'yang berkaitan dengan penggunaan dan penggunaannya. Ia bertujuan untuk '\n",
      " 'mengawal kualiti produk yang digunakan, memastikan produknya adalah suci dan '\n",
      " 'selamat untuk digunakan dan juga juga untuk digunakan dengan peralatan '\n",
      " 'teknologi tinggi yang lain. Ia bertujuan untuk memastikan produknya adalah '\n",
      " 'suci dan selamat untuk digunakan dan juga untuk digunakan dengan peralatan '\n",
      " 'teknologi tinggi yang lain. Ia adalah satu tempat penyelidikan dan '\n",
      " 'pembangunan produk yang terletak di dalam dan luar negara dan mempunyai '\n",
      " 'kemudahan dan kemudahan yang luas yang membolehkan anda membuat penyelidikan '\n",
      " 'dan pembangunan produk yang selamat dan bersih untuk digunakan dan juga '\n",
      " 'dengan peralatan teknologi tinggi yang lain.']\n"
     ]
    }
   ],
   "source": [
    "pprint(model.generate(isi_penting, mode = 'penerangan-produk',\n",
    "    do_sample=True, \n",
    "    max_length=256, \n",
    "    penalty_alpha=0.8, top_k=4,))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}