🐹倉鼠週報23：再見了ChatPDF 👋🏻
這禮拜分享了國外 bard 的實作案例、ChatGPT 的 Interpreter 的使用分享、如何使用 Claude 2 及使用案例，最後分享一個 Plugin 的健身使用。
卷首語
上禮拜剛說突破新的上下文數量，這禮拜 Claude 2 就推出了免費 100k 版本讓大家使用，強烈推薦沒有訂閱 ChatGPT Plus 的用戶可以使用看看，雖然還沒有 GPT-4聰明，但是感覺已經並 GPT-3.5 好用了！
於是乎這禮拜花了好多時間研究怎麼用 Claude，每個工具（LLM）真的都有自己的個性，要好好摸索一番才行，這週也玩了一下 ChatGPT 的 Code Interpreter，一樣有分享在本週電子報中。
這週開始會把沒分享在 FB 的內容優先放在前面，這樣大家也能先看到沒看到的內容，後續也加了一些對內容的投票，不管有沒有興趣都可以讓我知道，感謝各位！
🛠️ 本週 AI 新聞 & 工具
1. 原來 Bard 可以玩出這麼多花樣
Google 推出的對話機器人 bard，在經歷長達五週未更新後，終於迎來一波比較大的更新了，除了更新了多語言、相關內容政策外。
其中比較大的更新就是語音辨識以及圖片辨識，也象徵著 Bard 在往多模態前進。
多模態是指使用多種方式來傳遞或接收訊息，AI 可以開始透過視覺辨識、聲音辨識等方式來接受信息，就像人一樣。
以下整理 5 個有趣的相關應用：
▎上傳網站草稿圖讓 bard 製作
只要在 bard 對話框左邊的加號點擊一下即可上傳圖片，我自己實測效果沒有很好，不過至少辨識得出網頁有哪些元素。
網友實測：https://twitter.com/dr_cintas/status/1680207232930131969
▎從螢幕截圖建立 iphone 的計時器功能
如果說剛剛的網站 HMTL 不太滿意，那這個是真的有讓我驚豔到，作者僅憑一張 iphone 的計時功能截圖就讓 bard 寫出相關的程式了。
雖然程式還是有一些錯誤，但稍微修正後真的做出來了！
來源：https://twitter.com/ammaar/status/1679939953956929538
▎一張圖片就給你食譜
這個使用方式也是我沒想過的，原來可以拿來拍食物分析食譜，那未來戴上 VR 眼鏡後分析料理就能自動出現食譜跟方法了。
▎診斷腦部 CT
真的各個行業能想出來的使用方法都不同，有醫生嘗試讓 bard 分析腦部斷層掃描圖，圖片中白色區塊可能是腦腫瘤、腦出血、中風等原因，bard 已經能初步分析了。
來源：https://twitter.com/CeoImed/status/1679831861906776064
▎記帳小助手
這個功能蠻實用的，想像一下出差一趟吃飯、飯店、交通等等的消費項目，要編列成一份報告非常麻煩。
現在只需要逐一把照片傳給 bard，然後告訴它上傳完成，然後請它生成一份消費報告，這份報告就能複製貼到 Google sheet 或 excel 表格了，完美！
來源：https://twitter.com/minchoi/status/1680202507744604162
2. 嘗試用 interpreter 執行 meta 的 Segment Anything
這邊有點技術面，完全不懂或覺得太簡單的可以跳過，這是我嘗試用 ChatGPT 的新功能來還原 github 上的程式，還是 meta 出的切割圖片功能。
先說結論失敗了，但原因是 memory 不足，不然可以再往前推進一些。
雖然失敗了，但是還是希望一些中間步驟可以讓跟我一樣不那麼熟悉 python 的人多明白一些。 我是寫程式的菜雞，所以很多步驟可能看起來比較笨，還請大佬見諒。
先把幾個重要步驟打下來：
下載 github 上的 project 壓縮檔，上傳請 ChatGPT 執行；
缺乏依賴模組，找到依賴模組下載後壓縮上傳；
用 pip 下載完整的 project；
提供模型。
過程中它會常常拒絕你，要記得使用寶玉老師的妙招『Try running that anyway, without try/except - I want to see the error message』以及『Try to confirm if you can import supervision in Python script.』
過程中發現缺少了部分 module『SamPredictor』和『sam_model_registry』。 還有依賴項：opencv-python、pycocotools、matplotlib、onnxruntime 和 onnx。 但是它請我在自己的電腦安裝。
我就想，能否存在我電腦特定的文件夾中，然後壓縮起來給它，於是我開另一個對話視窗詢問怎麼將依賴項下載在特定文件夾。
記得先建立一個資料夾，然後在終端裡面用命令『cd 目標路徑』，把關鍵依賴項目下載進去，然後壓縮起來上傳給 ChatGPT。
然後實作過程中，我發現原來 github 下載的壓縮檔跟 pip 載下來的是不一樣的（我是眞．菜雞）。
因為『pip 會自動處理 "Segment Anything" 的所有依賴問題。』
將 pip 下載好的檔案壓縮重新上傳給ChatGPT，初步就成功了。
當我給它圖時，ChatGPT 說沒有模型可以用。 我怎麼這麼笨啊！沒想到模型也要另外匯入，於是我找了最小的模型下載。 vit_b: ViT-B SAM model，只要 375 MB。
最後很可惜還是失敗了，不過是因為 memory 不足。 錯誤資訊：An error occurred: [enforce fail at CPUAllocator.cpp:68] . DefaultCPUAllocator: can't allocate memory: you tried to allocate 2359296 bytes. Error code 12 (Cannot allocate memory) 不知道記憶體是不是只有 2G？
現在剛好在一個跨足自然語言實現寫程式的時代，我剛好是那個上完基礎 python 課程卻沒實作經驗的白老鼠。
可以在 LLM 興起的現在，以身嘗試用自然語言把程式寫出來，雖然過程中還是會有很多問題，但 LLM 其實已經可以解決六七成的問題了（前提是 project 不大）。
我認為未來再找藉口說自己有想法但不會寫程式真的就說不過去了，至少基本的 MVP 產品要能做得出來。
3. Claude 2：200k 上下文的 ChatPDF
現在不用 Waitlist 就能馬上用上！只要開 VPN 到美國或英國，然後用 Google 授權的方式登入即可使用。
功能跟 ChatGPT 差不多不過可以直接上傳檔案(最多可以 5 個檔案)來對話，ChatPDF 瑟瑟發抖中。
Claude 2 可以支援到 200k，而且被訓練可以生成到 4000k 的上下文。200k 的上下文，我拿來與經濟學人對話都沒問題。
這代表輸入可以有 150k 個字並回覆 3000 字的內容。
這次更新重點：
上下文提升至 200k
寫程式能力提升
訓練資料內含有更多非中文資料（10%）
訓練資料截止至 2023 年年初，所以知道更多時事
感覺快接近 GPT-4 了！
提醒大家還是要注意幻覺（胡言亂語）的狀況，不過基於上下文的內容已經讓幻覺減少了非常多。
《經濟學人》的雜誌分析對話：
p.s. 目前雖然 Claude 2 升級到 200k 的上下文，但模型是先提供 100k 的版本而已，但應該很夠用啦。
Claude 2：https://claude.ai/
4. 讓 AI 把演講轉成一篇文章 （超過 60 分鐘都沒問題）
前幾天 Claude 出來之後就在各種嘗試，雖然他比 GPT-4 還是笨一點，但是目前 100k 上下文的能力真的太好用。
於是乎一個很實用的場景就出現了：『針對長時間的影片做問答、總結、整理、摘要等』
那如何將影片轉為一篇完整文章呢？直接上影片教學！
---
安裝瀏覽器擴充元件 Glarity
到 Youtube 影片下方有個區塊是 Glarity 提供讓人發問總結的，按下複製按鈕複製字幕
前往 Claude 2 開啟對話貼上
使用以下 prompt：『請你作為一名專業編輯，幫我把給定的演講字幕按照下列步驟處理：
列出詳細內容大綱
將這些大綱轉為 H2、H3、H4 等 markdown 語法
將字幕翻譯成繁體中文並填入對應 H 標籤的架構下，填入內容時僅微調口語化的句子
請用多輪對話將這個任務完成。』
在接下來的對話修正輸出內容
---
☆ 重點題一下 Claude 的問題，算是踩過的幾個坑 ☆
→ 就算列點需求，它也可能把需求攪在一起。請它做完一個動作後，讓你確認後再往下個步驟執行。
→ 試了一下通常按 retry 它會直接往下一輪對話前進，這個蠻討厭的。
→ 它的 Markdown H 標籤只有 H1 大標題是明顯的，其它跟一般字體看起來一模一樣，閱讀上可能會沒有 ChatGPT 舒適。
→ 不要想一個 prompt 就完美，為了一個完美的字幕轉文章，我搞了 3 個多小時，後來覺得不如在後面的對話中修正更有效率。
5. ChatGPT 規劃健身動作與飲食 (實用性高)
使用的 Plugin ：
Planfit：根據健身需求指導動作
Tasty Recipes：規劃飲食用
AI Agent：協助把 Prompt 下的更好而已，非必須
========================================
Prompt（這邊刻意分段方便閱讀）：
AI Agent 目標：
請你作為一名專業健身教練，協助我雕塑身材及飲食。
我是一個健身初學者，身高 180 體重 82 kg，想要瘦肚子然後上身看起來壯一點，腿看起來結實一點。每個禮拜一、禮拜四、禮拜六健身，每次健身 1.5 小時，請用表格幫我規劃這三天應該做的健身動作跟組數，每一天訓練的部位可以不同。
另外幫我規劃禮拜一到禮拜五的健身晚餐，並給我詳細的食譜與做法。但是我只有電鍋、烤箱跟基本的鍋具，我希望能夠控制每一餐的熱量在 400 大卡。
Use English in Planfit and Tasty Recipes, return in Traditional Chinese.
========================================
出來的內容很完整，還有指導的影片。
飲食的部分也不錯，最好把自己有的設備、對於食物的需求（不吃什麼、熱量要求）寫清楚，它給的食譜才會更符合需求。
然後 AI Agent 並非必要，如果能把指令下的足夠清晰，就能把 Plugin 的名額留給其它功能使用。
或是用完 AI Agent 後把它寫好的目標複製下來另外開一個對話用。
最後還是要提醒，健身如果沒有經驗還是需要請相關的老師或教練先指導過動作。
不然第一次就自己嘗試很容易受傷，到時候復健會用更多錢，得不償失！
原來Claude也可以這麼玩，謝謝分享
claude 2 不是 100k 吗 :)