Line機器學習平臺部門產品經理菊地悠表示，Line的聯合學習架構，混用了伺服器端機器學習訓練模式，裝置端推論模式和聯合學習訓練模式這三種模式來設計整個架構。圖片來源／Line
貼圖是Line最成功的商業模式，推出10年來，光在臺灣的貼圖創作者高達65萬人，上架了8百多萬組貼圖，在日本更高，超過千萬組貼圖，但要從海量貼圖中，找出使用者想用的推薦清單，Line有一套利用使用者歷史紀錄訓練的推薦機器學習模型，可以針對不同使用族群提供統一的貼圖推薦清單。
但是，Line的企圖不只如此，甚至想要更近一步貼近上億用戶每一個人各自的喜好，來提供推薦。Line技術長Tomohiro Ikebe指出，今年秋天，Line在貼圖推薦導入了一套新的機器學習訓練架構，「可以處理爆量特徵來建立模型，又能兼顧隱私和用戶便利性，就是聯合學習和差分隱私。」
為了進一步了解用戶喜好，不只要參考購買記錄，甚至需了解用戶瀏覽貼出和發送貼圖的歷史，「但從隱私角度，得非常小心處理這類資料。」他說。
透過聯合學習（Federated Learning）機制，可以用戶本地端App上完成模型訓練，並利用差分隱私（Differential Privacy）架構，將模型加上雜訊來避免從模型回推原始資料，再將沒有用戶資料的特徵模型，回傳到後端伺服器來更新整體推薦模型後，再分派新模型到用戶App上，利用本地端Log來產生更個人化的推薦順序。「這個方式可以在資料使用過程中，保護用戶隱私。」Tomohiro Ikebe強調。
Line機器學習平臺部門產品經理菊地悠更透露，實測後發現，結合聯合學習來提供超級個人化的推薦，可以提高5.6%的貼圖下載率。
機器學習訓練，可以可以分成三種模式，第一種最常見的ML模式是伺服器端機器學習，在伺服器端完成ML訓練和推論，例如推薦模型，先在伺服器端完成模型訓練，產生推薦清單，再將清單送到App端點提供給用戶，搜集在端點搜集經過同意的使用Log後，回傳到伺服器，展開再次的模型訓練。
第二種則是裝置端推論模式。這個做法同樣在伺服器端進行模型訓練，但是將訓練好的模型派送到用戶端來，利用端點用戶資料來推論，好處是不用將用戶端資料回傳，但所有用戶都使用同樣的推論模型。
第三模式則是新崛起的聯合學習模式。在這個模式下，採取分段訓練的方式，先在用戶端進行模型訓練 ，常見是隨機挑選部分用戶或特定裝置來參與模型訓練，並將各裝置上的本地端模型上傳到後端伺服器，然後才在後端整併所有的本地端模型，產生最後的整體模型，再將整體模型派送到用戶端。
Line在今年秋天開始嘗試聯合學習，第一個導入聯合學習的應用就是貼圖訂閱帳號的推薦功能。貼圖訂閱帳號在臺灣就是貼圖超值方案，每月繳交小額費用，可以長期使用500萬組貼圖，不用一一購買不同的貼圖組。
訂閱戶在對話框要選擇貼圖時，Line會提供貼圖推薦功能，一種是來自使用者自行下載的貼圖，還有一種推薦是來自系統自動產生的推薦清單，使用者只要輸入前幾個字，就會快速篩選出這幾個字所要挑選的貼圖，再列出來讓用戶挑選，送出到對話中。Line就是在系統產生的推薦貼圖功能導入了聯合學習。
不過，不只用聯合學習，「推薦推圖運用了上述三種機器學習模式，分兩階段產生推薦。」Line機器學習平臺部門產品經理菊地悠表示。
Line在今年秋天開始嘗試聯合學習，第一個導入的聯合學習應用就是貼圖訂閱帳號的推薦功能開始嘗試，每一個人的推薦清單排序都不一樣，能夠根據用戶個人過去使用習慣和個人偏好來優化。圖片來源／Line
結合聯合學習，兩階段產生超級個人化推薦清單
第一階段是產生初始候選推薦清單，採取的就是伺服器端機器學習訓練模式，利用歷史紀錄，例如熱門購買紀錄、下載量，再依據不同使用者的特徵屬性來區分出上千個用戶群，對每一種使用者族群建立一個推薦模型，來產生這一群用戶共用的貼圖推薦名單，這就是第一階段在伺服器端產生的候選名單。大約是從1千萬組貼圖中，選出100組候選名單。
接著進入第二階段個人化重新排序，這也是本地端聯合學習階段，這又分成兩個部分，推論和訓練。在本地端推論上，依據用戶特性，將這名用戶所屬小組的伺服器端推薦名單下載到App上，在用戶端進行本地端推薦模型的推論，輸入這名用戶的個人特徵向量和物件特徵向量（利用輸入關鍵字來產生），來進行推論，來重新排序所下載的候選貼圖推薦清單。
用戶輸入想搜尋的貼圖關鍵字時，每輸入一個字，就會重新產生一個新的物件特徵向量，可以用來重新執行一次推論，產生新的推薦分數，作為重新排序之用。如此一來，就會產生一份更貼近這名用戶喜好的個人化推薦順序，將他可能更想用的貼圖，列在前面，來提高使用率。
封口機購物網-不怕你比價,就怕你買貴!
旋蓋封口機：這種封口機的成品封蓋事先加工出內螺紋，螺紋有單頭和多頭之分。藥瓶多用單頭螺紋，罐頭瓶多用多頭螺紋。該機是靠旋轉封蓋，而將其壓緊於容器口部。
貨櫃屋也能做出衛浴設備?
金誠可依客戶需求進行貨櫃設計，打造整套衛浴設備。
各種精緻鐵盒包裝茶葉罐、禮品罐，增加商品收藏及實用性。
本公司專業於生產茶葉罐、禮品罐、鳳梨酥專用鐵盒、太陽餅專用鐵盒、奶油酥餅專用鐵盒及各種需要 精緻鐵盒包裝產品的開發設計，為現在各種伴手 禮增加產品的收藏及實用性。
飲水機品牌迷思?有牌代表最好?錯! 了解用途才能買對!
飲水機，又稱純水機，是一個機器裡面裝滿了純淨水、礦泉水或其他飲品，供大家飲用的機器。飲水機還有很多種類型，例如噴嘴式飲水機、按壓式飲水機等。跟熱水器不同的是，飲水機會提供兩種不同的水溫給人飲用，機器本身應該有降溫及冷卻，抑或是加熱及保溫的功能。
不只是本地端推論，Line也在本地端進行模型訓練，利用了用戶在裝置上的過去瀏覽紀錄和使用紀錄，在裝置端重新訓練出一個更貼近這名用戶偏好的本地端模型，並利用這個模型來進行本地端推薦分數的再計算，更進一步讓推薦清單，可以貼近這名用戶自己過去的使用習慣。最後再將這個模型回傳到伺服器端整併，完成聯合學習的訓練。
不過，要在本地端實現聯合學習的模型訓練，得克服2大挑戰。
第一是必須能支援不同類型裝置和環境各自的ML訓練環境，包括伺服器端和App端，其次是要能確保隱私，上傳資料不能帶有用戶個資，也要避免模型遭駭而外流原始資料，這正是Line在聯合學習模式再加上差分隱私演算法來回傳模型到後端伺服器的緣故。
菊地悠表示， Line不只要在貼圖推薦使用聯合學習，未來也想導入其他服務，因此必須把聯合學習模式平臺化。
負責打造Line聯合學習平臺（Line Federated Learning平臺，簡稱LFL平臺）的Line Plus工程團隊軟體工程師Hyukjae Jang更指出，本地端訓練的挑戰是，手機資源有限，任意訓練會占用資源而影響用戶體驗，因此，關鍵是要控制和管理多個FL模型的訓練。「不只提供通用功能，要建立一個平臺架構，才能支援不同類型的聯合學習。」
Line機器學習平臺本地端架構可以細分為三個部分，一個通用模組，應用模組和ML函式庫。區分通用模組和應用模組的原因，是為了日後可以支援多種應用各自的聯合學習訓練需求。（圖片來源／Line）
三地兩國30人團隊打造LFL平臺
Line動員了東京、福岡和韓國三地的開發團隊，共30多名工程師協同開發，打造出這個LFL平臺，包括了伺服器端和本地端的架構。
在這個LFL平臺上，從伺服器端模型儲存庫的模型，可以用來產生第一階段的候選推薦清單，下載到本地端App上。再依據使用者輸入的字，進行推薦分數的推論，來重新排序推薦清單。若本地端裝置處於閒置狀態，則會由本地端事件調度機制來驅動本地端的模型訓練，來更新本地端的模型，作為後續本地端推論之用，也會將模型上傳到伺服器端，經過模型整併機制，來產生新版的模型，再下載到用戶端，作為新的第一階段候選推薦模型之用。
這個LFL平臺還提供延伸功能，在伺服器端則提供了模型儲存庫、版本控制、AB測試功能等，在本地端則有一套用ONNX格式打造的通用ML框架，可支援 iOS和Android，另外本地端還提供了背景ML訓練機制和排程機制，以及結合差分隱私處理的上傳機制。
在本地端的聯合學習機制上，還可以細分為三個部分，一個通用模組，應用模組和ML函式庫。通用模組負責本地端的模型管理，如版本控制，模型下載上傳，模型更新等。而應用模組則可以針對不同應用，設定不同的聯合學習模型和用戶Log資料庫。「未來可以支援多種應用各自的聯合學習訓練需求，這是區分通用模組和應用模組的關鍵理由。」Hyukjae Jang透露。
另外，要在裝置端執行聯合學習，必須要考慮電力、儲存空間和裝置待機狀態。Hyukjae Jang表示，LFL有三個啟動聯合學習訓練的原則，包括電力全滿、儲存空間足夠，還要等使用者沒有使用裝置的時間。尤其要利用裝置閒置時間來訓練，必須要設計背景執行機制。
Line利用可以跨iOS和Android的Onyx runtime打造了一個只有1.2MB 大小的Yuki聯合學習SDK，稱為YFL，也可以支援資料科學家將TensorFlow或Pytorch訓練的模型，轉換成YFL能支援的輕量模型。函式庫中也支援利用高斯分布來計算的差分隱私機制。並且只用CPU背景服務，而不需要GPU。
另外，還有一個抽樣機制會隨機抽樣挑選部分人上傳，也會限制上傳次數，避免過度干擾使用者。在背景執行訓練時，排程機制也會盡量利用晚上睡覺時間完成訓練，然後刪除Log資料。
Hyukjae Jang更透露，不只貼圖，未來希望可以導入到更多不同類型的服務，包括聊天、音樂、電話、支付、新聞和影音服務上。
https://www.ithome.com.tw/news/154630
攻戰消費者第一視覺,包裝設計很重要!
窩窩以「數位行銷」「品牌經營」「網站與應用程式」「印刷品設計」等四大主軸，
為每一位客戶客製建立行銷脈絡及洞燭市場先機。
總是為了廚餘煩惱嗎？
雅高環保提供最適用的廚餘機，滿足多樣需求。
空壓機這裡買最划算!
晨達空壓機秉持著專業空壓機技術、優質快速服務、空壓機合理價格。為您解決工作中需要風量、風壓的問題。
影響示波器測試準確度的五大因素
合訊號示波器（MSO）有兩種輸入，一小部分（通常是2個或4個）的類比通道，更多（通常為16個）的部份是屬於數位通道;即，含邏輯分析儀的數位示波器