Nguyen Viet Thai– Author –

皆さんこんにちは！PR TIMESの開発部のThaiです。今回はOpenSearchのMulti-Search APIを利用してWebクリッピングのクリップ調査のパフォーマンスを改善したことについて話します。 https://prtimes.jp/webclipping/service クリップ調査とは、設定したキーワードを含む記事を自動で収集する調査です。調査はクリップ作成後に開始し、期間は最長1年まで指定可能。調査結果はグラフや記事一覧で確認・ダウンロードできます。 https://tayori.com/q/prtimes-faq/search/クリップ調査 クリップ調査の収集された結果は...

WebクリッピングシステムにおけるphpQueryからSymfony DomCrawlerへの移行

皆さんこんにちは！PR TIMESの開発部からのThaiです。 絶え間なく進化するテクノロジーの世界において、ソフトウェアプロジェクトの維持とアップグレードは、競争力と効果を確保するためには欠かせない要素です。最近、Webクリッピングのクローラープロジェクト「Puppeteer + Node.JS」をバージョンアップし、完成させるというエキサイティングな旅を経験しました。 Webクリッピングとは、さまざまなサイトから記事をクロールし、ユーザーが設定したキーワードが含まれる記事をクリップすることで、メディア露出の...

皆さんこんにちは！PR TIMESの開発部のThaiです。今回はどうやってOpenSearch検索速度を改善したかについて話します。 【はじめに】 現在、Webクリッピングでは記事データをOpenSearchに保存して検索機能で使っています。 Webクリッピングとは、さまざまなサイトから記事をクロールし、ユーザーが設定したキーワードが含まれる記事をクリップすることで、メディア露出の調査や分析を行うことができるWebアプリケーションです。 Webクリッピングではユーザーが複数のキーワードを同時に検索できるようになっており...

こんにちは、開発本部のバックエンドエンジニアのThai（タイ）です。クローラ改善プロジェクトを行い、Puppeteerを使って新しいクローラを作りました。今回の記事ではPuppeteerで開発したクローラについて紹介したいと思います。 【Puppeteerとは】 Googleで開発されて、DevToolsプロトコルを介してChromiumやChromeを制御するための高レベルなAPIを提供するNodeライブラリです。 参照: https://devdocs.io/puppeteer/ 【クローラとは】 インターネット上の様々なWebページをスクレイピングするツールです。 【な...

【】 こんにちは、開発本部のグエン・ヴィエット・タイです。 このブログではPR TIMESのセキュリティーに関するパスワードの文字数・文字種制限を紹介します。 利用企業数は2021年5月に5万4000社を突破、国内上場企業46％超に利用いただいています。 PR TIMESのような多くの方に使ってもらっているシステムではセキュリティを高めることが非常に重要です。そのため、PR TIMESの開発本部のエンジニアがシステムの改善に取り組んでおり、そのうちの1つがユーザーパスワードの改善です。対象ユーザーは企業ユーザー、...