BigQuery– tag –

こんにちは！PR TIMES ソフトウェアエンジニアの河瀨翔吾（@shogogg）です。現在はバックエンド開発を主に担当しています。好きな秋の味覚は秋刀魚ですが、今年はまだ食べられていません😢。 今回は BaseMachina（ベースマキナ）の監査ログを BigQuery 経由で参照できるようにした背景や試行錯誤した経験、具体的な手法についてお話しします！ 【BaseMachina（ベースマキナ）とは】 BaseMachina は株式会社ベースマキナが開発・運営するローコード SaaS です。手間の掛かる管理画面の開発を少ないコードで実現でき...

こんにちは。PR TIMESでインターンをしている笹山雷雅です。 この記事では、Fastly Next-Gen WAFのログをBigQueryで分析するためにGoogle Cloud Functionsでサーバーレスアプリケーションを実装したので、紹介します。 【この記事で話すこと】 Next-Gen WAFのログを取得する実装（Go） サーバーレスな分析サービスの構築例 【背景・実現したいこと】 PR TIMESでは、データ分析にBigQueryを用いています。BigQueryを用いた他の活用事例は以下の開発者ブログにてご覧いただけます。 https://developers.prtimes.com/...

こんにちは。2024年4月に新卒で入社したバックエンドエンジニアの筒井(@tsuttsun_wind)です。今回は、BigQuery Data Transfers(以下Data Transfers)をエンジニア全員が実行できるようにした背景や設定方法について紹介します。 【背景】 PR TIMESでは、Contents Delivery Network(CDN)にFastlyを採用しており、FastlyのアクセスログをAmazon S3に保存しています。 保存されたログは24時間に1回の間隔でS3からBigQueryに転送が行われますが、障害など問題が発生した場合には最新のアクセスログが必要になります。 ...

こんにちは、 開発本部のドゥックです。 先月末に当社のデータベースPostgreSQL on EC2からBigQueryへのデータ転送を実行しました。この記事では、ETL処理をサポートするサーバーレスツールであるAWSGlueについて説明させていただきたいです。 背景 現在、オンプレミスデータベースは1日1回バックアップされ、バックアップを元にEC2上のPostgreSQLをデータ分析作業のために起動しています。これらをデータ分析作業のためにBigQueryに転送します。 ただし、そのままBigQueryに転送することだけではなく、事前に処理...

＊この記事はベトナム語と日本語で書かれており、2ページ目にベトナム語があります。＊Bài viết được viết bằng tiếng Nhật và tiếng Việt, bản tiếng Việt nằm ở trang thứ 2. こんにちは、開発本部のカオ・ソン・ドゥックです。 現在開発本部では様々なデータをBigQueryで解析できるようにするプロジェクトを進めています。 この記事では、私がBigQueryとGoogle AnalyticsからBigQueryにデータエクスポートしたことについて紹介したいと思います。 【BigQueryプロジェクトを開始した背景】 当社はオンプレミスお...