home-mixer 编排层

这一页回答什么

home-mixer 是 For You 信息流的服务进程。本页回答五个问题：它怎样启动；它暴露哪些 gRPC 服务；它怎样把 流水线框架 组装成多条流水线；请求怎样变成 ScoredPostsQuery；候选来自哪些源。候选源总表与热门帖子源（PopularPostsSource）也在本页。

核心结论

1. 一个进程，五个 gRPC 服务：ScoredPostsService、ForYouFeedService、RankedFollowingFeedService、FollowingFeedService、PhoenixScoresService（home-mixer/server.rs:944-1001）。旧版只有前两个。
2. For You 使用两层嵌套流水线：外层 ForYouCandidatePipeline（混排层，README 称 Blending Pipeline）把内层 PhoenixCandidatePipeline（帖子层，README 称 Post Pipeline）当作候选源 ScoredPostsSource 调用（home-mixer/sources/scored_posts_source.rs:13-31）。
3. 内层流水线有 9 个候选源，按装配顺序：Thunder、热门帖子、TweetMixer、SimClusters、Phoenix 召回、Phoenix 话题召回、Phoenix MoE 召回、SID 召回、缓存帖子（home-mixer/candidate_pipeline/phoenix_candidate_pipeline.rs:380-390）。开源默认值下 TweetMixer、MoE、SID 三个源关闭。
4. 热门帖子源是一份全站共享列表。离线任务从高粉丝活跃作者的近期原创帖里按浏览量挑出 500 条。请求时，源直接读取内存快照，不做个性化（home-mixer/util/popular_posts.rs:36-86）。
5. QueryBuilder 是所有入口的统一适配器：它校验 viewer_id、并发拉取用户数据、评估 feature switches、构造 ScoredPostsQuery（home-mixer/server.rs:79-184）。

服务启动

入口是 home-mixer/main.rs。同一个二进制文件按命令行参数进入三种模式之一：

服务模式的 CLI 默认值（main.rs:16-28）：grpc_port 8080、metrics_port 9090、shard_coordinate -1（不分片）、shard_total_size 500、datacenter “atla”。旧页面写的 50051 端口已失效。服务启动时还调用 quality_factor::init(70.0, 30.0)（main.rs:187）。Thunder 与 Phoenix 召回的结果数上限都由 quality_factor::apply 调整。

HomeMixerServer::build()（server.rs:815-942）是装配中心。它先并发创建 VF 客户端与安全标签客户端；再并发创建 Gizmoduck 客户端、复活时间客户端、PhoenixCandidatePipeline::prod()、PhoenixScoresPipeline::prod()；然后构造 ScoredPostsServer；最后并发构造 ForYouCandidatePipeline、RankedFollowingCandidatePipeline、FollowingCandidatePipeline。

五个 gRPC 服务

两个 Following 服务在构造查询后强制设置 in_network_only = true（server.rs:559、server.rs:662）。所有服务都启用 gzip 与 zstd 双向压缩，消息上限 MAX_GRPC_MESSAGE_SIZE 为 128 MiB（params/config.rs:16）。

get_for_you_feed_urt 先运行 get_for_you_feed，再用 urt::make_urt_timeline 把 FeedItem 列表转成 X 客户端使用的 URT Thrift，并做二进制序列化（for_you_server.rs:52-92）。

六条流水线

六条流水线都实现同一个 CandidatePipeline trait。下文只展开 For You 使用的两条。

外层 ForYouCandidatePipeline

CandidatePipeline<ScoredPostsQuery, FeedItem>（for_you_candidate_pipeline.rs:62-69）。FeedItem 是 oneof 类型，取值为：帖子、广告、Who to Follow 模块、Prompt、PushToHome、Frame、FeedSurvey、视频轮播。

候选水合、打分、选后水合三个阶段返回空切片（for_you_candidate_pipeline.rs:336-354）。旧版外层没有过滤器，新版有两个。PushToHomeDedupFilter 在 push_to_home_post_id 存在时删掉与它重复的帖子（filters/push_to_home_dedup_filter.rs:8-26）。AdAdjacentServedFilter 检查广告与已服务帖子的相邻关系，开源默认关闭（params/param.rs:1021-1026）。

外层 Query 水合在候选源之前运行。ScoredPostsSource 克隆外层已水合的查询，再交给内层（scored_posts_source.rs:15-19）。因此内层能读到外层写入的 served_ids 与模块疲劳标记。ServedHistoryQueryHydrator 按疲劳时长计算 who_to_follow_eligible、feed_survey_eligible、video_carousel_eligible（query_hydrators/served_history_query_hydrator.rs:38-57）。

内层 PhoenixCandidatePipeline

CandidatePipeline<ScoredPostsQuery, PostCandidate>（phoenix_candidate_pipeline.rs:224-234）。全部组件在 build_with_clients() 里装配（:237-556）：

装配函数构造了 ImpressedPostsQueryHydrator，但没有把它放进 Query 水合列表（:350-352）。因此在开源装配下，impressed_post_ids 保持为空。

ScoredPostsServer::run_pipeline()（scored_posts_server.rs:43-101）对 TEST_USER_IDS（123、234，params/config.rs:13）直接返回空结果。对其余请求，它调用 execute_traced，把选中候选转成 ScoredPost，并附带视频轮播模块。只有 is_under_the_hood_request 为真时，流水线追踪才附到响应里（scored_posts_server.rs:96-98）。追踪的用途见 Under the Hood 透明度工具。

QueryBuilder：请求入口适配器

每个 gRPC 入口都先调用 QueryBuilder::build()（server.rs:79-184）：

1. viewer_id == 0 时返回 invalid_argument（:88-90）。
2. 并发拉取 Gizmoduck 用户数据与账号复活时间，各自 200ms 超时（VIEWER_ROLES_TIMEOUT_MS，:49）。超时或出错时分别退回 ViewerData::default() 与 None（:206-235）。
3. 推导 in_network_only = proto.in_network_only || allow_for_you_recommendations == Some(false)（:100-101）。用户关闭“为你推荐”时，For You 只走站内。
4. 用 FsRecipientInputs（用户 ID、国家、语言、客户端版本、角色、是否有手机号、复活时间、产品类型等）匹配 feature switches，并应用请求带来的覆盖值（:103-123、:186-204）。feature switches 是 X 的实验开关系统：系统按用户画像命中一组配置值，各组件从 Params 读取这些值。
5. 判定是否影子流量（:129），构造 ScoredPostsQuery，写入 request_type 与 Under the Hood 标记（:130-167）。Under the Hood 标记还要求 EnableUnderTheHood 为真，开源默认值为 false（params/param.rs:695-700）。

候选源总表

框架用 join_all 并发执行内层 9 个源（见 candidate-pipeline 框架）。下表按装配顺序列出（phoenix_candidate_pipeline.rs:380-390）。

以下规则容易误读：

• 站内限定请求只保留 Thunder。in_network_only 为真时，除 Thunder 外的所有源都关闭。Thunder 的条件只检查缓存。
• 命中缓存时只保留缓存源。CachedPostsQueryHydrator 从 Redis 读回不少于 500 条候选时，设置 has_cached_posts（query_hydrators/cached_posts_query_hydrator.rs:11、:69），其余 8 个源全部关闭。RedisPostCandidateCacheSideEffect 写入缓存，每次最多 MaxPostsToCache 750 条（param.rs:701-706）。
• SimClusters 和 SID 需要互动信号。两者都调用 has_post_signals()，要求显式或隐式互动信号非空（simclusters_source.rs:277-285）。SimClusters 只用 90 天内的种子帖（simclusters_source.rs:36）。细节见 SimClusters。
• Phoenix 召回可按新用户路由集群。PhoenixRetrievalNewUserHistoryThreshold 大于 0 且召回序列长度低于阈值时，该源改用新用户集群（phoenix_source.rs:32-68）。开源默认阈值为 0，即不启用（param.rs:260-265）。召回模型见 Phoenix 召回。
• 两个文件没有编进源码树。sources/popular_topics_source.rs 与 filters/popular_topics_author_dedup_filter.rs 存在，但不在对应的 mod.rs 里（sources/mod.rs:1-19、filters/mod.rs:1-33），因此不参与编译。

Thunder 的存储与查询见 Thunder 站内帖子内存库。

外层 ForYouCandidatePipeline 的非帖子源：

热门帖子源

README 把 popular_posts_source 列为与 Thunder、Phoenix 召回、SimClusters 并列的候选来源。它由两个离线任务和一个在请求时读取的缓存组成。

flowchart LR
    BQ[(BigQuery 作者表)] --> PAJ["popular_authors_job<br/>按粉丝数取前 0.005% 活跃作者"]
    PAJ --> AS[(热门作者存储)]
    AS --> PPJ["popular_posts_job<br/>经 Thunder 拉原创帖并取浏览量"]
    PPJ --> SEL["select_popular_posts<br/>每作者 5 条,总量 500"]
    SEL --> PS[(热门帖子存储)]
    PS --> CACHE["PopularPostsCache<br/>每 60 秒后台刷新"]
    CACHE --> SRC[PopularPostsSource]
    SRC --> PIPE[内层流水线候选池]

1. 选作者：select_top_posting_authors 计算 7 天活跃发帖人数 × TOP_POSTING_AUTHORS_FRACTION（0.00005）并向上取整，再从按粉丝数降序的列表头部截取这么多作者（util/popular_authors.rs:11、:25-43）。任务默认每 3600 秒运行一次（main.rs:33-34）。
2. 拉帖子：popular_posts_job 每批 20 个作者调用 Thunder，每作者最多 50 条，排除回复与转发（popular_posts_job.rs:22-24、:83-85），只保留原创帖（:67-69），再批量取浏览量。任务默认每 300 秒运行一次（main.rs:52-53）。
3. 打分与挑选：quality = views × (1 − e^(−λ·24)) / (1 − e^(−λ·max(age, 0.5)))，λ = ln2 / 半衰期（util/popular_posts.rs:48-53）。这个公式把浏览量折算成“24 小时窗口内的预期浏览量”，使新帖不吃亏。挑选只考虑 24 小时内的帖子，每作者最多 5 条，总量 500，半衰期 8 小时（util/popular_posts.rs:36-46、:61-86）。以上都是开源默认值。
4. 请求时读取：PopularPostsCache 持有内存快照，距上次加载满 60 秒时在后台刷新（util/popular_posts.rs:7、:207-239）。PopularPostsSource 取前 PopularPostsMaxResults 条，去掉 seen_ids 里的帖子，标为 ForYouPopularPosts（popular_posts_source.rs:33-64）。

热门帖子对所有用户相同，不经过任何个性化召回。它们进入候选池后，和其他候选一起经过过滤与 Phoenix 打分。

数据模型

ScoredPostsQuery

查询对象贯穿整条流水线（models/query.rs:46-149），约有一百个字段。主要分组如下：

• 身份与上下文：user_id、client_app_id、country_code、language_code、request_type、request_context、cursor、设备与 IP 字段。
• 去重输入：seen_ids、served_ids、bloom_filter_entries、impressed_post_ids、seen_carousel_video_ids。
• 模型输入：scoring_sequence、retrieval_sequence 及其列式与沉浸式变体、显式与隐式互动信号、history_topics。
• 用户特征：user_features（屏蔽、静音、关注、订阅、静音词）、人口属性、推断性别、关注话题与 starter pack 位图、已装应用、近期搜索词。
• 请求形态：in_network_only、is_bottom_request、topic_ids、excluded_topic_ids、exclude_videos、push_to_home_post_id、seed_candidate_post_ids。
• 跨组件共享的结果槽：ad_drops、video_carousel、served_post_score_infos 等 Arc<OnceLock<…>> 字段。选择器与过滤器通过这些字段把旁路结果交给后续阶段。

RequestType 有五种：ForYou、RankedFollowing、Following、ScoredPosts、PhoenixScores（query.rs:30-37）。is_bulk_topic_request() 判定话题数大于 6（query.rs:275-277）。

PostCandidate

该类型是内层候选（models/candidate.rs:14）。源阶段只填 tweet_id、author_id、served_type、retrieval_sources。水合器补全正文、媒体、计数、安全标签与可见性结果。打分器写入 weighted_score 与 score。retrieval_sources 记录候选来自哪些源。去重过滤器删除重复候选时，把来源合并到保留的那一条（filters/drop_duplicates_filter.rs:19-28）。

设计决策

FAQ

Q：内层流水线能单独调用吗？ A：可以。ScoredPostsService 直接暴露 PhoenixCandidatePipeline，返回 ScoredPost 列表与可选的视频轮播，不含广告与模块（server.rs:257-328）。

Q：热门帖子源会不会让大号的帖子绕过过滤？ A：不会。它只把候选放进候选池。这些候选之后照常经过 21 个预打分过滤器、Phoenix 打分、选后可见性过滤（phoenix_candidate_pipeline.rs:429-517）。

源码锚点

• home-mixer/main.rs:129-239 —— 三种运行模式与服务启动
• home-mixer/server.rs:79-235 —— QueryBuilder
• home-mixer/server.rs:815-1001 —— HomeMixerServer::build() 与 register()
• home-mixer/candidate_pipeline/for_you_candidate_pipeline.rs:189-273 —— 外层装配
• home-mixer/candidate_pipeline/phoenix_candidate_pipeline.rs:237-556 —— 内层装配
• home-mixer/scored_posts_server.rs:43-101 —— run_pipeline()
• home-mixer/util/popular_posts.rs:36-239 —— 热门帖子挑选与缓存
• home-mixer/popular_posts_job.rs:134-179 —— 热门帖子任务单次运行
• home-mixer/params/config.rs:13-42 —— 结果规模与位置常量

相关页面

• 系统架构总览 —— 请求路径与标签路径总览
• 端到端数据流 —— 一条帖子从发布到被推荐
• candidate-pipeline 框架 —— 流水线 trait 与执行模型
• CandidatePipeline trait —— 执行器方法逐个说明
• 过滤流水线 —— 21 个预打分过滤器与 5 个选后过滤器
• 打分与排序 —— 内层打分器
• 候选选择与成型 —— 选择器与选后成型
• 广告混排 —— BlenderSelector 的广告混排
• SimClusters —— SimclustersSource 背后的社区簇
• Thunder 站内帖子内存库 —— ThunderSource 背后的站内库
• Phoenix 召回 —— PhoenixSource 背后的召回模型
• 算法用了你的哪些数据 —— ScoredPostsQuery 字段的用户侧来源