相关性评估器¶
本 Notebook 使用 RelevancyEvaluator 来衡量响应和源节点是否与查询匹配。
这对于衡量查询是否被响应实际回答非常有用。
In [ ]
已复制!
%pip install llama-index-llms-openai pandas[jinja2] spacy
%pip install llama-index-llms-openai pandas[jinja2] spacy
In [ ]
已复制!
import logging
import sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
import logging import sys logging.basicConfig(stream=sys.stdout, level=logging.INFO) logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
In [ ]
已复制!
from llama_index.core import (
TreeIndex,
VectorStoreIndex,
SimpleDirectoryReader,
Response,
)
from llama_index.llms.openai import OpenAI
from llama_index.core.evaluation import RelevancyEvaluator
from llama_index.core.node_parser import SentenceSplitter
import pandas as pd
pd.set_option("display.max_colwidth", 0)
from llama_index.core import ( TreeIndex, VectorStoreIndex, SimpleDirectoryReader, Response, ) from llama_index.llms.openai import OpenAI from llama_index.core.evaluation import RelevancyEvaluator from llama_index.core.node_parser import SentenceSplitter import pandas as pd pd.set_option("display.max_colwidth", 0)
In [ ]
已复制!
# gpt-3 (davinci)
gpt3 = OpenAI(temperature=0, model="gpt-3.5-turbo")
# gpt-4
gpt4 = OpenAI(temperature=0, model="gpt-4")
# gpt-3 (davinci) gpt3 = OpenAI(temperature=0, model="gpt-3.5-turbo") # gpt-4 gpt4 = OpenAI(temperature=0, model="gpt-4")
In [ ]
已复制!
evaluator = RelevancyEvaluator(llm=gpt3)
evaluator_gpt4 = RelevancyEvaluator(llm=gpt4)
evaluator = RelevancyEvaluator(llm=gpt3) evaluator_gpt4 = RelevancyEvaluator(llm=gpt4)
In [ ]
已复制!
documents = SimpleDirectoryReader("./test_wiki_data").load_data()
documents = SimpleDirectoryReader("./test_wiki_data").load_data()
In [ ]
已复制!
# create vector index
splitter = SentenceSplitter(chunk_size=512)
vector_index = VectorStoreIndex.from_documents(
documents, transformations=[splitter]
)
# create vector index splitter = SentenceSplitter(chunk_size=512) vector_index = VectorStoreIndex.from_documents( documents, transformations=[splitter] )
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK"
In [ ]
已复制!
from llama_index.core.evaluation import EvaluationResult
# define jupyter display function
def display_eval_df(
query: str, response: Response, eval_result: EvaluationResult
) -> None:
eval_df = pd.DataFrame(
{
"Query": query,
"Response": str(response),
"Source": response.source_nodes[0].node.text[:1000] + "...",
"Evaluation Result": "Pass" if eval_result.passing else "Fail",
"Reasoning": eval_result.feedback,
},
index=[0],
)
eval_df = eval_df.style.set_properties(
**{
"inline-size": "600px",
"overflow-wrap": "break-word",
},
subset=["Response", "Source"]
)
display(eval_df)
from llama_index.core.evaluation import EvaluationResult # define jupyter display function def display_eval_df( query: str, response: Response, eval_result: EvaluationResult ) -> None: eval_df = pd.DataFrame( { "Query": query, "Response": str(response), "Source": response.source_nodes[0].node.text[:1000] + "...", "Evaluation Result": "Pass" if eval_result.passing else "Fail", "Reasoning": eval_result.feedback, }, index=[0], ) eval_df = eval_df.style.set_properties( **{ "inline-size": "600px", "overflow-wrap": "break-word", }, subset=["Response", "Source"] ) display(eval_df)
评估响应¶
评估响应相对于源节点和查询的相关性。
In [ ]
已复制!
query_str = (
"What battles took place in New York City in the American Revolution?"
)
query_engine = vector_index.as_query_engine()
response_vector = query_engine.query(query_str)
eval_result = evaluator_gpt4.evaluate_response(
query=query_str, response=response_vector
)
query_str = ( "What battles took place in New York City in the American Revolution?" ) query_engine = vector_index.as_query_engine() response_vector = query_engine.query(query_str) eval_result = evaluator_gpt4.evaluate_response( query=query_str, response=response_vector )
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
In [ ]
已复制!
display_eval_df(query_str, response_vector, eval_result)
display_eval_df(query_str, response_vector, eval_result)
| 查询 | 响应 | 源 | 评估结果 | 推理 | |
|---|---|---|---|---|---|
| 0 | 美国独立战争中在纽约市发生了哪些战役？ | 长岛战役是美国独立战争中发生在纽约市的最大战役。 | === 美国独立战争 === 印花税法案大会于 1765 年 10 月在纽约召开，与此同时，自由之子组织在城市中涌现，并在接下来的十年里与驻扎在那里的英军发生冲突。长岛战役，是美国独立战争中规模最大的战役，于 1776 年 8 月在现代布鲁克林区内进行。在那场战役中，美国人战败，之后英国人将这座城市作为他们在北美军事和政治行动的基地。这座城市成为了保皇派难民和逃脱奴隶的避难所，他们加入英军阵营，寻求王室新近承诺给予所有战士的自由。在英国占领期间，多达 1 万名逃脱奴隶涌入这座城市。1783 年战争结束时英军撤离，他们将 3000 名获释者运往新斯科舍重新定居。他们还将其他获释者重新安置在英国和加勒比地区。唯一一次和平解决战争的尝试发生... | 通过 | 上下文证实了长岛战役，即美国独立战争中规模最大的战役，发生在纽约市。 |
In [ ]
已复制!
query_str = "What are the airports in New York City?"
query_engine = vector_index.as_query_engine()
response_vector = query_engine.query(query_str)
eval_result = evaluator_gpt4.evaluate_response(
query=query_str, response=response_vector
)
query_str = "What are the airports in New York City?" query_engine = vector_index.as_query_engine() response_vector = query_engine.query(query_str) eval_result = evaluator_gpt4.evaluate_response( query=query_str, response=response_vector )
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
In [ ]
已复制!
display_eval_df(query_str, response_vector, eval_result)
display_eval_df(query_str, response_vector, eval_result)
| 查询 | 响应 | 源 | 评估结果 | 推理 | |
|---|---|---|---|---|---|
| 0 | 纽约市有哪些机场？ | 纽约市的机场包括约翰·F·肯尼迪国际机场、纽瓦克自由国际机场、拉瓜迪亚机场、斯图尔特国际机场、长岛麦克阿瑟机场、特伦顿-默瑟机场和威彻斯特县机场。 | 沿着东北走廊，以及连接北美其他城市的长途火车服务。斯塔顿岛铁路快速交通系统仅服务斯塔顿岛，24 小时运营。港务局跨哈德逊线（PATH 列车）连接中城和下曼哈顿与新泽西州东北部，主要是霍博肯、泽西市和纽瓦克。与纽约市地铁一样，PATH 也是 24 小时运营；这意味着世界上六个 24 小时运营的快速交通系统中，有三个全部或部分位于纽约（其他是芝加哥 "L" 的一部分、服务费城的 PATCO Speedline 以及哥本哈根地铁）。纽约市正在建设的价值数十亿美元的重轨交通项目包括第二大道地铁和东侧通道项目。==== 公共汽车 ==== 纽约市的公共汽车车队 24/7 运营，是北美最大的。港务局巴士总站是该市主要的城际巴士总站，每天服务 7000 辆巴士和 20 万通勤者，使其成为世界上最繁忙的巴士站。=== 航空 === 纽约的空域是美国最繁忙的空域，也是世界上最繁忙的航空运输走廊之一。纽约大都会区最繁忙的三个机场包括约翰·F·肯尼迪国际机场、纽瓦克自由国际机场和拉瓜迪亚机场；2016 年有 1.305 亿旅客使用了这三个机场。2012 年，肯尼迪国际机场和纽瓦克自由国际机场分别是美国最繁忙和第四繁忙的国际航空客运门户；截至 2011 年，肯尼迪国际机场是北美最繁忙的国际客运机场。港务局已推进计划，通过纽约和新泽西港务局扩大纽约新堡附近的第四个机场斯图尔特国际机场的客运量。2015 年 7 月宣布了耗资数十亿美元彻底重建拉瓜迪亚机场的项目，以取代其老化的设施。纽约大都会区内或服务于该地区的其他商业机场包括长岛麦克阿瑟机场、特伦顿-默瑟机场和威彻斯特县机场。服务于该地区的主要通用航空机场是泰特伯勒机场。 | 通过 | 上下文提供了关于纽约市机场的信息，包括约翰·F·肯尼迪国际机场、纽瓦克自由国际机场、拉瓜迪亚机场、斯图尔特国际机场、长岛麦克阿瑟机场、特伦顿-默瑟机场和威彻斯特县机场。这与查询的响应相符。 |
In [ ]
已复制!
query_str = "Who is the mayor of New York City?"
query_engine = vector_index.as_query_engine()
response_vector = query_engine.query(query_str)
eval_result = evaluator_gpt4.evaluate_response(
query=query_str, response=response_vector
)
query_str = "Who is the mayor of New York City?" query_engine = vector_index.as_query_engine() response_vector = query_engine.query(query_str) eval_result = evaluator_gpt4.evaluate_response( query=query_str, response=response_vector )
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
In [ ]
已复制!
display_eval_df(query_str, response_vector, eval_result)
display_eval_df(query_str, response_vector, eval_result)
| 查询 | 响应 | 源 | 评估结果 | 推理 | |
|---|---|---|---|---|---|
| 0 | 纽约市市长是谁？ | 纽约市市长是埃里克·亚当斯。 | === 政治 === 现任市长是埃里克·亚当斯。他在 2021 年以 67% 的得票率当选，并于 2022 年 1 月 1 日就职。民主党掌握着大部分公职。截至 2016 年 4 月，该市 69% 的注册选民是民主党人，10% 是共和党人。自 1924 年卡尔文·柯立芝总统赢得五个行政区以来，纽约市从未在共和党总统选举中获胜。自 1898 年建市以来，没有共和党州级公职候选人赢得该市全部五个行政区。2012 年，民主党人巴拉克·奥巴马成为第一个在纽约市获得超过 80% 总票数的总统候选人，横扫所有五个行政区。各党派的平台集中在经济适用房、教育和经济发展上，劳工政治在该市非常重要。纽约州 27 个美国国会选区中有 13 个包括纽约市的部分地区。纽约是美国最重要的城市之一，其... | 通过 | 上下文证实了埃里克·亚当斯是纽约市现任市长，这与响应中陈述的一致。 |
评估源节点¶
评估返回的源集合，并确定哪些源实际包含给定查询的答案。
In [ ]
已复制!
from typing import List
# define jupyter display function
def display_eval_sources(
query: str, response: Response, eval_result: List[str]
) -> None:
sources = [s.node.get_text() for s in response.source_nodes]
eval_df = pd.DataFrame(
{
"Source": sources,
"Eval Result": eval_result,
},
)
eval_df.style.set_caption(query)
eval_df = eval_df.style.set_properties(
**{
"inline-size": "600px",
"overflow-wrap": "break-word",
},
subset=["Source"]
)
display(eval_df)
from typing import List # define jupyter display function def display_eval_sources( query: str, response: Response, eval_result: List[str] ) -> None: sources = [s.node.get_text() for s in response.source_nodes] eval_df = pd.DataFrame( { "Source": sources, "Eval Result": eval_result, }, ) eval_df.style.set_caption(query) eval_df = eval_df.style.set_properties( **{ "inline-size": "600px", "overflow-wrap": "break-word", }, subset=["Source"] ) display(eval_df)
In [ ]
已复制!
# NOTE: you can set response_mode="no_text" to get just the sources
query_str = "What are the airports in New York City?"
query_engine = vector_index.as_query_engine(
similarity_top_k=3, response_mode="no_text"
)
response_vector = query_engine.query(query_str)
eval_source_result_full = [
evaluator_gpt4.evaluate(
query=query_str,
response=response_vector.response,
contexts=[source_node.get_content()],
)
for source_node in response_vector.source_nodes
]
eval_source_result = [
"Pass" if result.passing else "Fail" for result in eval_source_result_full
]
# 注意：你可以设置 response_mode="no_text" 来仅获取源 query_str = "What are the airports in New York City?" query_engine = vector_index.as_query_engine( similarity_top_k=3, response_mode="no_text" ) response_vector = query_engine.query(query_str) eval_source_result_full = [ evaluator_gpt4.evaluate( query=query_str, response=response_vector.response, contexts=[source_node.get_content()], ) for source_node in response_vector.source_nodes ] eval_source_result = [ "Pass" if result.passing else "Fail" for result in eval_source_result_full ]
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/embeddings "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
In [ ]
已复制!
display_eval_sources(query_str, response_vector, eval_source_result)
display_eval_sources(query_str, response_vector, eval_source_result)
| 源 | 评估结果 | |
|---|---|---|
| 0 | 沿着东北走廊，以及连接北美其他城市的长途火车服务。斯塔顿岛铁路快速交通系统仅服务斯塔顿岛，24 小时运营。港务局跨哈德逊线（PATH 列车）连接中城和下曼哈顿与新泽西州东北部，主要是霍博肯、泽西市和纽瓦克。与纽约市地铁一样，PATH 也是 24 小时运营；这意味着世界上六个 24 小时运营的快速交通系统中，有三个全部或部分位于纽约（其他是芝加哥 "L" 的一部分、服务费城的 PATCO Speedline 以及哥本哈根地铁）。纽约市正在建设的价值数十亿美元的重轨交通项目包括第二大道地铁和东侧通道项目。==== 公共汽车 ==== 纽约市的公共汽车车队 24/7 运营，是北美最大的。港务局巴士总站是该市主要的城际巴士总站，每天服务 7000 辆巴士和 20 万通勤者，使其成为世界上最繁忙的巴士站。=== 航空 === 纽约的空域是美国最繁忙的空域，也是世界上最繁忙的航空运输走廊之一。纽约大都会区最繁忙的三个机场包括约翰·F·肯尼迪国际机场、纽瓦克自由国际机场和拉瓜迪亚机场；2016 年有 1.305 亿旅客使用了这三个机场。2012 年，肯尼迪国际机场和纽瓦克自由国际机场分别是美国最繁忙和第四繁忙的国际航空客运门户；截至 2011 年，肯尼迪国际机场是北美最繁忙的国际客运机场。港务局已推进计划，通过纽约和新泽西港务局扩大纽约新堡附近的第四个机场斯图尔特国际机场的客运量。2015 年 7 月宣布了耗资数十亿美元彻底重建拉瓜迪亚机场的项目，以取代其老化的设施。纽约大都会区内或服务于该地区的其他商业机场包括长岛麦克阿瑟机场、特伦顿-默瑟机场和威彻特县机场。服务于该地区的主要通用航空机场是泰特伯勒机场。 | 通过 |
| 1 | 查看或编辑原始图数据。=== 公园 === 纽约市拥有一个复杂的公园系统，由国家公园管理局、纽约州公园、娱乐和历史保护办公室以及纽约市公园和娱乐部运营着各种土地。在 2018 年的 ParkScore 排名中，公共土地信托报告称，纽约市的公园系统在五十个人口最多的美国城市中排名第九。ParkScore 根据分析中位公园面积、公园面积占城市面积的百分比、距离公园半英里内的城市居民百分比、人均公园服务支出以及每万人拥有的游乐场数量的公式对城市公园系统进行排名。2021 年，纽约市议会禁止城市机构使用合成农药，转而要求采用有机草坪管理。这项努力由 P.S. 290 学校老师 Paula Rogovin 的幼儿园班级发起。==== 国家公园 ==== 盖特威国家娱乐区占地超过 26,000 英亩（110 平方公里），其中大部分位于纽约市。在布鲁克林和皇后区，公园包含超过 9,000 英亩（36 平方公里）的盐沼、湿地、岛屿和水域，包括大部分牙买加湾和牙买加湾野生动物保护区。在皇后区，公园还包括罗卡威半岛西部的重要部分，其中最著名的是雅各布·里斯公园和蒂尔登堡。在斯塔顿岛，它包括沃兹沃思堡，拥有历史悠久的南北战争前时期的韦德炮台和汤普金斯堡，以及大杀公园，有海滩、小径和码头。自由女神像国家纪念碑和埃利斯岛移民博物馆由国家公园管理局管理，位于纽约和新泽西两地。它们与港口内的总督岛国家纪念碑相连。曼哈顿岛上联邦管理的历史遗址包括石墙国家纪念碑；克林顿城堡国家纪念碑；联邦大厅国家纪念堂；西奥多·罗斯福诞生地国家历史遗址；格兰特将军国家纪念堂（格兰特墓）；非洲人墓地国家纪念碑；以及汉密尔顿庄园国家纪念堂。数百处房产被列入国家史迹名录或国家历史地标。 | 失败 |
| 2 | 纽约的国际和国内游客总量不断增长，每年有超过 6000 万游客到访这座城市，使其成为世界上最繁忙的旅游目的地。大约 1200 万纽约市游客来自美国境外，其中人数最多的来自英国、加拿大、巴西和中国。多家媒体称纽约是世界上被拍照次数最多的城市。“我爱纽约”（风格化为 I ❤ NY）既是一个标志，也是一首歌曲，它们是广告宣传活动的基础，自 1977 年以来一直用于宣传纽约市的旅游业，后来也用于宣传纽约州。这个由纽约州帝国发展公司拥有的商标标志出现在城市和州各地的纪念品商店和宣传册中，有些是获得许可的，很多则不是。这首歌是纽约州的州歌。该市大多数最著名的旅游目的地都位于曼哈顿。其中包括时代广场；百老汇戏剧演出；帝国大厦；自由女神像；埃利斯岛；联合国总部；世界贸易中心（包括国家 9/11 纪念馆和博物馆以及世界贸易中心一号楼）；博物馆大道沿线的艺术博物馆；中央公园、华盛顿广场公园、高线公园和修道院庭院中的中世纪花园等绿色空间；石墙酒吧；洛克菲勒中心；包括曼哈顿唐人街、韩国城、咖喱山、哈莱姆、西班牙哈莱姆、小意大利和小澳大利亚在内的族裔飞地；第五大道和麦迪逊大道沿线的奢侈品购物区；以及格林威治村的万圣节游行等活动；布鲁克林大桥（与布鲁克林共享）；梅西感恩节大游行；洛克菲勒中心圣诞树亮灯仪式；圣帕特里克节游行；冬季在中央公园滑冰等季节性活动；翠贝卡电影节；以及中央公园 SummerStage 的免费表演。曼哈顿以外的区域也发展出了景点，并使外围行政区本身成为旅游目的地。 | 失败 |
In [ ]
已复制!
# NOTE: you can set response_mode="no_text" to get just the sources
query_str = "Who is the mayor of New York City?"
query_engine = vector_index.as_query_engine(
similarity_top_k=3, response_mode="no_text"
)
eval_source_result_full = [
evaluator_gpt4.evaluate(
query=query_str,
response=response_vector.response,
contexts=[source_node.get_content()],
)
for source_node in response_vector.source_nodes
]
eval_source_result = [
"Pass" if result.passing else "Fail" for result in eval_source_result_full
]
# 注意：你可以设置 response_mode="no_text" 来仅获取源 query_str = "Who is the mayor of New York City?" query_engine = vector_index.as_query_engine( similarity_top_k=3, response_mode="no_text" ) eval_source_result_full = [ evaluator_gpt4.evaluate( query=query_str, response=response_vector.response, contexts=[source_node.get_content()], ) for source_node in response_vector.source_nodes ] eval_source_result = [ "Pass" if result.passing else "Fail" for result in eval_source_result_full ]
INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK" HTTP Request: POST https://api.openai.com/v1/chat/completions "HTTP/1.1 200 OK"
In [ ]
已复制!
display_eval_sources(query_str, response_vector, eval_source_result)
display_eval_sources(query_str, response_vector, eval_source_result)
| 源 | 评估结果 | |
|---|---|---|
| 0 | 沿着东北走廊，以及连接北美其他城市的长途火车服务。斯塔顿岛铁路快速交通系统仅服务斯塔顿岛，24 小时运营。港务局跨哈德逊线（PATH 列车）连接中城和下曼哈顿与新泽西州东北部，主要是霍博肯、泽西市和纽瓦克。与纽约市地铁一样，PATH 也是 24 小时运营；这意味着世界上六个 24 小时运营的快速交通系统中，有三个全部或部分位于纽约（其他是芝加哥 "L" 的一部分、服务费城的 PATCO Speedline 以及哥本哈根地铁）。纽约市正在建设的价值数十亿美元的重轨交通项目包括第二大道地铁和东侧通道项目。==== 公共汽车 ==== 纽约市的公共汽车车队 24/7 运营，是北美最大的。港务局巴士总站是该市主要的城际巴士总站，每天服务 7000 辆巴士和 20 万通勤者，使其成为世界上最繁忙的巴士站。=== 航空 === 纽约的空域是美国最繁忙的空域，也是世界上最繁忙的航空运输走廊之一。纽约大都会区最繁忙的三个机场包括约翰·F·肯尼迪国际机场、纽瓦克自由国际机场和拉瓜迪亚机场；2016 年有 1.305 亿旅客使用了这三个机场。2012 年，肯尼迪国际机场和纽瓦克自由国际机场分别是美国最繁忙和第四繁忙的国际航空客运门户；截至 2011 年，肯尼迪国际机场是北美最繁忙的国际客运机场。港务局已推进计划，通过纽约和新泽西港务局扩大纽约新堡附近的第四个机场斯图尔特国际机场的客运量。2015 年 7 月宣布了耗资数十亿美元彻底重建拉瓜迪亚机场的项目，以取代其老化的设施。纽约大都会区内或服务于该地区的其他商业机场包括长岛麦克阿瑟机场、特伦顿-默瑟机场和威彻特县机场。服务于该地区的主要通用航空机场是泰特伯勒机场。 | 失败 |
| 1 | 查看或编辑原始图数据。=== 公园 === 纽约市拥有一个复杂的公园系统，由国家公园管理局、纽约州公园、娱乐和历史保护办公室以及纽约市公园和娱乐部运营着各种土地。在 2018 年的 ParkScore 排名中，公共土地信托报告称，纽约市的公园系统在五十个人口最多的美国城市中排名第九。ParkScore 根据分析中位公园面积、公园面积占城市面积的百分比、距离公园半英里内的城市居民百分比、人均公园服务支出以及每万人拥有的游乐场数量的公式对城市公园系统进行排名。2021 年，纽约市议会禁止城市机构使用合成农药，转而要求采用有机草坪管理。这项努力由 P.S. 290 学校老师 Paula Rogovin 的幼儿园班级发起。==== 国家公园 ==== 盖特威国家娱乐区占地超过 26,000 英亩（110 平方公里），其中大部分位于纽约市。在布鲁克林和皇后区，公园包含超过 9,000 英亩（36 平方公里）的盐沼、湿地、岛屿和水域，包括大部分牙买加湾和牙买加湾野生动物保护区。在皇后区，公园还包括罗卡威半岛西部的重要部分，其中最著名的是雅各布·里斯公园和蒂尔登堡。在斯塔顿岛，它包括沃兹沃思堡，拥有历史悠久的南北战争前时期的韦德炮台和汤普金斯堡，以及大杀公园，有海滩、小径和码头。自由女神像国家纪念碑和埃利斯岛移民博物馆由国家公园管理局管理，位于纽约和新泽西两地。它们与港口内的总督岛国家纪念碑相连。曼哈顿岛上联邦管理的历史遗址包括石墙国家纪念碑；克林顿城堡国家纪念碑；联邦大厅国家纪念堂；西奥多·罗斯福诞生地国家历史遗址；格兰特将军国家纪念堂（格兰特墓）；非洲人墓地国家纪念碑；以及汉密尔顿庄园国家纪念堂。数百处房产被列入国家史迹名录或国家历史地标。 | 失败 |
| 2 | 纽约的国际和国内游客总量不断增长，每年有超过 6000 万游客到访这座城市，使其成为世界上最繁忙的旅游目的地。大约 1200 万纽约市游客来自美国境外，其中人数最多的来自英国、加拿大、巴西和中国。多家媒体称纽约是世界上被拍照次数最多的城市。“我爱纽约”（风格化为 I ❤ NY）既是一个标志，也是一首歌曲，它们是广告宣传活动的基础，自 1977 年以来一直用于宣传纽约市的旅游业，后来也用于宣传纽约州。这个由纽约州帝国发展公司拥有的商标标志出现在城市和州各地的纪念品商店和宣传册中，有些是获得许可的，很多则不是。这首歌是纽约州的州歌。该市大多数最著名的旅游目的地都位于曼哈顿。其中包括时代广场；百老汇戏剧演出；帝国大厦；自由女神像；埃利斯岛；联合国总部；世界贸易中心（包括国家 9/11 纪念馆和博物馆以及世界贸易中心一号楼）；博物馆大道沿线的艺术博物馆；中央公园、华盛顿广场公园、高线公园和修道院庭院中的中世纪花园等绿色空间；石墙酒吧；洛克菲勒中心；包括曼哈顿唐人街、韩国城、咖喱山、哈莱姆、西班牙哈莱姆、小意大利和小澳大利亚在内的族裔飞地；第五大道和麦迪逊大道沿线的奢侈品购物区；以及格林威治村的万圣节游行等活动；布鲁克林大桥（与布鲁克林共享）；梅西感恩节大游行；洛克菲勒中心圣诞树亮灯仪式；圣帕特里克节游行；冬季在中央公园滑冰等季节性活动；翠贝卡电影节；以及中央公园 SummerStage 的免费表演。曼哈顿以外的区域也发展出了景点，并使外围行政区本身成为旅游目的地。 | 失败 |
