跳转到内容

模式

langsmith.schemas

LangSmith API 的模式。

Attachments module-attribute

Attachments = dict[str, tuple[str, bytes] | Attachment | tuple[str, Path]]

与运行关联的附件。每个条目都是一个 (mime_type, bytes) 或 (mime_type, file_path) 的元组。

Attachment

基类:NamedTuple

如果使用,将被存储为附件的注解类型。

示例

.. code-block:: python

    from langsmith import traceable
    from langsmith.schemas import Attachment


    @traceable
    def my_function(bar: int, my_val: Attachment):
        # my_val will be stored as an attachment
        # bar will be stored as inputs
        return bar

BinaryIOLike

基类:Protocol

用于类二进制 IO 对象的协议。

方法 描述
read

读取函数。

seek

寻址函数。

getvalue

获取值函数。

read

read(size: int = -1) -> bytes

读取函数。

seek

seek(offset: int, whence: int = 0) -> int

寻址函数。

getvalue

getvalue() -> bytes

获取值函数。

ExampleBase

基类: BaseModel

示例基础模型。

Config

模式的配置类。

ExampleCreate

基类: BaseModel

带附件的示例上传。

方法 描述
__init__

从字典初始化。

__init__

__init__(**data)

从字典初始化。

ExampleUpsertWithAttachments

基类: ExampleCreate

带附件的示例创建。

方法 描述
__init__

从字典初始化。

__init__

__init__(**data)

从字典初始化。

AttachmentInfo

基类:TypedDict

附件信息。

Example

基类: ExampleBase

示例模型。

方法 描述
__init__

初始化一个 Dataset 对象。

__repr__

返回 RunBase 对象的字符串表示。

attachments class-attribute instance-attribute

attachments: dict[str, AttachmentInfo] | None = Field(default=None)

以附件名称为键的字典,值为 S3 URL 和文件数据读取器的元组。

url property

url: str | None

此运行在应用中的 URL。

Config

模式的配置类。

__init__

__init__(
    _host_url: str | None = None, _tenant_id: UUID | None = None, **kwargs: Any
) -> None

初始化一个 Dataset 对象。

__repr__

__repr__()

返回 RunBase 对象的字符串表示。

ExampleSearch

基类: ExampleBase

通过搜索返回的示例。

Config

模式的配置类。

AttachmentsOperations

基类: BaseModel

对附件执行的操作。

ExampleUpdate

基类: BaseModel

带附件的示例更新。

方法 描述
__init__

从字典初始化。

Config

模式的配置类。

__init__

__init__(**data)

从字典初始化。

DataType

基类: str, Enum

数据集数据类型的枚举。

DatasetBase

基类: BaseModel

数据集基础模型。

Config

模式的配置类。

DatasetTransformation

基类:TypedDict

数据集转换的模式。

Dataset

基类: DatasetBase

数据集 ORM 模型。

方法 描述
__init__

初始化一个 Dataset 对象。

url property

url: str | None

此运行在应用中的 URL。

Config

模式的配置类。

__init__

__init__(
    _host_url: str | None = None,
    _tenant_id: UUID | None = None,
    _public_path: str | None = None,
    **kwargs: Any,
) -> None

初始化一个 Dataset 对象。

DatasetVersion

基类: BaseModel

表示数据集版本的类。

RunBase

基类: BaseModel

基础运行模式。

“运行” (Run) 是一个跨度 (span),表示您 LLM 应用中的单个工作或操作单元。这可能是一次对 LLM 或链的调用,一次对提示格式化的调用,或一次对可运行 lambda 的调用。如果您熟悉 OpenTelemetry,您可以将“运行”看作一个跨度。

方法 描述
__repr__

返回 RunBase 对象的字符串表示。

id instance-attribute

id: UUID

运行的唯一标识符。

name instance-attribute

name: str

运行的人类可读名称。

start_time instance-attribute

start_time: datetime

运行的开始时间。

run_type instance-attribute

run_type: str

运行的类型,例如 tool、chain、llm、retriever、embedding、prompt、parser。

end_time class-attribute instance-attribute

end_time: datetime | None = None

运行的结束时间,如果适用。

extra class-attribute instance-attribute

extra: dict | None = Field(default_factory=_default_extra)

与运行相关的附加元数据或设置。

error class-attribute instance-attribute

error: str | None = None

错误消息,如果运行遇到任何问题。

serialized class-attribute instance-attribute

serialized: dict | None = None

执行运行的序列化对象,以备潜在重用。

events class-attribute instance-attribute

events: list[dict] | None = None

与运行相关的事件列表,如开始和结束事件。

inputs class-attribute instance-attribute

inputs: dict = Field(default_factory=dict)

用于运行的输入。

outputs class-attribute instance-attribute

outputs: dict | None = None

运行生成的输出,如果有。

reference_example_id class-attribute instance-attribute

reference_example_id: UUID | None = None

对此运行可能基于的示例的引用。

parent_run_id class-attribute instance-attribute

parent_run_id: UUID | None = None

父运行的标识符,如果此运行是子运行。

tags class-attribute instance-attribute

tags: list[str] | None = None

用于分类或注释运行的标签。

attachments class-attribute instance-attribute

attachments: Attachments | dict[str, AttachmentInfo] = Field(default_factory=dict)

与运行关联的附件。每个条目都是 (mime_type, bytes) 的元组。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

revision_id property

revision_id: UUID | None

检索修订 ID(如果有)。

latency property

latency: float | None

延迟,以秒为单位。

Config

模式的配置类。

__repr__

__repr__()

返回 RunBase 对象的字符串表示。

Run

基类: RunBase

从数据库加载时的运行模式。

方法 描述
__init__

初始化一个 Run 对象。

__repr__

返回 RunBase 对象的字符串表示。

session_id class-attribute instance-attribute

session_id: UUID | None = None

此运行所属的项目 ID。

child_run_ids class-attribute instance-attribute

child_run_ids: list[UUID] | None = None

已弃用:此运行的子运行 ID。

child_runs class-attribute instance-attribute

child_runs: list[Run] | None = None

此运行的子运行,如果通过客户端指示加载。默认情况下不会填充这些数据,因为这是一个较重的查询。

feedback_stats class-attribute instance-attribute

feedback_stats: dict[str, Any] | None = None

此运行的反馈统计信息。

app_path class-attribute instance-attribute

app_path: str | None = None

此运行在应用中的相对 URL 路径。

manifest_id class-attribute instance-attribute

manifest_id: UUID | None = None

此运行的序列化对象的唯一 ID。

status class-attribute instance-attribute

status: str | None = None

运行的状态(例如,“success”)。

prompt_tokens class-attribute instance-attribute

prompt_tokens: int | None = None

用于提示的令牌数量。

completion_tokens class-attribute instance-attribute

completion_tokens: int | None = None

作为输出生成的令牌数量。

total_tokens class-attribute instance-attribute

total_tokens: int | None = None

提示和补全的总令牌数。

prompt_token_details class-attribute instance-attribute

prompt_token_details: dict[str, int] | None = None

提示(输入)令牌计数的明细。

需要与总提示令牌数相加。

completion_token_details class-attribute instance-attribute

completion_token_details: dict[str, int] | None = None

补全(输出)令牌计数的明细。

需要与总补全令牌数相加。

first_token_time class-attribute instance-attribute

first_token_time: datetime | None = None

第一个令牌被处理的时间。

total_cost class-attribute instance-attribute

total_cost: Decimal | None = None

与补全令牌相关的总估计 LLM 成本。

prompt_cost class-attribute instance-attribute

prompt_cost: Decimal | None = None

与提示(输入)令牌相关的估计成本。

completion_cost class-attribute instance-attribute

completion_cost: Decimal | None = None

与补全令牌相关的估计成本。

prompt_cost_details class-attribute instance-attribute

prompt_cost_details: dict[str, Decimal] | None = None

提示(输入)令牌成本的明细。

需要与总提示令牌成本相加。

completion_cost_details class-attribute instance-attribute

completion_cost_details: dict[str, Decimal] | None = None

补全(输出)令牌成本的明细。

需要与总补全令牌成本相加。

parent_run_ids class-attribute instance-attribute

parent_run_ids: list[UUID] | None = None

父运行 ID 的列表。

trace_id instance-attribute

trace_id: UUID

分配给此嵌套追踪中每个运行的唯一 ID。

dotted_order class-attribute instance-attribute

dotted_order: str = Field(default='')

运行的点状顺序。

这是一个由 {time}{run-uuid}.* 组成的字符串,以便追踪可以按其执行顺序排序。

示例
  • 父级:20230914T223155647Z1b64098b-4ab7-43f6-afee-992304f198d8
  • 子级
  • 20230914T223155647Z1b64098b-4ab7-43f6-afee-992304f198d8.20230914T223155649Z809ed3a2-0172-4f4d-8a02-a64e9b7a0f8a
  • 20230915T223155647Z1b64098b-4ab7-43f6-afee-992304f198d8.20230914T223155650Zc8d9f4c5-6c5a-4b2d-9b1c-3d9d7a7c5c7c

in_dataset class-attribute instance-attribute

in_dataset: bool | None = None

此运行是否在数据集中。

url property

url: str | None

此运行在应用中的 URL。

input_tokens property

input_tokens: int | None

prompt_tokens 的别名。

output_tokens property

output_tokens: int | None

completion_tokens 的别名。

input_cost property

input_cost: Decimal | None

prompt_cost 的别名。

output_cost property

output_cost: Decimal | None

completion_cost 的别名。

input_token_details property

input_token_details: dict[str, int] | None

prompt_token_details 的别名。

output_token_details property

output_token_details: dict[str, int] | None

output_token_details 的别名。

input_cost_details property

input_cost_details: dict[str, Decimal] | None

prompt_cost_details 的别名。

output_cost_details property

output_cost_details: dict[str, Decimal] | None

completion_cost_details 的别名。

id instance-attribute

id: UUID

运行的唯一标识符。

name instance-attribute

name: str

运行的人类可读名称。

start_time instance-attribute

start_time: datetime

运行的开始时间。

run_type instance-attribute

run_type: str

运行的类型,例如 tool、chain、llm、retriever、embedding、prompt、parser。

end_time class-attribute instance-attribute

end_time: datetime | None = None

运行的结束时间,如果适用。

extra class-attribute instance-attribute

extra: dict | None = Field(default_factory=_default_extra)

与运行相关的附加元数据或设置。

error class-attribute instance-attribute

error: str | None = None

错误消息,如果运行遇到任何问题。

serialized class-attribute instance-attribute

serialized: dict | None = None

执行运行的序列化对象,以备潜在重用。

events class-attribute instance-attribute

events: list[dict] | None = None

与运行相关的事件列表,如开始和结束事件。

inputs class-attribute instance-attribute

inputs: dict = Field(default_factory=dict)

用于运行的输入。

outputs class-attribute instance-attribute

outputs: dict | None = None

运行生成的输出,如果有。

reference_example_id class-attribute instance-attribute

reference_example_id: UUID | None = None

对此运行可能基于的示例的引用。

parent_run_id class-attribute instance-attribute

parent_run_id: UUID | None = None

父运行的标识符,如果此运行是子运行。

tags class-attribute instance-attribute

tags: list[str] | None = None

用于分类或注释运行的标签。

attachments class-attribute instance-attribute

attachments: Attachments | dict[str, AttachmentInfo] = Field(default_factory=dict)

与运行关联的附件。每个条目都是 (mime_type, bytes) 的元组。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

revision_id property

revision_id: UUID | None

检索修订 ID(如果有)。

latency property

latency: float | None

延迟,以秒为单位。

Config

模式的配置类。

__init__

__init__(_host_url: str | None = None, **kwargs: Any) -> None

初始化一个 Run 对象。

__repr__

__repr__()

返回 RunBase 对象的字符串表示。

RunTypeEnum

基类: str, Enum

(已弃用)运行类型的枚举。请直接使用字符串。

RunLikeDict

基类:TypedDict

类运行的字典,用于类型提示。

RunWithAnnotationQueueInfo

基类: RunBase

带有标注队列信息的运行模式。

方法 描述
__repr__

返回 RunBase 对象的字符串表示。

last_reviewed_time class-attribute instance-attribute

last_reviewed_time: datetime | None = None

此运行的最后审查时间。

added_at class-attribute instance-attribute

added_at: datetime | None = None

此运行被添加到队列的时间。

id instance-attribute

id: UUID

运行的唯一标识符。

name instance-attribute

name: str

运行的人类可读名称。

start_time instance-attribute

start_time: datetime

运行的开始时间。

run_type instance-attribute

run_type: str

运行的类型,例如 tool、chain、llm、retriever、embedding、prompt、parser。

end_time class-attribute instance-attribute

end_time: datetime | None = None

运行的结束时间,如果适用。

extra class-attribute instance-attribute

extra: dict | None = Field(default_factory=_default_extra)

与运行相关的附加元数据或设置。

error class-attribute instance-attribute

error: str | None = None

错误消息,如果运行遇到任何问题。

serialized class-attribute instance-attribute

serialized: dict | None = None

执行运行的序列化对象,以备潜在重用。

events class-attribute instance-attribute

events: list[dict] | None = None

与运行相关的事件列表,如开始和结束事件。

inputs class-attribute instance-attribute

inputs: dict = Field(default_factory=dict)

用于运行的输入。

outputs class-attribute instance-attribute

outputs: dict | None = None

运行生成的输出,如果有。

reference_example_id class-attribute instance-attribute

reference_example_id: UUID | None = None

对此运行可能基于的示例的引用。

parent_run_id class-attribute instance-attribute

parent_run_id: UUID | None = None

父运行的标识符,如果此运行是子运行。

tags class-attribute instance-attribute

tags: list[str] | None = None

用于分类或注释运行的标签。

attachments class-attribute instance-attribute

attachments: Attachments | dict[str, AttachmentInfo] = Field(default_factory=dict)

与运行关联的附件。每个条目都是 (mime_type, bytes) 的元组。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

revision_id property

revision_id: UUID | None

检索修订 ID(如果有)。

latency property

latency: float | None

延迟,以秒为单位。

Config

模式的配置类。

__repr__

__repr__()

返回 RunBase 对象的字符串表示。

FeedbackSourceBase

基类: BaseModel

反馈来源的基类。

这表示反馈是从 API、模型、人类标注员等处提交的。

type instance-attribute

type: str

反馈来源的类型。

metadata class-attribute instance-attribute

metadata: dict[str, Any] | None = Field(default_factory=dict)

反馈来源的附加元数据。

user_id class-attribute instance-attribute

user_id: UUID | str | None = None

与反馈来源关联的用户 ID。

user_name class-attribute instance-attribute

user_name: str | None = None

与反馈来源关联的用户名。

APIFeedbackSource

基类: FeedbackSourceBase

API 反馈来源。

type class-attribute instance-attribute

type: Literal['api'] = 'api'

反馈来源的类型。

metadata class-attribute instance-attribute

metadata: dict[str, Any] | None = Field(default_factory=dict)

反馈来源的附加元数据。

user_id class-attribute instance-attribute

user_id: UUID | str | None = None

与反馈来源关联的用户 ID。

user_name class-attribute instance-attribute

user_name: str | None = None

与反馈来源关联的用户名。

ModelFeedbackSource

基类: FeedbackSourceBase

模型反馈来源。

type class-attribute instance-attribute

type: Literal['model'] = 'model'

反馈来源的类型。

metadata class-attribute instance-attribute

metadata: dict[str, Any] | None = Field(default_factory=dict)

反馈来源的附加元数据。

user_id class-attribute instance-attribute

user_id: UUID | str | None = None

与反馈来源关联的用户 ID。

user_name class-attribute instance-attribute

user_name: str | None = None

与反馈来源关联的用户名。

FeedbackSourceType

基类:Enum

反馈来源类型。

API class-attribute instance-attribute

API = 'api'

从 API 提交的通用反馈。

MODEL class-attribute instance-attribute

MODEL = 'model'

模型辅助的反馈。

FeedbackBase

基类: BaseModel

反馈模式。

id instance-attribute

id: UUID

反馈的唯一 ID。

created_at class-attribute instance-attribute

created_at: datetime | None = None

反馈创建的时间。

modified_at class-attribute instance-attribute

modified_at: datetime | None = None

反馈最后修改的时间。

run_id instance-attribute

run_id: UUID | None

此反馈记录所关联的运行 ID。

trace_id instance-attribute

trace_id: UUID | None

此反馈记录所关联的追踪 ID。

key instance-attribute

key: str

提供反馈的指标名称、标签或方面。

score class-attribute instance-attribute

score: SCORE_TYPE = None

分配给运行的值或分数。

value class-attribute instance-attribute

value: VALUE_TYPE = None

如果不是指标,反馈的显示值、标签或其他值。

comment class-attribute instance-attribute

comment: str | None = None

对反馈的评论或解释。

correction class-attribute instance-attribute

correction: str | dict | None = None

对运行的修正。

feedback_source class-attribute instance-attribute

feedback_source: FeedbackSourceBase | None = None

反馈的来源。

session_id class-attribute instance-attribute

session_id: UUID | None = None

此反馈记录所关联的项目 ID(Session = Project)。

comparative_experiment_id class-attribute instance-attribute

comparative_experiment_id: UUID | None = None

如果在“比较实验”中记录,这是实验的 ID。

feedback_group_id class-attribute instance-attribute

feedback_group_id: UUID | None = None

对于偏好评分,此组 ID 在被比较的组中每个运行的反馈之间共享。

run in the group that was being compared.

extra class-attribute instance-attribute

extra: dict | None = None

反馈的元数据。

Config

模式的配置类。

FeedbackCategory

基类:TypedDict

反馈的特定值和标签对。

value instance-attribute

value: float

与此反馈类别关联的数值。

label instance-attribute

label: str | None

用于解释此反馈类别值的可选标签。

FeedbackConfig

基类:TypedDict

表示应该*如何*解释反馈值。

type instance-attribute

type: Literal['continuous', 'categorical', 'freeform']

反馈的类型。

min instance-attribute

min: float | None

连续反馈的最小值。

max instance-attribute

max: float | None

连续反馈的最大值。

categories instance-attribute

categories: list[FeedbackCategory] | None

如果反馈是分类的,这定义了服务器将接受的有效类别。不适用于连续或自由形式的反馈类型。

FeedbackCreate

基类:FeedbackBase

用于创建反馈的模式。

feedback_source instance-attribute

feedback_source: FeedbackSourceBase

反馈的来源。

feedback_config class-attribute instance-attribute

feedback_config: FeedbackConfig | None = None

反馈的配置

id instance-attribute

id: UUID

反馈的唯一 ID。

created_at class-attribute instance-attribute

created_at: datetime | None = None

反馈创建的时间。

modified_at class-attribute instance-attribute

modified_at: datetime | None = None

反馈最后修改的时间。

run_id instance-attribute

run_id: UUID | None

此反馈记录所关联的运行 ID。

trace_id instance-attribute

trace_id: UUID | None

此反馈记录所关联的追踪 ID。

key instance-attribute

key: str

提供反馈的指标名称、标签或方面。

score class-attribute instance-attribute

score: SCORE_TYPE = None

分配给运行的值或分数。

value class-attribute instance-attribute

value: VALUE_TYPE = None

如果不是指标,反馈的显示值、标签或其他值。

comment class-attribute instance-attribute

comment: str | None = None

对反馈的评论或解释。

correction class-attribute instance-attribute

correction: str | dict | None = None

对运行的修正。

session_id class-attribute instance-attribute

session_id: UUID | None = None

此反馈记录所关联的项目 ID(Session = Project)。

comparative_experiment_id class-attribute instance-attribute

comparative_experiment_id: UUID | None = None

如果在“比较实验”中记录,这是实验的 ID。

feedback_group_id class-attribute instance-attribute

feedback_group_id: UUID | None = None

对于偏好评分,此组 ID 在被比较的组中每个运行的反馈之间共享。

run in the group that was being compared.

extra class-attribute instance-attribute

extra: dict | None = None

反馈的元数据。

Config

模式的配置类。

Feedback

基类:FeedbackBase

用于获取反馈的模式。

id instance-attribute

id: UUID

反馈的唯一 ID。

created_at instance-attribute

created_at: datetime

反馈创建的时间。

modified_at instance-attribute

modified_at: datetime

反馈最后修改的时间。

feedback_source class-attribute instance-attribute

feedback_source: FeedbackSourceBase | None = None

反馈的来源。在这种情况下

run_id instance-attribute

run_id: UUID | None

此反馈记录所关联的运行 ID。

trace_id instance-attribute

trace_id: UUID | None

此反馈记录所关联的追踪 ID。

key instance-attribute

key: str

提供反馈的指标名称、标签或方面。

score class-attribute instance-attribute

score: SCORE_TYPE = None

分配给运行的值或分数。

value class-attribute instance-attribute

value: VALUE_TYPE = None

如果不是指标,反馈的显示值、标签或其他值。

comment class-attribute instance-attribute

comment: str | None = None

对反馈的评论或解释。

correction class-attribute instance-attribute

correction: str | dict | None = None

对运行的修正。

session_id class-attribute instance-attribute

session_id: UUID | None = None

此反馈记录所关联的项目 ID(Session = Project)。

comparative_experiment_id class-attribute instance-attribute

comparative_experiment_id: UUID | None = None

如果在“比较实验”中记录,这是实验的 ID。

feedback_group_id class-attribute instance-attribute

feedback_group_id: UUID | None = None

对于偏好评分,此组 ID 在被比较的组中每个运行的反馈之间共享。

run in the group that was being compared.

extra class-attribute instance-attribute

extra: dict | None = None

反馈的元数据。

Config

模式的配置类。

TracerSession

基类: BaseModel

API 的 TracerSession 模式。

会话在 UI 中也称为“项目”。

方法 描述
__init__

初始化一个 Run 对象。

id instance-attribute

id: UUID

项目的 ID。

start_time class-attribute instance-attribute

start_time: datetime = Field(default_factory=lambda: now(utc))

项目创建的时间。

end_time class-attribute instance-attribute

end_time: datetime | None = None

项目结束的时间。

description class-attribute instance-attribute

description: str | None = None

项目的描述。

name class-attribute instance-attribute

name: str | None = None

会话的名称。

extra class-attribute instance-attribute

extra: dict[str, Any] | None = None

项目的额外元数据。

tenant_id instance-attribute

tenant_id: UUID

此项目所属的租户 ID。

reference_dataset_id instance-attribute

reference_dataset_id: UUID | None

此项目的运行所生成的参考数据集 ID。

url property

url: str | None

此运行在应用中的 URL。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

tags property

tags: list[str]

检索标签(如果有)。

__init__

__init__(_host_url: str | None = None, **kwargs: Any) -> None

初始化一个 Run 对象。

TracerSessionResult

基类:TracerSession

一个项目,包含附加信息。

会话在 UI 中也称为“项目”。

方法 描述
__init__

初始化一个 Run 对象。

run_count instance-attribute

run_count: int | None

项目中的运行次数。

latency_p50 instance-attribute

latency_p50: timedelta | None

项目的中位数(第 50 百分位)延迟。

latency_p99 instance-attribute

latency_p99: timedelta | None

项目的第 99 百分位延迟。

total_tokens instance-attribute

total_tokens: int | None

项目中消耗的总令牌数。

prompt_tokens instance-attribute

prompt_tokens: int | None

项目中消耗的总提示令牌数。

completion_tokens instance-attribute

completion_tokens: int | None

项目中消耗的总完成令牌数。

last_run_start_time instance-attribute

last_run_start_time: datetime | None

项目中最后一次运行的开始时间。

feedback_stats instance-attribute

feedback_stats: dict[str, Any] | None

项目的反馈统计信息。

session_feedback_stats instance-attribute

session_feedback_stats: dict[str, Any] | None

项目的摘要反馈统计信息。

run_facets instance-attribute

run_facets: list[dict[str, Any]] | None

项目中运行的方面。

total_cost instance-attribute

total_cost: Decimal | None

与补全令牌相关的总估计 LLM 成本。

prompt_cost instance-attribute

prompt_cost: Decimal | None

与提示(输入)令牌相关的估计成本。

completion_cost instance-attribute

completion_cost: Decimal | None

与补全令牌相关的估计成本。

first_token_p50 instance-attribute

first_token_p50: timedelta | None

处理第一个令牌的中位数(第 50 百分位)时间。

first_token_p99 instance-attribute

first_token_p99: timedelta | None

处理第一个令牌的第 99 百分位时间。

error_rate instance-attribute

error_rate: float | None

项目的错误率。

id instance-attribute

id: UUID

项目的 ID。

start_time class-attribute instance-attribute

start_time: datetime = Field(default_factory=lambda: now(utc))

项目创建的时间。

end_time class-attribute instance-attribute

end_time: datetime | None = None

项目结束的时间。

description class-attribute instance-attribute

description: str | None = None

项目的描述。

name class-attribute instance-attribute

name: str | None = None

会话的名称。

extra class-attribute instance-attribute

extra: dict[str, Any] | None = None

项目的额外元数据。

tenant_id instance-attribute

tenant_id: UUID

此项目所属的租户 ID。

reference_dataset_id instance-attribute

reference_dataset_id: UUID | None

此项目的运行所生成的参考数据集 ID。

url property

url: str | None

此运行在应用中的 URL。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

tags property

tags: list[str]

检索标签(如果有)。

__init__

__init__(_host_url: str | None = None, **kwargs: Any) -> None

初始化一个 Run 对象。

BaseMessageLike

基类:Protocol

表示类似于 BaseMessage 的对象的协议。

content instance-attribute

content: str

消息的内容。

additional_kwargs instance-attribute

additional_kwargs: dict[Any, Any]

与消息关联的其他关键字参数。

type property

type: str

消息的类型,用于序列化。

DatasetShareSchema

基类:TypedDict

表示数据集共享的模式。

dataset_id instance-attribute

dataset_id: UUID

数据集的 ID。

share_token instance-attribute

share_token: UUID

用于共享数据集的令牌。

url instance-attribute

url: str

共享数据集的 URL。

AnnotationQueue

基类: BaseModel

表示一个标注队列。

id instance-attribute

id: UUID

标注队列的唯一标识符。

name instance-attribute

name: str

标注队列的名称。

description class-attribute instance-attribute

description: str | None = None

标注队列的可选描述。

created_at class-attribute instance-attribute

created_at: datetime = Field(default_factory=lambda: now(utc))

标注队列创建时的时间戳。

updated_at class-attribute instance-attribute

updated_at: datetime = Field(default_factory=lambda: now(utc))

标注队列最后更新时的时间戳。

tenant_id instance-attribute

tenant_id: UUID

与标注队列关联的租户 ID。

AnnotationQueueWithDetails

基类:AnnotationQueue

表示带有详细信息的标注队列。

rubric_instructions class-attribute instance-attribute

rubric_instructions: str | None = None

标注队列的评分标准说明。

id instance-attribute

id: UUID

标注队列的唯一标识符。

name instance-attribute

name: str

标注队列的名称。

description class-attribute instance-attribute

description: str | None = None

标注队列的可选描述。

created_at class-attribute instance-attribute

created_at: datetime = Field(default_factory=lambda: now(utc))

标注队列创建时的时间戳。

updated_at class-attribute instance-attribute

updated_at: datetime = Field(default_factory=lambda: now(utc))

标注队列最后更新时的时间戳。

tenant_id instance-attribute

tenant_id: UUID

与标注队列关联的租户 ID。

BatchIngestConfig

基类:TypedDict

批量摄取的配置。

use_multipart_endpoint instance-attribute

use_multipart_endpoint: bool

是否使用 multipart 端点进行批量摄取。

scale_up_qsize_trigger instance-attribute

scale_up_qsize_trigger: int

触发扩容的队列大小阈值。

scale_up_nthreads_limit instance-attribute

scale_up_nthreads_limit: int

扩容到的最大线程数。

scale_down_nempty_trigger instance-attribute

scale_down_nempty_trigger: int

触发缩容的空线程数。

size_limit instance-attribute

size_limit: int

批次的最大大小限制。

size_limit_bytes instance-attribute

size_limit_bytes: int | None

批次的最大大小限制(以字节为单位)。

LangSmithInfo

基类: BaseModel

关于 LangSmith 服务器的信息。

version class-attribute instance-attribute

version: str = ''

LangSmith 服务器的版本。

license_expiration_time class-attribute instance-attribute

license_expiration_time: datetime | None = None

许可证到期的时间。

batch_ingest_config class-attribute instance-attribute

batch_ingest_config: BatchIngestConfig | None = None

实例标志。

LangSmithSettings

基类: BaseModel

LangSmith 租户的设置。

id instance-attribute

id: str

租户的 ID。

display_name instance-attribute

display_name: str

租户的显示名称。

created_at instance-attribute

created_at: datetime

租户的创建时间。

FeedbackIngestToken

基类: BaseModel

表示反馈摄取令牌的模式。

id instance-attribute

id: UUID

反馈摄取令牌的 ID。

url instance-attribute

url: str

记录反馈时要 GET 的 URL。

expires_at instance-attribute

expires_at: datetime

令牌的过期时间。

RunEvent

基类:TypedDict

运行事件模式。

name instance-attribute

name: str

事件的类型。

time instance-attribute

time: datetime | str

事件的时间。

kwargs instance-attribute

kwargs: dict[str, Any] | None

事件的附加元数据。

TimeDeltaInput

基类:TypedDict

时间差输入模式。

days instance-attribute

days: int

天数。

hours instance-attribute

hours: int

小时数。

minutes instance-attribute

minutes: int

分钟数。

DatasetDiffInfo

基类: BaseModel

表示两个数据集之间的差异信息。

examples_modified instance-attribute

examples_modified: list[UUID]

表示已修改示例的 UUID 列表。

examples_added instance-attribute

examples_added: list[UUID]

表示已添加示例的 UUID 列表。

examples_removed instance-attribute

examples_removed: list[UUID]

表示已移除示例的 UUID 列表。

ComparativeExperiment

基类: BaseModel

表示一个比较实验。

此信息总结了在给定数据集上比较两个或更多模型的评估结果。

id instance-attribute

id: UUID

比较实验的唯一标识符。

name class-attribute instance-attribute

name: str | None = None

比较实验的可选名称。

description class-attribute instance-attribute

description: str | None = None

比较实验的可选描述。

tenant_id instance-attribute

tenant_id: UUID

与此实验关联的租户的标识符。

created_at instance-attribute

created_at: datetime

比较实验创建时的时间戳。

modified_at instance-attribute

modified_at: datetime

比较实验上次修改时的时间戳。

reference_dataset_id instance-attribute

reference_dataset_id: UUID

此实验中使用的参考数据集的标识符。

extra class-attribute instance-attribute

extra: dict[str, Any] | None = None

有关实验的可选附加信息。

experiments_info class-attribute instance-attribute

experiments_info: list[dict] | None = None

可选的字典列表,包含有关单个实验的信息。

feedback_stats class-attribute instance-attribute

feedback_stats: dict[str, Any] | None = None

可选的字典,包含实验的反馈统计信息。

metadata property

metadata: dict[str, Any]

检索元数据(如果有)。

PromptCommit

基类: BaseModel

表示带有清单(manifest)的提示(Prompt)。

owner instance-attribute

owner: str

提示所有者的句柄(handle)。

repo instance-attribute

repo: str

提示的名称。

commit_hash instance-attribute

commit_hash: str

提示的提交哈希值。

manifest instance-attribute

manifest: dict[str, Any]

提示的清单(manifest)。

examples instance-attribute

examples: list[dict]

示例列表。

ListedPromptCommit

基类: BaseModel

表示一个列出的带有相关元数据的提示提交。

id instance-attribute

id: UUID

提示提交的唯一标识符。

owner instance-attribute

owner: str

提示提交的所有者。

repo instance-attribute

repo: str

提示提交的仓库名称。

manifest_id class-attribute instance-attribute

manifest_id: UUID | None = None

与此提交关联的清单(manifest)的可选标识符。

repo_id class-attribute instance-attribute

repo_id: UUID | None = None

仓库的可选标识符。

parent_id class-attribute instance-attribute

parent_id: UUID | None = None

父提交的可选标识符。

commit_hash class-attribute instance-attribute

commit_hash: str | None = None

提交的可选哈希值。

created_at class-attribute instance-attribute

created_at: datetime | None = None

提交创建时的可选时间戳。

updated_at class-attribute instance-attribute

updated_at: datetime | None = None

提交上次更新时的可选时间戳。

example_run_ids class-attribute instance-attribute

example_run_ids: list[UUID] | None = Field(default_factory=list)

与此提交关联的示例运行标识符列表。

num_downloads class-attribute instance-attribute

num_downloads: int | None = 0

此提交被下载的次数。

num_views class-attribute instance-attribute

num_views: int | None = 0

此提交被查看的次数。

parent_commit_hash class-attribute instance-attribute

parent_commit_hash: str | None = None

父提交的可选哈希值。

Prompt

基类: BaseModel

表示带有元数据的提示(Prompt)。

repo_handle instance-attribute

repo_handle: str

提示的名称。

description class-attribute instance-attribute

description: str | None = None

提示的描述。

readme class-attribute instance-attribute

readme: str | None = None

提示的自述文件(README)。

id instance-attribute

id: str

提示的 ID。

tenant_id instance-attribute

tenant_id: str

提示所有者的租户 ID。

created_at instance-attribute

created_at: datetime

提示的创建时间。

updated_at instance-attribute

updated_at: datetime

提示的最后更新时间。

is_public instance-attribute

is_public: bool

提示是否公开。

is_archived instance-attribute

is_archived: bool

提示是否已归档。

tags instance-attribute

tags: list[str]

与提示关联的标签。

original_repo_id class-attribute instance-attribute

original_repo_id: str | None = None

原始提示的 ID(如果已派生)。

upstream_repo_id class-attribute instance-attribute

upstream_repo_id: str | None = None

上游提示的 ID(如果已派生)。

owner instance-attribute

owner: str | None

提示所有者的句柄(handle)。

full_name instance-attribute

full_name: str

提示的全名。(owner + repo_handle)

num_likes instance-attribute

num_likes: int

点赞数。

num_downloads instance-attribute

num_downloads: int

下载次数。

num_views instance-attribute

num_views: int

查看次数。

liked_by_auth_user class-attribute instance-attribute

liked_by_auth_user: bool | None = None

提示是否被已认证用户点赞。

last_commit_hash class-attribute instance-attribute

last_commit_hash: str | None = None

最后一次提交的哈希值。

num_commits instance-attribute

num_commits: int

提交次数。

original_repo_full_name class-attribute instance-attribute

original_repo_full_name: str | None = None

原始提示的全名(如果已派生)。

upstream_repo_full_name class-attribute instance-attribute

upstream_repo_full_name: str | None = None

上游提示的全名(如果已派生)。

ListPromptsResponse

基类: BaseModel

带有元数据的提示列表。

repos instance-attribute

repos: list[Prompt]

提示列表。

total instance-attribute

total: int

提示的总数。

PromptSortField

基类: str, Enum

用于提示排序字段的枚举。

num_downloads class-attribute instance-attribute

num_downloads = 'num_downloads'

下载次数。

num_views class-attribute instance-attribute

num_views = 'num_views'

查看次数。

updated_at class-attribute instance-attribute

updated_at = 'updated_at'

最后更新时间。

num_likes class-attribute instance-attribute

num_likes = 'num_likes'

点赞数。

InputTokenDetails

基类:TypedDict

输入令牌计数的细分。

需要总计为完整的输入令牌数。需要包含所有键。

audio instance-attribute

audio: int

音频输入令牌。

cache_creation instance-attribute

cache_creation: int

被缓存但发生缓存未命中的输入令牌。

由于发生缓存未命中,缓存是根据这些令牌创建的。

cache_read instance-attribute

cache_read: int

被缓存且发生缓存命中的输入令牌。

由于发生缓存命中,令牌是从缓存中读取的。更准确地说,是根据这些令牌给出的模型状态从缓存中读取的。

OutputTokenDetails

基类:TypedDict

输出令牌计数的细分。

需要总计为完整的输出令牌数。需要包含所有键。

audio instance-attribute

audio: int

音频输出令牌。

reasoning instance-attribute

reasoning: int

推理输出令牌。

由模型在思维链(chain of thought)过程中生成的令牌(例如,由 OpenAI 的 o1 模型生成),这些令牌不作为模型输出的一部分返回。

InputCostDetails

基类:TypedDict

输入令牌成本的细分。

需要总计为完整的输入成本。需要包含所有键。

audio instance-attribute

audio: float

音频输入令牌的成本。

cache_creation instance-attribute

cache_creation: float

被缓存但发生缓存未命中的输入令牌的成本。

由于发生缓存未命中,缓存是根据这些令牌创建的。

cache_read instance-attribute

cache_read: float

被缓存且发生缓存命中的输入令牌的成本。

由于发生缓存命中,令牌是从缓存中读取的。更准确地说,是根据这些令牌给出的模型状态从缓存中读取的。

OutputCostDetails

基类:TypedDict

输出令牌成本的细分。

需要总计为完整的输出成本。需要包含所有键。

audio instance-attribute

audio: float

音频输出令牌的成本。

reasoning instance-attribute

reasoning: float

推理输出令牌的成本。

由模型在思维链(chain of thought)过程中生成的令牌(例如,由 OpenAI 的 o1 模型生成),这些令牌不作为模型输出的一部分返回。

UsageMetadata

基类:TypedDict

消息的使用元数据,例如令牌计数。

这是跨模型一致的令牌使用情况的标准表示。

input_tokens instance-attribute

input_tokens: int

输入(或提示)令牌的数量。所有输入令牌类型的总和。

output_tokens instance-attribute

output_tokens: int

输出(或完成)令牌的数量。所有输出令牌类型的总和。

total_tokens instance-attribute

total_tokens: int

总令牌数。input_tokens + output_tokens 的总和。

input_token_details instance-attribute

input_token_details: NotRequired[InputTokenDetails]

输入令牌计数的细分。

需要总计为完整的输入令牌数。需要包含所有键。

output_token_details instance-attribute

output_token_details: NotRequired[OutputTokenDetails]

输出令牌计数的细分。

需要总计为完整的输出令牌数。需要包含所有键。

input_cost instance-attribute

input_cost: NotRequired[float]

输入令牌的成本。

output_cost instance-attribute

output_cost: NotRequired[float]

输出令牌的成本。

total_cost instance-attribute

total_cost: NotRequired[float]

令牌的总成本。

input_cost_details instance-attribute

input_cost_details: NotRequired[InputCostDetails]

输入令牌的成本详情。

output_cost_details instance-attribute

output_cost_details: NotRequired[OutputCostDetails]

输出令牌的成本详情。

ExtractedUsageMetadata

基类:TypedDict

从一次运行中提取的使用元数据字典。

应与 UsageMetadata 相同,但不要求所有键都存在。

input_tokens instance-attribute

input_tokens: int

用于提示的令牌数量。

output_tokens instance-attribute

output_tokens: int

作为输出生成的令牌数量。

total_tokens instance-attribute

total_tokens: int

使用的令牌总数。

input_token_details instance-attribute

input_token_details: InputTokenDetails

输入令牌的详情。

output_token_details instance-attribute

output_token_details: OutputTokenDetails

输出令牌的详情。

input_cost instance-attribute

input_cost: float

输入令牌的成本。

output_cost instance-attribute

output_cost: float

输出令牌的成本。

total_cost instance-attribute

total_cost: float

令牌的总成本。

input_cost_details instance-attribute

input_cost_details: InputCostDetails

输入令牌的成本详情。

output_cost_details instance-attribute

output_cost_details: OutputCostDetails

输出令牌的成本详情。

UpsertExamplesResponse

基类:TypedDict

从 upsert_examples_multipart 方法返回的响应对象。

count instance-attribute

count: int

被更新或插入的示例数量。

example_ids instance-attribute

example_ids: list[str]

被更新或插入的示例的 ID。

ExampleWithRuns

基类:Example

带有运行记录的示例。

方法 描述
__init__

初始化一个 Dataset 对象。

__repr__

返回 RunBase 对象的字符串表示。

runs class-attribute instance-attribute

runs: list[Run] = Field(default_factory=list)

示例的运行记录。

attachments class-attribute instance-attribute

attachments: dict[str, AttachmentInfo] | None = Field(default=None)

以附件名称为键的字典,值为 S3 URL 和文件数据读取器的元组。

url property

url: str | None

此运行在应用中的 URL。

Config

模式的配置类。

__init__

__init__(
    _host_url: str | None = None, _tenant_id: UUID | None = None, **kwargs: Any
) -> None

初始化一个 Dataset 对象。

__repr__

__repr__()

返回 RunBase 对象的字符串表示。

ExperimentRunStats

基类:TypedDict

实验的运行统计信息。

run_count instance-attribute

run_count: int | None

项目中的运行次数。

latency_p50 instance-attribute

latency_p50: timedelta | None

项目的中位数(第 50 百分位)延迟。

latency_p99 instance-attribute

latency_p99: timedelta | None

项目的第 99 百分位延迟。

total_tokens instance-attribute

total_tokens: int | None

项目中消耗的总令牌数。

prompt_tokens instance-attribute

prompt_tokens: int | None

项目中消耗的总提示令牌数。

completion_tokens instance-attribute

completion_tokens: int | None

项目中消耗的总完成令牌数。

last_run_start_time instance-attribute

last_run_start_time: datetime | None

项目中最后一次运行的开始时间。

run_facets instance-attribute

run_facets: list[dict[str, Any]] | None

项目中运行的方面。

total_cost instance-attribute

total_cost: Decimal | None

与补全令牌相关的总估计 LLM 成本。

prompt_cost instance-attribute

prompt_cost: Decimal | None

与提示(输入)令牌相关的估计成本。

completion_cost instance-attribute

completion_cost: Decimal | None

与补全令牌相关的估计成本。

first_token_p50 instance-attribute

first_token_p50: timedelta | None

处理第一个令牌的中位数(第 50 百分位)时间。

first_token_p99 instance-attribute

first_token_p99: timedelta | None

处理第一个令牌的第 99 百分位时间。

error_rate instance-attribute

error_rate: float | None

项目的错误率。

ExperimentResults

基类:TypedDict

包含统计数据和示例的实验数据结果容器。

v0.4.32 中的重大变更:“stats”字段已被拆分为“feedback_stats”和“run_stats”。

feedback_stats instance-attribute

feedback_stats: dict

实验的反馈统计信息。

run_stats instance-attribute

run_stats: ExperimentRunStats

运行统计信息(延迟、令牌计数等)。

© . This site is unofficial and not affiliated with LangChain, Inc.